近日，字節(jié)跳動(dòng)應(yīng)用機(jī)器學(xué)習(xí)團(tuán)隊(duì)開源了一個(gè)大模型訓(xùn)練框架，名為大模型訓(xùn)練框架，主要用于自然語言處理領(lǐng)域的大模型訓(xùn)練，最多能提升大模型訓(xùn)練的性能< @6. 9次，大大減輕了訓(xùn)練系統(tǒng)的壓力。目前，字節(jié)跳動(dòng)旗下的企業(yè)級(jí)技術(shù)服務(wù)平臺(tái) 已經(jīng)在其機(jī)器學(xué)習(xí)平臺(tái)上進(jìn)行了原生支持，該平臺(tái)處于公測(cè)階段。

自然語言處理是人工智能研究的一個(gè)重要領(lǐng)域最小的php框架，旨在幫助計(jì)算機(jī)理解、解釋和使用人類語言，可應(yīng)用于機(jī)器翻譯、個(gè)性化推薦、信息提取等領(lǐng)域。近年來最小的php框架，自然語言處理在應(yīng)用上取得重大突破，主要得益于深度學(xué)習(xí)及相關(guān)技術(shù)的發(fā)展，尤其是Bert、GPT、GPT-3等大規(guī)模預(yù)訓(xùn)練語言模型的普及。

大規(guī)模的訓(xùn)練模型可以包含更多的數(shù)據(jù)，代表更多的信息，并執(zhí)行更好的算法。但是由于大模型參數(shù)量大，模型設(shè)計(jì)非常復(fù)雜，訓(xùn)練時(shí)間長(zhǎng)網(wǎng)站優(yōu)化，給現(xiàn)有的訓(xùn)練系統(tǒng)帶來了很多挑戰(zhàn)，主要體現(xiàn)在內(nèi)存壓力、計(jì)算壓力和溝通壓力。

針對(duì)現(xiàn)有訓(xùn)練系統(tǒng)在大模型訓(xùn)練場(chǎng)景中的上述挑戰(zhàn)，字節(jié)跳動(dòng)應(yīng)用機(jī)器學(xué)習(xí)團(tuán)隊(duì)提出了大模型訓(xùn)練框架。

與主流開源訓(xùn)練框架的對(duì)比測(cè)試表明，. 訓(xùn)練系統(tǒng)最多增加6.9倍，可以大大減輕訓(xùn)練系統(tǒng)的壓力。

: 兩種主流開源框架在不同GPU類型和網(wǎng)絡(luò)環(huán)境下的性能對(duì)比

近年來，字節(jié)跳動(dòng)持續(xù)推進(jìn)開源技術(shù)。2021年，字節(jié)跳動(dòng)技術(shù)團(tuán)隊(duì)將開源微服務(wù)中間件、訓(xùn)練加速引擎等30多個(gè)重要項(xiàng)目。

字節(jié)跳動(dòng)相關(guān)技術(shù)負(fù)責(zé)人表示，推動(dòng)科技創(chuàng)新成果的應(yīng)用和開源技術(shù)的落地，一直是騰云網(wǎng)絡(luò)所倡導(dǎo)的。技術(shù)團(tuán)隊(duì)將繼續(xù)通過技術(shù)創(chuàng)新為行業(yè)發(fā)展提供更多動(dòng)力網(wǎng)站制作，助力科技更好地造福社會(huì)。.

開源地址：

機(jī)器學(xué)習(xí)平臺(tái)公測(cè)地址：