復(fù)旦NLP團(tuán)隊(duì)開(kāi)源MOSS,此為國(guó)內(nèi)首個(gè)公開(kāi)亮相的類ChatGPT模型
復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室邱錫鵬教授團(tuán)隊(duì)上線 MOSS 兩個(gè)月后,把 MOSS 開(kāi)源了。
目前開(kāi)源的版本是 MOSS 003,二月份公開(kāi)邀請(qǐng)內(nèi)測(cè)的版本為 MOSS 002,一月份有一個(gè)內(nèi)部測(cè)試版本叫做 OpenChat 001。
在 MOSS 003 中,復(fù)旦團(tuán)隊(duì)采用不同的技術(shù)路線,通過(guò)讓Moss和人類以及其他對(duì)話模型都進(jìn)行交互,顯著提升了學(xué)習(xí)效率和研發(fā)效率,短時(shí)間內(nèi)就高效完成了對(duì)話能力訓(xùn)練。
MOSS 成為國(guó)內(nèi)首個(gè)公開(kāi)亮相的類ChatGPT語(yǔ)言模型,也是國(guó)內(nèi)首個(gè)搭載插件系統(tǒng)的開(kāi)源對(duì)話語(yǔ)言模型, “端到端”走通了大語(yǔ)言模型的開(kāi)發(fā)全程。
MOSS 的成長(zhǎng)過(guò)程
復(fù)旦 NLP 團(tuán)隊(duì)成員孫天祥公布了 MOSS成長(zhǎng)過(guò)程。
ChatGPT 問(wèn)世后,國(guó)內(nèi) NLP 從業(yè)者受到?jīng)_擊很大,當(dāng)時(shí)沒(méi)有 llama 也沒(méi)有 alpaca,團(tuán)隊(duì)普遍認(rèn)為國(guó)內(nèi)技術(shù)距離 ChatGPT 有一到兩年的技術(shù)差距。
要做 ChatGPT 有兩個(gè)部分是很昂貴的,一個(gè)是數(shù)據(jù)標(biāo)注,一個(gè)是預(yù)訓(xùn)練算力。團(tuán)隊(duì)沒(méi)有算力,便去構(gòu)造數(shù)據(jù)——從 OpenAI 的論文附錄里扒了一些它們API收集到的user prompt,然后用類似Self-Instruct的思路擴(kuò)展出大約 40 萬(wàn)對(duì)話數(shù)據(jù)。
一月份的時(shí)候,團(tuán)隊(duì)研制出了 OpenChat 001,雖然 OpenChat 001 不具備中文能力,不知道關(guān)于自己的信息(比如名字、能力等),且安全性較低,但此時(shí)模型已經(jīng)具備了指令遵循能力、多輪能力、跨語(yǔ)言對(duì)齊能力,可以理解中文并用英文回答。
這給了團(tuán)隊(duì)很大的信心,于是加緊了 MOSS 002 的部署,增加到了116萬(wàn)條中英文對(duì)話數(shù)據(jù)。截至MOSS 002訓(xùn)練完成時(shí),gpt-3.5-turbo、LLaMA、Alpaca均未出現(xiàn),但卻收到很多類似“MOSS是蒸餾ChatGPT” / “基于LLaMA微調(diào)”等質(zhì)疑。
目前開(kāi)源的最新版本 MOSS 003 的基座語(yǔ)言模型已經(jīng)在 100B 中文 token 上進(jìn)行了訓(xùn)練,總訓(xùn)練 token 數(shù)量達(dá)到 700B,還構(gòu)造了約 30 萬(wàn)插件增強(qiáng)的對(duì)話數(shù)據(jù),目前已包含搜索引擎、文生圖、計(jì)算器、方程求解等。還給 MOSS 增加了I nner Thoughts 作為輸出,即在 MOSS 決定調(diào)用 API 以及回復(fù)之前首先輸出其“內(nèi)心想法”。
研發(fā)團(tuán)隊(duì)稱本次開(kāi)源只是個(gè)開(kāi)始,后續(xù)團(tuán)隊(duì)還將開(kāi)源完整版 MOSS 003 微調(diào)數(shù)據(jù)、偏好數(shù)據(jù)、偏好模型以及經(jīng)過(guò)偏好訓(xùn)練過(guò)的最終模型。
MOSS 發(fā)布時(shí)掀起驚濤駭浪
2 月份,國(guó)內(nèi)各大廠紛紛開(kāi)始拼大模型,但在國(guó)內(nèi)賽道上首個(gè)拿出大模型的不是大廠,而是學(xué)界——復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室邱錫鵬教授團(tuán)隊(duì)。
2 月 20 日晚,復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室發(fā)布類 ChatGPT 模型 MOSS 的消息一經(jīng)公開(kāi),很快就登頂了知乎熱榜。由于瞬時(shí)訪問(wèn)壓力過(guò)大,MOSS服務(wù)器還被網(wǎng)友擠崩潰了。
針對(duì)服務(wù)器崩潰一事,MOSS 官網(wǎng)發(fā)公告回應(yīng):“我們最初的想法只是想將 MOSS 進(jìn)行內(nèi)測(cè),以便進(jìn)一步優(yōu)化,沒(méi)有想到會(huì)引起這么大的關(guān)注,我們的計(jì)算資源不足以支持如此大的訪問(wèn)量,并且作為學(xué)術(shù)團(tuán)隊(duì)我們也沒(méi)有相關(guān)的工程經(jīng)驗(yàn),給大家造成非常不好的體驗(yàn)和第一印象,在此向大家致以真誠(chéng)的歉意。
團(tuán)隊(duì)稱,MOSS 還是一個(gè)非常不成熟的模型,距離 ChatGPT 還有很長(zhǎng)的路需要走。作為一個(gè)學(xué)術(shù)研究的實(shí)驗(yàn)室無(wú)法做出和 ChatGPT 能力相近的模型,MOSS 只是想在百億規(guī)模參數(shù)上探索和驗(yàn)證 ChatGPT 的技術(shù)路線,并且實(shí)現(xiàn)各種對(duì)話能力。
MOSS 可執(zhí)行對(duì)話生成、編程、事實(shí)問(wèn)答等一系列任務(wù),打通了讓生成式語(yǔ)言模型理解人類意圖并具有對(duì)話能力的全部技術(shù)路徑。這條路徑的走通,為國(guó)內(nèi)學(xué)術(shù)界和產(chǎn)業(yè)界提供了重要經(jīng)驗(yàn),將助力大語(yǔ)言模型的進(jìn)一步探索和應(yīng)用。
企查查 APP 顯示,目前 MOSS 商標(biāo)申請(qǐng)信息共 74 條,已有 32 枚商標(biāo)被成功注冊(cè),申請(qǐng)人包括進(jìn)出口、電子商務(wù)、高新技術(shù)等領(lǐng)域的多家公司及多個(gè)自然人,商標(biāo)國(guó)際分類包括科學(xué)儀器、珠寶鐘表、教育娛樂(lè)等,此外,目前仍有 3 枚 MOSS 商標(biāo)正在注冊(cè)申請(qǐng)中。
團(tuán)隊(duì)核心人物邱錫鵬
根據(jù)復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院官網(wǎng)的介紹,邱錫鵬教授于復(fù)旦大學(xué)獲得理學(xué)學(xué)士和博士學(xué)位。研究方向?yàn)樽匀徽Z(yǔ)言處理、深度學(xué)習(xí),發(fā)表CCF-A/B類論文70余篇。主持開(kāi)發(fā)了開(kāi)源自然語(yǔ)言處理工具FudanNLP、FastNLP,獲得了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛使用。
邱錫鵬的研究方向是,圍繞自然語(yǔ)言處理的機(jī)器學(xué)習(xí)模型構(gòu)建、學(xué)習(xí)算法和下游任務(wù)應(yīng)用,包括:自然語(yǔ)言表示學(xué)習(xí)、預(yù)訓(xùn)練模型、信息抽取、中文NLP、開(kāi)源NLP系統(tǒng)、可信NLP技術(shù)、對(duì)話系統(tǒng)等。
邱錫鵬表示:“盡管MOSS還有很大改善空間,但它的問(wèn)世證明了在開(kāi)發(fā)類ChatGPT產(chǎn)品的路上,國(guó)內(nèi)科研團(tuán)隊(duì)有能力克服技術(shù)上的重要挑戰(zhàn)!盡OSS研發(fā)項(xiàng)目得到了上海人工智能實(shí)驗(yàn)室的有力支持。后期,這項(xiàng)工作將通過(guò)開(kāi)源方式和業(yè)界社區(qū)分享。
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
即日-10.29立即報(bào)名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會(huì)
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車
-
11月28日立即報(bào)名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線峰會(huì)
推薦專題
- 1 AI+賦能新質(zhì)生產(chǎn)力——中國(guó)移動(dòng)政企亮相中國(guó)國(guó)際信息通信展覽會(huì)
- 2 格創(chuàng)東智“工博會(huì)時(shí)間”:人機(jī)協(xié)同系統(tǒng)精彩亮相,解鎖裝備智造提效的秘訣
- 3 擁抱 AI 時(shí)代,共贏存儲(chǔ)產(chǎn)業(yè)未來(lái)!第三屆GMIF2024創(chuàng)新峰會(huì)在深圳成功召開(kāi)
- 4 大模型“新星”開(kāi)啟變現(xiàn)競(jìng)速
- 5 PT Expo現(xiàn)場(chǎng)直擊!看星融元如何探索開(kāi)放網(wǎng)絡(luò)新境界
- 6 三次錯(cuò)誤選擇,導(dǎo)致英特爾“跌落神壇”
- 7 云上工博會(huì)收官丨看見(jiàn)思谷向上的工業(yè)力量!
- 8 海信給AI電視打樣,12大AI智能體全面升級(jí)大屏體驗(yàn)
- 9 AI 投流卷哭創(chuàng)業(yè)者
- 10 【一周車話】沒(méi)有方向盤和踏板的車,你敢坐嗎?
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市