復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室邱錫鵬教授團(tuán)隊(duì)上線 MOSS 兩個(gè)月后，把 MOSS 開(kāi)源了。

目前開(kāi)源的版本是 MOSS 003，二月份公開(kāi)邀請(qǐng)內(nèi)測(cè)的版本為 MOSS 002，一月份有一個(gè)內(nèi)部測(cè)試版本叫做 OpenChat 001。

在 MOSS 003 中，復(fù)旦團(tuán)隊(duì)采用不同的技術(shù)路線，通過(guò)讓Moss和人類以及其他對(duì)話模型都進(jìn)行交互，顯著提升了學(xué)習(xí)效率和研發(fā)效率，短時(shí)間內(nèi)就高效完成了對(duì)話能力訓(xùn)練。

MOSS 成為國(guó)內(nèi)首個(gè)公開(kāi)亮相的類ChatGPT語(yǔ)言模型，也是國(guó)內(nèi)首個(gè)搭載插件系統(tǒng)的開(kāi)源對(duì)話語(yǔ)言模型， “端到端”走通了大語(yǔ)言模型的開(kāi)發(fā)全程。

MOSS 的成長(zhǎng)過(guò)程

復(fù)旦 NLP 團(tuán)隊(duì)成員孫天祥公布了 MOSS成長(zhǎng)過(guò)程。

ChatGPT 問(wèn)世后，國(guó)內(nèi) NLP 從業(yè)者受到?jīng)_擊很大，當(dāng)時(shí)沒(méi)有 llama 也沒(méi)有 alpaca，團(tuán)隊(duì)普遍認(rèn)為國(guó)內(nèi)技術(shù)距離 ChatGPT 有一到兩年的技術(shù)差距。

要做 ChatGPT 有兩個(gè)部分是很昂貴的，一個(gè)是數(shù)據(jù)標(biāo)注，一個(gè)是預(yù)訓(xùn)練算力。團(tuán)隊(duì)沒(méi)有算力，便去構(gòu)造數(shù)據(jù)——從 OpenAI 的論文附錄里扒了一些它們API收集到的user prompt，然后用類似Self－Instruct的思路擴(kuò)展出大約 40 萬(wàn)對(duì)話數(shù)據(jù)。

一月份的時(shí)候，團(tuán)隊(duì)研制出了 OpenChat 001，雖然 OpenChat 001 不具備中文能力，不知道關(guān)于自己的信息（比如名字、能力等），且安全性較低，但此時(shí)模型已經(jīng)具備了指令遵循能力、多輪能力、跨語(yǔ)言對(duì)齊能力，可以理解中文并用英文回答。

這給了團(tuán)隊(duì)很大的信心，于是加緊了 MOSS 002 的部署，增加到了116萬(wàn)條中英文對(duì)話數(shù)據(jù)。截至MOSS 002訓(xùn)練完成時(shí)，gpt－3．5－turbo、LLaMA、Alpaca均未出現(xiàn)，但卻收到很多類似“MOSS是蒸餾ChatGPT” ／ “基于LLaMA微調(diào)”等質(zhì)疑。

目前開(kāi)源的最新版本 MOSS 003 的基座語(yǔ)言模型已經(jīng)在 100B 中文 token 上進(jìn)行了訓(xùn)練，總訓(xùn)練 token 數(shù)量達(dá)到 700B，還構(gòu)造了約 30 萬(wàn)插件增強(qiáng)的對(duì)話數(shù)據(jù)，目前已包含搜索引擎、文生圖、計(jì)算器、方程求解等。還給 MOSS 增加了I nner Thoughts 作為輸出，即在 MOSS 決定調(diào)用 API 以及回復(fù)之前首先輸出其“內(nèi)心想法”。

研發(fā)團(tuán)隊(duì)稱本次開(kāi)源只是個(gè)開(kāi)始，后續(xù)團(tuán)隊(duì)還將開(kāi)源完整版 MOSS 003 微調(diào)數(shù)據(jù)、偏好數(shù)據(jù)、偏好模型以及經(jīng)過(guò)偏好訓(xùn)練過(guò)的最終模型。

MOSS 發(fā)布時(shí)掀起驚濤駭浪

2 月份，國(guó)內(nèi)各大廠紛紛開(kāi)始拼大模型，但在國(guó)內(nèi)賽道上首個(gè)拿出大模型的不是大廠，而是學(xué)界——復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室邱錫鵬教授團(tuán)隊(duì)。

2 月 20 日晚，復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室發(fā)布類 ChatGPT 模型 MOSS 的消息一經(jīng)公開(kāi)，很快就登頂了知乎熱榜。由于瞬時(shí)訪問(wèn)壓力過(guò)大，MOSS服務(wù)器還被網(wǎng)友擠崩潰了。

針對(duì)服務(wù)器崩潰一事，MOSS 官網(wǎng)發(fā)公告回應(yīng)：“我們最初的想法只是想將 MOSS 進(jìn)行內(nèi)測(cè)，以便進(jìn)一步優(yōu)化，沒(méi)有想到會(huì)引起這么大的關(guān)注，我們的計(jì)算資源不足以支持如此大的訪問(wèn)量，并且作為學(xué)術(shù)團(tuán)隊(duì)我們也沒(méi)有相關(guān)的工程經(jīng)驗(yàn)，給大家造成非常不好的體驗(yàn)和第一印象，在此向大家致以真誠(chéng)的歉意。

團(tuán)隊(duì)稱，MOSS 還是一個(gè)非常不成熟的模型，距離 ChatGPT 還有很長(zhǎng)的路需要走。作為一個(gè)學(xué)術(shù)研究的實(shí)驗(yàn)室無(wú)法做出和 ChatGPT 能力相近的模型，MOSS 只是想在百億規(guī)模參數(shù)上探索和驗(yàn)證 ChatGPT 的技術(shù)路線，并且實(shí)現(xiàn)各種對(duì)話能力。

MOSS 可執(zhí)行對(duì)話生成、編程、事實(shí)問(wèn)答等一系列任務(wù)，打通了讓生成式語(yǔ)言模型理解人類意圖并具有對(duì)話能力的全部技術(shù)路徑。這條路徑的走通，為國(guó)內(nèi)學(xué)術(shù)界和產(chǎn)業(yè)界提供了重要經(jīng)驗(yàn)，將助力大語(yǔ)言模型的進(jìn)一步探索和應(yīng)用。

企查查 APP 顯示，目前 MOSS 商標(biāo)申請(qǐng)信息共 74 條，已有 32 枚商標(biāo)被成功注冊(cè)，申請(qǐng)人包括進(jìn)出口、電子商務(wù)、高新技術(shù)等領(lǐng)域的多家公司及多個(gè)自然人，商標(biāo)國(guó)際分類包括科學(xué)儀器、珠寶鐘表、教育娛樂(lè)等，此外，目前仍有 3 枚 MOSS 商標(biāo)正在注冊(cè)申請(qǐng)中。

團(tuán)隊(duì)核心人物邱錫鵬

根據(jù)復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院官網(wǎng)的介紹，邱錫鵬教授于復(fù)旦大學(xué)獲得理學(xué)學(xué)士和博士學(xué)位。研究方向?yàn)樽匀徽Z(yǔ)言處理、深度學(xué)習(xí)，發(fā)表CCF－A／B類論文70余篇。主持開(kāi)發(fā)了開(kāi)源自然語(yǔ)言處理工具FudanNLP、FastNLP，獲得了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛使用。

邱錫鵬的研究方向是，圍繞自然語(yǔ)言處理的機(jī)器學(xué)習(xí)模型構(gòu)建、學(xué)習(xí)算法和下游任務(wù)應(yīng)用，包括：自然語(yǔ)言表示學(xué)習(xí)、預(yù)訓(xùn)練模型、信息抽取、中文NLP、開(kāi)源NLP系統(tǒng)、可信NLP技術(shù)、對(duì)話系統(tǒng)等。

邱錫鵬表示：“盡管MOSS還有很大改善空間，但它的問(wèn)世證明了在開(kāi)發(fā)類ChatGPT產(chǎn)品的路上，國(guó)內(nèi)科研團(tuán)隊(duì)有能力克服技術(shù)上的重要挑戰(zhàn)�！盡OSS研發(fā)項(xiàng)目得到了上海人工智能實(shí)驗(yàn)室的有力支持。后期，這項(xiàng)工作將通過(guò)開(kāi)源方式和業(yè)界社區(qū)分享。