2020 年 10 篇必讀的 NLP 突破論文 LIST
4、為長(zhǎng)文檔而生的 Longformer
Self-Attention 機(jī)制是成功實(shí)現(xiàn) Transformer 體系結(jié)構(gòu)的關(guān)鍵因素之一。但是,它也使得基于 Transformer 的模型很難應(yīng)用于長(zhǎng)文檔。
現(xiàn)有技術(shù)通常將長(zhǎng)輸入分成多個(gè)塊,然后再使用復(fù)雜的結(jié)構(gòu)在這些塊中組合信息。艾倫人工智能研究所的研究團(tuán)隊(duì),則為這個(gè)問(wèn)題介紹了一種更為優(yōu)雅的解決方案。
他們提出的 Longformer 采用了一種新的注意力模式,即將局部自注意力和全局自注意力相結(jié)合,在提高效率的同時(shí)又不失效果。這種關(guān)注機(jī)制與序列長(zhǎng)度成線性比例,并可以處理具有數(shù)千個(gè) tokens 的文檔。由于 sliding window 注意力模式的實(shí)現(xiàn)需要帶狀矩陣乘法的形式,而現(xiàn)有的深度學(xué)習(xí)庫(kù)(如 PyTorch 和 Tensorflow)不支持這種形式,因此作者還引入了自定義 CUDA 內(nèi)核來(lái)實(shí)現(xiàn)這些注意力操作。
實(shí)驗(yàn)表明,Longformer 在字符級(jí)語(yǔ)言建模任務(wù)上取得了最先進(jìn)的結(jié)果,并且在經(jīng)過(guò)預(yù)培訓(xùn)后,在長(zhǎng)文檔任務(wù)上始終優(yōu)于 RoBERTa。
一句話總結(jié)現(xiàn)實(shí)影響:對(duì)于經(jīng)常需要處理長(zhǎng)文檔的下游 NLP 任務(wù),Longformer 體系結(jié)構(gòu)可能會(huì)有更明顯的優(yōu)勢(shì),這些任務(wù)包括文件分類(lèi)、問(wèn)答、共指解析、總結(jié)、語(yǔ)義搜索等。
5、GAN 的巧妙運(yùn)用之 ELECTRA
諸如 BERT 和 XLNet 這類(lèi)頗受歡迎的語(yǔ)言模型,在預(yù)訓(xùn)練任務(wù)中會(huì)屏蔽一小部分未標(biāo)記的輸入,然后訓(xùn)練網(wǎng)絡(luò)以恢復(fù)此原始輸入。
盡管這種名叫 MLM(Masked language modeling)的訓(xùn)練方式效果很好,但是由于它只能從一小部分 tokens(通常約 15%)中學(xué)習(xí),因此其數(shù)據(jù)效率并不是特別高。這種方式遷移到下游 NLP 任務(wù)時(shí)能夠得到較好的結(jié)果,但往往需要大量的算力。
作為替代方案,斯坦福大學(xué)和谷歌大腦的研究人員基于 BERT 的模型,與 GAN 的想法相融合,提出一種新的預(yù)訓(xùn)練方法 ——RTD ,replaced token detection。RTD 不會(huì)對(duì)輸入進(jìn)行遮蔽,而是從生成器中采樣得到可信的 tokens,再替換掉原始輸入上的 tokens。
結(jié)果顯示,該方法可顯著加快下游 NLP 任務(wù)的訓(xùn)練速度并提高準(zhǔn)確性:ELECTRA-Small 的 GLUE 得分為 79.9,優(yōu)于同類(lèi)的 BERT 模型(得分為 75.1)和更大的 GPT 模型(得分為 78.8);可與 XLNet 和 RoBERTa 媲美的 ELECTRA 模型,僅使用其預(yù)訓(xùn)練計(jì)算量的 25%;ELECTRA-Large 在 GLUE 和 SQuAD 基準(zhǔn)測(cè)試中優(yōu)于其他最新模型,同時(shí)仍需要較少的預(yù)訓(xùn)練計(jì)算。
一句話總結(jié)現(xiàn)實(shí)影響:由于其計(jì)算效率高,ELECTRA 方法可使從業(yè)者更容易使用預(yù)訓(xùn)練的文本編碼器。
6、GPT-3 的誕生
如果每一個(gè)新的語(yǔ)言任務(wù)都需要一個(gè)與之對(duì)應(yīng)的、標(biāo)簽化了的數(shù)據(jù)集,那這絕對(duì)會(huì)限制語(yǔ)言模型的適用性。
考慮到語(yǔ)言任務(wù)的范圍很廣,而且通常很難收集到大量帶標(biāo)注、可用于訓(xùn)練的數(shù)據(jù)集,OpenAI 的研究人員提出了另一種解決方案,即擴(kuò)大語(yǔ)言模型的規(guī)模,訓(xùn)練出含 175 B 參數(shù)的 GPT-3。
該團(tuán)隊(duì)希望 GPT-3 能夠成為更通用化的 NLP 模型,解決當(dāng)前 BERT 等模型的兩個(gè)不足之處:對(duì)領(lǐng)域內(nèi)有標(biāo)記數(shù)據(jù)的過(guò)分依賴(lài),以及對(duì)于領(lǐng)域數(shù)據(jù)分布的過(guò)擬合。
他們?cè)谌N不同的設(shè)置中評(píng)估了 GPT-3 :
?Few-shot learning,在推理時(shí)給模型一些任務(wù)演示(通常是 10 到 100),但不允許權(quán)重更新。
?One-shot learning,僅允許一次演示,以及對(duì)任務(wù)的自然語(yǔ)言描述。
?Zero-shot,不允許進(jìn)行演示且模型只能訪問(wèn)任務(wù)的自然語(yǔ)言描述時(shí)。
這三種評(píng)估表明,只訓(xùn)練了一個(gè)語(yǔ)言模型、沒(méi)有針對(duì)任何任務(wù)進(jìn)行 Fine-tuning 的 GPT-3,可以完成多項(xiàng) NLP 任務(wù),并且每一項(xiàng)任務(wù)都可以得到很好的效果。
也就是說(shuō),當(dāng)將這樣的語(yǔ)言模型擴(kuò)展到前所未有的參數(shù)數(shù)量時(shí),該語(yǔ)言模型本身可以用作少樣本學(xué)習(xí)的工具,無(wú)需任何額外的訓(xùn)練就可以在許多任務(wù)上取得非常有競(jìng)爭(zhēng)力的表現(xiàn)。
一句話總結(jié)現(xiàn)實(shí)影響:一個(gè)帶有 175B 參數(shù)的模型,其資源消耗也是不符合現(xiàn)實(shí)考慮的,但是如果研究人員設(shè)法將此模型精簡(jiǎn)為可行的大小,則可以將其應(yīng)用于各種語(yǔ)言任務(wù),包括問(wèn)答和廣告文案生成。
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車(chē)
-
11月28日立即報(bào)名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線峰會(huì)
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書(shū)》
推薦專(zhuān)題
- 1 【一周車(chē)話】沒(méi)有方向盤(pán)和踏板的車(chē),你敢坐嗎?
- 2 特斯拉發(fā)布無(wú)人駕駛車(chē),還未迎來(lái)“Chatgpt時(shí)刻”
- 3 特斯拉股價(jià)大跌15%:Robotaxi離落地還差一個(gè)蘿卜快跑
- 4 馬斯克給的“驚喜”夠嗎?
- 5 打完“價(jià)格戰(zhàn)”,大模型還要比什么?
- 6 馬斯克致敬“國(guó)產(chǎn)蘿卜”?
- 7 神經(jīng)網(wǎng)絡(luò),誰(shuí)是盈利最強(qiáng)企業(yè)?
- 8 比蘋(píng)果偉大100倍!真正改寫(xiě)人類(lèi)歷史的智能產(chǎn)品降臨
- 9 諾獎(jiǎng)進(jìn)入“AI時(shí)代”,人類(lèi)何去何從?
- 10 Open AI融資后成萬(wàn)億獨(dú)角獸,AI人才之爭(zhēng)開(kāi)啟
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷(xiāo)售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷(xiāo)售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專(zhuān)家 廣東省/江門(mén)市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市