2020 年 10 篇必讀的 NLP 突破論文 LIST
7、全新的 NLP 模型測試方法 “CheckList”
開發(fā)諸如 GLUE(General Language Understanding Evaluation)和 SuperGLUE 之類的基準(zhǔn),可以用來評(píng)估經(jīng)過微調(diào)的 NLP 模型執(zhí)行自然語言理解任務(wù)的能力。通常,將 NLP 模型的性能與驗(yàn)證準(zhǔn)確性的結(jié)果進(jìn)行比較。需要注意,使用驗(yàn)證準(zhǔn)確性存在固有的局限性,例如過擬合,驗(yàn)證集的數(shù)據(jù)分布不同等均可能干擾正確的判斷。
而在 ACL 2020 年的 Best Paper 論文 “Beyond Accuracy: Behavioral Testing of NLP Models with CheckList” 中,作者提出了一個(gè)框架,一種新的 NLP 模型評(píng)測方法:CHECKLIST。CHECKLIST 借鑒了傳統(tǒng)軟件工程的測試準(zhǔn)則,通過模板快速生成大量樣例,全面測試模型的各種能力,可以用于幾乎所有 NLP 任務(wù)。
CHECKLIST 建議使用三種不同的測試方法:
?最小功能測試(MFT, Minimum Functionality Tests),其中使用預(yù)期的金標(biāo)生成示例;
?不變性測試(INV, INVariance Tests),其中從給定的示例中,創(chuàng)建新示例,其中金標(biāo)被翻轉(zhuǎn);
?方向預(yù)期測試(DIR, Directional Expectation Tests)對(duì)原始句子進(jìn)行修改,金標(biāo)往期望的方向(正向 / 負(fù)向)變化。
作者建議對(duì)于 NLP 模型的每一種能力,都盡量采用這三種測試方法測試一遍。
一句話總結(jié)現(xiàn)實(shí)影響:CheckList 可用于為各種 NLP 任務(wù)創(chuàng)建更詳盡的測試,有助于識(shí)別更多的錯(cuò)誤的,帶來更強(qiáng)大的 NLP 系統(tǒng)。
該論文在 ACL 2020 上獲得了最佳論文獎(jiǎng)(Best Paper)。
8、重新評(píng)估自動(dòng)機(jī)器翻譯評(píng)估指標(biāo)
自動(dòng)化指標(biāo)是開發(fā)和評(píng)估機(jī)器翻譯系統(tǒng)的基礎(chǔ)。判斷自動(dòng)化度量標(biāo)準(zhǔn)是否與人類評(píng)估的黃金標(biāo)準(zhǔn)相一致,并非易事。
墨爾本大學(xué)計(jì)算與信息系統(tǒng)學(xué)院 的這項(xiàng)研究表明,當(dāng)前的指標(biāo)評(píng)估方法對(duì)用于評(píng)估的翻譯系統(tǒng)非常敏感,尤其是存在異常值時(shí),這通常會(huì)導(dǎo)致對(duì)評(píng)價(jià)效果產(chǎn)生錯(cuò)誤的自信判斷。例如,如果使用大量翻譯系統(tǒng)來計(jì)算領(lǐng)先指標(biāo)和人工評(píng)估之間的相關(guān)性,則該相關(guān)性通常很高(即 0.9)。但是,如果僅考慮幾個(gè)最佳系統(tǒng),則相關(guān)性會(huì)顯著降低,在某些情況下甚至可能為負(fù)相關(guān)。
因此,他們提出了一種在自動(dòng)度量標(biāo)準(zhǔn)下以人為判斷為閾值提高性能的方法,可以量化所引起的 I 型錯(cuò)誤與 II 型錯(cuò)誤,即可以接受的人類評(píng)判質(zhì)量差異,以及不能接受的人類評(píng)判差異。與 BLEU 和 TER 相比,優(yōu)先考慮 chrF,YiSi-1 和 ESIM 等評(píng)估指標(biāo)。
一句話總結(jié)現(xiàn)實(shí)影響:這些發(fā)現(xiàn)對(duì)機(jī)器翻譯中的度量評(píng)估和系統(tǒng)性能評(píng)估的協(xié)議進(jìn)行了改進(jìn)。
這項(xiàng)研究在 ACL 2020 上入圍榮譽(yù)提名論文獎(jiǎng)(Honorable Mention Papers)。
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長度6~500個(gè)字
最新活動(dòng)更多
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場仿真助跑新能源汽車
-
11月28日立即報(bào)名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國智造CIO在線峰會(huì)
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 1 【一周車話】沒有方向盤和踏板的車,你敢坐嗎?
- 2 特斯拉發(fā)布無人駕駛車,還未迎來“Chatgpt時(shí)刻”
- 3 特斯拉股價(jià)大跌15%:Robotaxi離落地還差一個(gè)蘿卜快跑
- 4 馬斯克給的“驚喜”夠嗎?
- 5 打完“價(jià)格戰(zhàn)”,大模型還要比什么?
- 6 馬斯克致敬“國產(chǎn)蘿卜”?
- 7 神經(jīng)網(wǎng)絡(luò),誰是盈利最強(qiáng)企業(yè)?
- 8 比蘋果偉大100倍!真正改寫人類歷史的智能產(chǎn)品降臨
- 9 諾獎(jiǎng)進(jìn)入“AI時(shí)代”,人類何去何從?
- 10 Open AI融資后成萬億獨(dú)角獸,AI人才之爭開啟
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市