深蘭科技多條推理任務(wù)解決方案分享
2021年6月6日-11日,自然語言處理(NLP)領(lǐng)域的頂級會議NAACL在線上舉辦。深蘭科技DeepBlueAI團隊參加了Multi-Hop Inference Explanation Regeneration (TextGraphs-15) 共享任務(wù)比賽,并獲得了第一,該方案多用于科學(xué)知識問答等領(lǐng)域。同賽道競技的還有騰訊、哈爾濱工業(yè)大學(xué)組成的團隊以及新加坡科技設(shè)計大學(xué)團隊等。
圖1 成績排名
NAACL全稱為 Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies,與ACL、EMNLP并稱NLP領(lǐng)域的三大頂會。
冠軍方案分享
任務(wù)介紹
多條推理(Multi-Hop Inference)任務(wù)是結(jié)合多條信息去解決推理任務(wù),如可以從書中或者網(wǎng)絡(luò)上選擇有用的句子,或者集合一些知識庫的知識去回答他人提出的問題。如下圖所示,如需回答當(dāng)前問題,要結(jié)合圖中所示三種信息才能完成推理,得到正確的答案。而解釋再生(Explanation Regeneration)任務(wù)是多條推理任務(wù)的基礎(chǔ),其目的是構(gòu)建科學(xué)問題的解釋,每個解釋都表示為一個“解釋圖”,一組原子事實(每個解釋包含1-16個,從9000個事實的知識庫中提。,它們一起構(gòu)成了對回答和解釋問題進(jìn)行推理解析的詳細(xì)解釋。
圖2 任務(wù)示例
對于當(dāng)前任務(wù),舉辦方將其定義為一個排序任務(wù),輸入的是問題及其對應(yīng)的正確答案,要求系統(tǒng)能夠?qū)μ峁┑陌虢Y(jié)構(gòu)化知識庫中的原子事實解釋進(jìn)行排序,以便排名靠前的原子事實解釋能夠為答案提供更加詳細(xì)和確切的說明。
數(shù) 據(jù)
此共享任務(wù)中使用的數(shù)據(jù)包含從 AI2 推理挑戰(zhàn) (ARC) 數(shù)據(jù)集中提取的大約 5,100 道科學(xué)考試題,以及從 WorldTree V2.1[2] 解釋中提取的正確答案的事實解釋語料庫,并在此基礎(chǔ)上增加了專家生成的相關(guān)性評級。支持這些問題及其解釋的知識庫包含大約 9,000 個事實,知識庫既可以作為純文本句子(非結(jié)構(gòu)化)也可以作為半結(jié)構(gòu)化表格使用。
方 案
該任務(wù)為一個排序任務(wù),具體表現(xiàn)為給定問題和答案,將知識庫中的9,000個原子事實解釋進(jìn)行排序,評價方式為NDCG。方案主要由召回和排序兩部分組成,第一步先召回Top-K(k> 100)個解釋,第二步對召回的Top-K個解釋進(jìn)行排序。針對召回和排序任務(wù),如果直接采用 Interaction-Based(交互型,即問題文本和事實解釋在模型中存在信息交互) 類型的網(wǎng)絡(luò),計算量將巨大,因此交互型網(wǎng)絡(luò)在當(dāng)前的任務(wù)中無法使用,團隊最終采用了向量化檢索的方式進(jìn)行排序。
為了提取更深的語義信息生成比較好的特征向量,團隊沒有采用TF-IDF、BM25、DSSM[3]等常用的排序模型,而是采用了當(dāng)前比較流行的預(yù)訓(xùn)練模型作為特征提取器,結(jié)合Triplet loss[4]訓(xùn)練了一個Triplet Network來完成向量化排序,其中在召回部分和排序部分均采用Triplet Network。
圖3 Triplet loss
Triplet loss如圖3所示,輸入樣本對是一個三元組,這個三元組
由一個錨點樣本
,一個正樣本
,一個負(fù)樣本組成
。其目標(biāo)是錨點樣本與負(fù)樣本之間的距離
與錨點樣本和正樣本之間的距離
之差大于一個閾值m ,可以表示為:
。
對于簡單容易學(xué)習(xí)的樣本
,對比于正樣本來說,負(fù)樣本和錨點樣本已經(jīng)有足夠的距離了(即是大于m ),此時loss為0,網(wǎng)絡(luò)參數(shù)將不會繼續(xù)更新,對于其他樣本loss>0 網(wǎng)絡(luò)參數(shù)可以正常更新。
模 型
針對當(dāng)前任務(wù),如下圖所示,錨點(Anchor)樣本為問題和答案連接的文本,正樣本(Positive)為問題對應(yīng)的解釋文本,負(fù)樣本(Negative)為其他隨機選擇與正樣本不同的解釋文本,其中他們?nèi)齻輸入共享一套預(yù)訓(xùn)練語言模型(Pre-trained language model :PLM)參數(shù)。訓(xùn)練時將上述三個文本輸入到PLM模型中,選取PLM模型的所有Token 向量平均作為輸出,將三個輸入向量經(jīng)過Triplet Loss 得到損失值完成模型的訓(xùn)練。
圖4 模型圖
負(fù) 采 樣
為了更好地訓(xùn)練模型,團隊在召回階段采用了三種不同的負(fù)采樣方式:
全局隨機負(fù)采樣,即在9,000個解釋文本中隨機選取一個不是正樣本的樣本作為負(fù)樣本;
Batch內(nèi)負(fù)采樣,即在當(dāng)前Batch內(nèi)選取其他問題的對應(yīng)的解釋正樣本,作為當(dāng)前問題的負(fù)樣本;
相近樣本負(fù)采樣,在同一個表中隨機選取一個樣本作為負(fù)樣本,因為同一個表中的樣本比較相近。
在排序階段同樣采取了三種不同的負(fù)采樣方式:
Top-K 隨機負(fù)采樣,即在在召回的Top-K個樣本中隨機選取一個負(fù)樣本;
Batch內(nèi)負(fù)采樣,和召回階段相同;
Top-N 隨機負(fù)采樣,為了強化前面一些樣本的排序效果,增大了前面N個樣本的采樣概率(N遠(yuǎn)遠(yuǎn)小于K)。
實 驗
團隊采用了兩種預(yù)訓(xùn)練模型RoBERTa[5] 和ERNIE 2.0[6],并將兩個模型的預(yù)測結(jié)果進(jìn)行了融合。在召回和排序階段,采用了同樣的參數(shù),主要參數(shù)如采用三種負(fù)采樣方式,每種負(fù)采樣方式選取16個樣本,最終的batch size為48,epoch為15。同時,使用了Adam優(yōu)化器并采用了學(xué)習(xí)率衰減策略,從1e-5衰減到0。
團隊分別評測了NDCG @100、NDCG @500、NDCG @1000、NDCG @2000的結(jié)果,最終效果如下表所示,其中Baseline為TFIDF模型、Recall為召回階段、Re-ranker為針對召回的結(jié)果重新排序的結(jié)果。從表中可以看出基于預(yù)訓(xùn)練模型的方法對比Baseline有著很大的提升,同時重排也有著顯著的提升,同時從排行榜中可以看出DeepBlueAI團隊的模型對比他人也有著較大的領(lǐng)先。
Table 1 The final results compared with different models
參考文獻(xiàn)
[1] Clark P, Cowhey I, Etzioni O, et al. Think you have solved question answering? try arc, the ai2 reasoning challenge[J]. arXiv preprint arXiv:1803.05457, 2018.
[2] Xie Z, Thiem S, Martin J, et al. Worldtree v2: A corpus of science-domain structured explanations and inference patterns supporting multi-h(huán)op inference[C]//Proceedings of The 12th Language Resources and Evaluation Conference. 2020: 5456-5473.
[3] Huang, Po-Sen, et al. "Learning deep structured semantic models for web search using clickthrough data." *Proceedings of the 22nd ACM international conference on Information & Knowledge Management*. 2013.
[4] Schroff, Florian, Dmitry Kalenichenko, and James Philbin. "Facenet: A unified embedding for face recognition and clustering." *Proceedings of the IEEE conference on computer vision and pattern recognition*. 2015.
[5] Liu Y, Ott M, Goyal N, et al. Roberta: A robustly optimized bert pretraining approach[J]. arXiv preprint arXiv:1907.11692, 2019.
[6] Sun Y, Wang S, Li Y, et al. Ernie 2.0: A continual pre-training framework for language understanding[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2020, 34(05): 8968-8975.
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月28日立即報名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
-
精彩回顧立即查看>> 【限時免費下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
推薦專題
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市