訂閱
糾錯(cuò)
加入自媒體

2020 年 10 篇必讀的 NLP 突破論文 LIST

9、聊天機(jī)器人 Meena

開放域聊天機(jī)器人仍然存在明顯的弱點(diǎn),比如說它們的響應(yīng)通常沒有意義,或者過于模糊或籠統(tǒng)。

為了解決這些問題,谷歌研究團(tuán)隊(duì)引入了 Meena(一個(gè)具有 2.6B 參數(shù)的生成式會(huì)話模型)。Meena 的 seq2seq 模型每層使用的是 Evolved Transformer (ET) 塊。Encoder 端使用了 1 個(gè) ET 層(相當(dāng)于 2 層 Transformer),Decoder 端使用了 13 個(gè) ET 層(相當(dāng)于 26 層 Transformer)。

在多回合會(huì)話中訓(xùn)練模型,輸入序列包括上下文的所有回合(最多 7 個(gè)),輸出序列為響應(yīng)。相比于 GPT-2 訓(xùn)練使用了 40GB 的文檔數(shù)據(jù),Meena 訓(xùn)練使用了 341GB 的對(duì)話數(shù)據(jù)。Meena 的模型參數(shù)規(guī)模達(dá)到了 2.6B,在 GPT-2 的基礎(chǔ)上又大了不少。

與此同時(shí),為了測(cè)量諸如 Meena 之類的開放域聊天機(jī)器人的質(zhì)量,研究人員引入了一種新的人類評(píng)估指標(biāo),稱為敏感度和敏感度平均值(SSA),它可以測(cè)量聊天機(jī)器人的兩個(gè)基本方面 —— 有道理和具體。

Meena 的出現(xiàn)是一個(gè)進(jìn)一步將計(jì)算機(jī)交互人性化的探索,可以幫助改善外語練習(xí)、使交互式電影和視頻游戲角色具有關(guān)聯(lián)性等應(yīng)用場(chǎng)景。

不過,考慮到模型中與安全性和偏差有關(guān)的挑戰(zhàn),研究團(tuán)隊(duì)尚未開源該模型。

10、BlenderBot

Facebook AI Research 團(tuán)隊(duì)顯示,有了適當(dāng)?shù)挠?xùn)練數(shù)據(jù)和生成策略,大型模型可以學(xué)習(xí)許多重要的會(huì)話技巧,例如提高參與度、運(yùn)用知識(shí)、富有同情心和保持角色一致性等等。

他們建立了一個(gè)先進(jìn)的對(duì)話機(jī)器人,名為 “BlenderBot”。利用這個(gè)具有 9.4B 參數(shù)的模型,團(tuán)隊(duì)對(duì)它進(jìn)行了一項(xiàng)名為 Blended Skill Talk 的新任務(wù)的訓(xùn)練。

建立 BlenderBot 這樣的開放域聊天機(jī)器人,有以下三個(gè)關(guān)鍵要素:

?規(guī)模大。最大的模型具有 94 億個(gè)參數(shù),并在提取的對(duì)話的 15 億個(gè)訓(xùn)練示例中進(jìn)行了訓(xùn)練。

?混合技能。聊天機(jī)器人接受了 “混合技能對(duì)話” 任務(wù)的培訓(xùn),以學(xué)習(xí)諸如使用個(gè)性,使用知識(shí)和表現(xiàn)同情心之類的技能。

?用于解碼的 Beam search 。

與上面的第九項(xiàng)研究 Meena 相比,F(xiàn)acebook 的這項(xiàng)工作進(jìn)一步提升了基于預(yù)訓(xùn)練模型構(gòu)建的聊天機(jī)器人的回復(fù)效果,甚至在短對(duì)話(14 輪以下)的人工評(píng)估中獲得了非常接近人類的得分。

<上一頁  1  2  3  4  
聲明: 本文由入駐維科號(hào)的作者撰寫,觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長度6~500個(gè)字

您提交的評(píng)論過于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評(píng)論

暫無評(píng)論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)