2020 年 10 篇必讀的 NLP 突破論文 LIST
9、聊天機器人 Meena
開放域聊天機器人仍然存在明顯的弱點，比如說它們的響應通常沒有意義，或者過于模糊或籠統(tǒng)。
為了解決這些問題，谷歌研究團隊引入了 Meena（一個具有 2．6B 參數的生成式會話模型）。Meena 的 seq2seq 模型每層使用的是 Evolved Transformer （ET） 塊。Encoder 端使用了 1 個 ET 層（相當于 2 層 Transformer），Decoder 端使用了 13 個 ET 層（相當于 26 層 Transformer）。
在多回合會話中訓練模型，輸入序列包括上下文的所有回合（最多 7 個），輸出序列為響應。相比于 GPT－2 訓練使用了 40GB 的文檔數據，Meena 訓練使用了 341GB 的對話數據。Meena 的模型參數規(guī)模達到了 2．6B，在 GPT－2 的基礎上又大了不少。
與此同時，為了測量諸如 Meena 之類的開放域聊天機器人的質量，研究人員引入了一種新的人類評估指標，稱為敏感度和敏感度平均值（SSA），它可以測量聊天機器人的兩個基本方面 —— 有道理和具體。
Meena 的出現是一個進一步將計算機交互人性化的探索，可以幫助改善外語練習、使交互式電影和視頻游戲角色具有關聯性等應用場景。
不過，考慮到模型中與安全性和偏差有關的挑戰(zhàn)，研究團隊尚未開源該模型。
10、BlenderBot
Facebook AI Research 團隊顯示，有了適當的訓練數據和生成策略，大型模型可以學習許多重要的會話技巧，例如提高參與度、運用知識、富有同情心和保持角色一致性等等。
他們建立了一個先進的對話機器人，名為 “BlenderBot”。利用這個具有 9．4B 參數的模型，團隊對它進行了一項名為 Blended Skill Talk 的新任務的訓練。
建立 BlenderBot 這樣的開放域聊天機器人，有以下三個關鍵要素：
?規(guī)模大。最大的模型具有 94 億個參數，并在提取的對話的 15 億個訓練示例中進行了訓練。
?混合技能。聊天機器人接受了 “混合技能對話” 任務的培訓，以學習諸如使用個性，使用知識和表現同情心之類的技能。
?用于解碼的 Beam search 。
與上面的第九項研究 Meena 相比，Facebook 的這項工作進一步提升了基于預訓練模型構建的聊天機器人的回復效果，甚至在短對話（14 輪以下）的人工評估中獲得了非常接近人類的得分。
分享
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
-
10月23日火熱報名中>> 2025是德科技創(chuàng)新技術峰會
-
10月23日立即報名>> Works With 開發(fā)者大會深圳站
-
10月24日立即參評>> 【評選】維科杯·OFweek 2025（第十屆）物聯網行業(yè)年度評選
-
11月27日立即報名>> 【工程師系列】汽車電子技術在線大會
-
12月18日立即報名>> 【線下會議】OFweek 2025（第十屆）物聯網產業(yè)大會
-
精彩回顧立即查看>> 【限時福利】TE 2025國際物聯網展·深圳站
