ECCV 2020 | 基于對(duì)抗路徑采樣的反事實(shí)視覺語言導(dǎo)航
一、方法架構(gòu)
本文的核心——模型未知的對(duì)抗路徑采樣器顯示如下,首先APS從路徑集P中采樣出一批路徑、并利用Speaker來得到復(fù)現(xiàn)的指令I(lǐng)。
對(duì)抗采樣器APS的學(xué)習(xí)架構(gòu),其中Speaker表示用于生成導(dǎo)航指令的反向翻譯語言模型,而NAV表示導(dǎo)航模型。
在獲取路徑P和指令I(lǐng)后,模型的目標(biāo)就在于優(yōu)化導(dǎo)航損失函數(shù)。針對(duì)APS學(xué)習(xí)采樣的路徑,導(dǎo)航器并不能通過最大化導(dǎo)航損失來得到較好的性能。針對(duì)導(dǎo)航損失在導(dǎo)航模型NAV和APS之間會(huì)產(chǎn)生對(duì)抗的行為,APS不斷采樣出有挑戰(zhàn)性的路徑,同時(shí)NAV則嘗試著在APS申請(qǐng)的路徑中進(jìn)行導(dǎo)航完成任務(wù)。通過這種對(duì)抗方法,基于P和I生成的對(duì)抗增強(qiáng)數(shù)據(jù)將有效提升NAV的導(dǎo)航能力。在實(shí)際過程中,Speaker和導(dǎo)航器都通過原始數(shù)據(jù)進(jìn)行了預(yù)訓(xùn)練,同時(shí)Speaker在對(duì)抗訓(xùn)練過程中參數(shù)保持固定。
在本文中,研究人員使用了回歸行為采樣器πAPS來采樣行為序列at(基于場景特征ft),并結(jié)合得到路徑輸出。其中ft表示從環(huán)境中抽取的視覺特征。對(duì)于全景輸入圖像來說,ftj表示時(shí)間t時(shí)從視角j獲取的視覺特征。
對(duì)抗采樣器的架構(gòu)模型
模型首先利用LSTM對(duì)先前的視覺特征和上一步行為進(jìn)行編碼,而后基于歷史編碼和行為嵌入u來決定此時(shí)此刻需要采取的行為。APS模型中包含了一系列可學(xué)習(xí)的權(quán)重,具體可以在原文3.3部分找到詳細(xì)的理論描述。
在通過APS處理后,將得到的一系列導(dǎo)航歷史{at}和視覺特征{ftj}組建成路徑P。為了保持與原始訓(xùn)練數(shù)據(jù)的一致性(其導(dǎo)航路徑都是最短路徑),需要將APS采樣得到的路徑轉(zhuǎn)換為最小路徑。隨后通過Speaker模型為每一條采樣路徑P生成指令I(lǐng),最終將得到增強(qiáng)過的數(shù)據(jù)對(duì)(P,I)。隨后通過“學(xué)生強(qiáng)制”的方法基于(P,I)來對(duì)導(dǎo)航模型進(jìn)行訓(xùn)練,其中訓(xùn)練損失以可以視為NAV在(P,I)下的性能指標(biāo),損失越高性能越差。為了創(chuàng)造難度不斷增加的路徑來改善導(dǎo)航策略,研究人員將APS損失定義為了與LAN損失相關(guān)的表示:
由于APS與模型無關(guān),它僅僅考慮導(dǎo)航模型訓(xùn)練損失而不關(guān)系模型架構(gòu),所以這種機(jī)制可以被集成到任意的導(dǎo)航模型中去。
下面的算法展示了整個(gè)對(duì)抗路徑采樣器的訓(xùn)練過程,APS目標(biāo)是最大化導(dǎo)航損失以便創(chuàng)建盡可能困難的路徑,而NAV的目標(biāo)則是最小化導(dǎo)航損失以便進(jìn)行更好的導(dǎo)航。
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長度6~500個(gè)字
最新活動(dòng)更多
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場仿真助跑新能源汽車
-
11月28日立即報(bào)名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國智造CIO在線峰會(huì)
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 1 【一周車話】沒有方向盤和踏板的車,你敢坐嗎?
- 2 特斯拉發(fā)布無人駕駛車,還未迎來“Chatgpt時(shí)刻”
- 3 特斯拉股價(jià)大跌15%:Robotaxi離落地還差一個(gè)蘿卜快跑
- 4 馬斯克給的“驚喜”夠嗎?
- 5 打完“價(jià)格戰(zhàn)”,大模型還要比什么?
- 6 馬斯克致敬“國產(chǎn)蘿卜”?
- 7 神經(jīng)網(wǎng)絡(luò),誰是盈利最強(qiáng)企業(yè)?
- 8 比蘋果偉大100倍!真正改寫人類歷史的智能產(chǎn)品降臨
- 9 諾獎(jiǎng)進(jìn)入“AI時(shí)代”,人類何去何從?
- 10 Open AI融資后成萬億獨(dú)角獸,AI人才之爭開啟
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市