GPT將死!Meta發(fā)布“類人”模型,能夠理解世界
全世界現(xiàn)在正陷入一場AI的狂歡。每天都有大模型誕生,給人一種AI即將統(tǒng)治世界的錯(cuò)覺。
AI確實(shí)正在經(jīng)歷有史以來最快的發(fā)展時(shí)期,但是有人卻覺得這一切都是表象。
在前不久結(jié)束的智源“AI春晚”大會(huì)上,深度學(xué)習(xí)巨頭之一、Meta首席科學(xué)家Yann LeCun(楊立昆)語出驚人:現(xiàn)有的GPT模型活不過5年!
他言辭犀利地對目前類GPT模型發(fā)出批評,根據(jù)概率生成自回歸的大模型,根本無法破除幻覺難題。在輸入文本增大的時(shí)候,錯(cuò)誤的幾率也會(huì)成指數(shù)增加。
LeCun不認(rèn)為現(xiàn)階段的大模型可以最終通向AGI(通用人工智能),所以他提出了自己的構(gòu)想——“世界模型”。
現(xiàn)在,他的構(gòu)想有了初步的實(shí)現(xiàn)。Meta剛剛宣布推出一種“類人”模型,聲稱可以理解世界。
GPT不好使,“世界模型”才是未來
Yann LeCun對于 AI 發(fā)展所持的態(tài)度是深度學(xué)習(xí)三巨頭里最為樂觀的。此前在馬斯克提出“人工智能給人類文明帶來了潛在風(fēng)險(xiǎn)”時(shí),LeCun 曾公開反駁,認(rèn)為人工智能遠(yuǎn)未發(fā)展到給人類構(gòu)成威脅的程度。
AI 的能力距離人類與動(dòng)物的能力,還有差距——差距主要體現(xiàn)在邏輯推理和規(guī)劃,大模型目前只能“本能反應(yīng)”。
基于這個(gè)立場,LeCun一直在探索如何讓模型“讀懂世界,理解世界”。為此,他創(chuàng)建了可以實(shí)現(xiàn)類人推理的世界模型。
LeCun提到,人類和動(dòng)物能夠通過觀察,簡單的交互,以及無監(jiān)督的方式學(xué)習(xí)世界知識,因此可以假設(shè),這里面蘊(yùn)含的潛在能力構(gòu)成了常識的基礎(chǔ)。
世界模型需要融合不同的學(xué)科的觀點(diǎn),包括但不限于認(rèn)知科學(xué)、系統(tǒng)神經(jīng)科學(xué)、最優(yōu)控制、強(qiáng)化學(xué)習(xí)以及 "傳統(tǒng) "人工智能。
作為Meta的首席科學(xué)家,LeCun帶領(lǐng)一個(gè)團(tuán)隊(duì)專注研究他的世界模型。直到今天,Meta宣布將向研究人員提供一種新型“類人”人工智能模型組件——I-JEPA(圖像聯(lián)合嵌入預(yù)測架構(gòu))。
官方介紹,I-JEPA可以利用對世界的背景知識來填補(bǔ)圖像中缺失的部分,而不是像其他生成式人工智能模型那樣,只根據(jù)附近的像素進(jìn)行推斷。
有關(guān)注過AI圖像生成的人會(huì)發(fā)現(xiàn),剛開始讓AI作圖,畫面一旦出現(xiàn)人物,就會(huì)有多一根手指,手部扭曲等問題。這是由于現(xiàn)階段的AI模型會(huì)過于關(guān)注不相干的細(xì)節(jié),而不是捕捉更高級的可預(yù)測的概念。
I-JEPA可以解決這一點(diǎn),I-JEPA試圖通過捕捉這個(gè)世界的常識的背景知識,并將其編碼為以后可以訪問的數(shù)字表示,從而模仿這種學(xué)習(xí)方式,讓其擁有LeCun一直夢想的“理解世界”的能力。
AGI將是最終歸宿
Yann LeCun一直將推動(dòng)AI走向AGI作為畢生的目標(biāo)。基于他構(gòu)想建立的I-JEPA展示了架構(gòu)在學(xué)習(xí)現(xiàn)成圖像表征方面的潛力,而且還不需通過人工制作的知識作為額外的輔助。
I-JEPA可以自我監(jiān)督,不需要人類。Meta AI的團(tuán)隊(duì)表示,I-JEPA可以直接從圖像或聲音等未標(biāo)記的數(shù)據(jù)中學(xué)習(xí),擺脫人工組裝的標(biāo)記數(shù)據(jù)。
在較高的層次上,JEPA旨在通過相同輸入的其他部分的表示來預(yù)測輸入部分(如圖像或文本)的表示。因?yàn)樗簧婕皩D像的多個(gè)視圖/增強(qiáng)表示折疊到單個(gè)點(diǎn),所以希望JEPA能夠避免與另一種廣泛使用的稱為基于不變性的預(yù)訓(xùn)練的方法相關(guān)的偏差和問題。
Meta表示,I-JEPA在多個(gè)計(jì)算機(jī)視覺基準(zhǔn)測試中表現(xiàn)出非常強(qiáng)大的性能,它學(xué)到的表示也可以用于其他應(yīng)用,而無需進(jìn)行大量的微調(diào)。I-JEPA學(xué)習(xí)的表示也可以用于許多不同的應(yīng)用程序,而不需要進(jìn)行大量的微調(diào)。
開源,將是I-JEPA未來得到更大發(fā)展的必由之路。Meta的研究團(tuán)隊(duì)表示,期待著將JEPA方法擴(kuò)展到其他領(lǐng)域,如圖像-文本配對數(shù)據(jù)和視頻數(shù)據(jù)。
Meta CEO扎克伯格表示,與其他研究者分享 Meta 公司開發(fā)的模型可以幫助該公司促進(jìn)創(chuàng)新、發(fā)現(xiàn)安全漏洞和降低成本。
他今年 4 月對投資者說:“對我們來說,如果行業(yè)對我們正在使用的基本工具進(jìn)行標(biāo)準(zhǔn)化,那么我們就可以從他人的改進(jìn)中受益!
Yann LeCun此前也指出,“獲勝的平臺將是開放平臺”,并稱谷歌和OpenAI越來越封閉是一個(gè)錯(cuò)誤的決定。
對于質(zhì)疑,LeCun稱,“你無法阻止人們制造有害信息,但你可以切斷這類信息的傳播!
目前,訓(xùn)練代碼和模型已經(jīng)開源。相關(guān)論文將在下周舉辦的人工智能頂級盛會(huì)CVPR 2023上宣讀討論。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個(gè)字
最新活動(dòng)更多
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場仿真助跑新能源汽車
-
11月28日立即報(bào)名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國智造CIO在線峰會(huì)
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 高級軟件工程師 廣東省/深圳市
- 自動(dòng)化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市