7款主流大模型實(shí)測(cè):簡(jiǎn)單的數(shù)感測(cè)試全翻車(chē)
實(shí)測(cè)strawberry中有2個(gè)字母“r”?不會(huì)比大小的大模型也幾乎數(shù)不對(duì)數(shù),數(shù)理能力差到驚人!
@科技新知 原創(chuàng)
作者丨王思原 編輯丨賽柯
誰(shuí)能想到,號(hào)稱(chēng)“超級(jí)大腦”的大模型,竟然在幾道簡(jiǎn)單的數(shù)學(xué)題上敗給了小學(xué)生。
近日,國(guó)內(nèi)火熱的音樂(lè)節(jié)目《歌手》中,孫楠與外國(guó)歌手的微小分?jǐn)?shù)差異,引發(fā)了網(wǎng)友關(guān)于13.8%和13.11%誰(shuí)大誰(shuí)小的爭(zhēng)論。
艾倫研究機(jī)構(gòu)成員林禹臣將此問(wèn)題拋給了ChatGPT-4o,但結(jié)果令人吃驚,最強(qiáng)大模型竟然在回答中給到了13.11比13.8更大的錯(cuò)誤答案。
隨后Scale AI的提示工程師萊利·古德賽德基于此靈感變換了問(wèn)法,拷問(wèn)了可能是目前最強(qiáng)的大模型ChatGPT-4o、谷歌Gemini Advanced以及Claude 3.5 Sonnet——9.11和9.9哪個(gè)更大?然而幾家頭部大模型的錯(cuò)誤回答,也讓該話(huà)題傳播開(kāi)來(lái)。
而面對(duì)如此簡(jiǎn)單的問(wèn)題,國(guó)產(chǎn)大模型表現(xiàn)如何呢?為此,我們也對(duì)國(guó)內(nèi)7款主流AIGC產(chǎn)品文心一言、通義千問(wèn)、騰訊元寶、字節(jié)豆包、訊飛星火、智譜、Kimi進(jìn)行了比小學(xué)數(shù)學(xué)更簡(jiǎn)單的“單詞字母數(shù)識(shí)別”測(cè)試,結(jié)果令我們大吃一驚。
Part.1
7家大模型,幾乎全翻車(chē)
首先我們向7款大模型產(chǎn)品詢(xún)問(wèn)同一個(gè)問(wèn)題,“strawberry中有幾個(gè)字母r”?
大模型新星Kimi,斬釘截鐵且不加解釋的表示有1個(gè)字母r,不過(guò)當(dāng)我們?cè)俅卧?xún)問(wèn)時(shí),Kimi竟打翻了自己第一次的錯(cuò)誤答案,給到了第二個(gè)錯(cuò)誤答案。再三追問(wèn)后仍是沒(méi)能給到正確答案。
來(lái)源:科技新知(Kimi)
智譜AI旗下的智譜清言ChatCLM給到的也是錯(cuò)誤答案。
來(lái)源:科技新知(智譜清言)
科大訊飛的訊飛星火對(duì)話(huà)在回答這個(gè)問(wèn)題的時(shí)候開(kāi)啟了聯(lián)網(wǎng)搜索,給到一個(gè)錯(cuò)誤答案后,還一本正經(jīng)的告訴我們這2個(gè)r的位置。但可惜的是,星火對(duì)話(huà)給到的位置有一個(gè)也是錯(cuò)誤的。
來(lái)源:科技新知(訊飛星火)
不過(guò)也有表現(xiàn)不錯(cuò)的,百度的文心大模型將strawberry每個(gè)字母都進(jìn)行了拆分,然后進(jìn)行統(tǒng)計(jì),給到了正確結(jié)果。
來(lái)源:科技新知(文心大模型)
阿里旗下的通義千問(wèn)在第一次回答中給到了一個(gè)錯(cuò)誤答案,并且闡述的位置也是錯(cuò)誤的,第二次雖然再次給出了錯(cuò)誤答案,但其回答中識(shí)別到了3個(gè)字母r,只是一句“注意雖然 "rr" 是連續(xù)的,但它們?nèi)匀槐挥?jì)算為兩個(gè)單獨(dú)的字母。”讓人摸不到頭腦。
來(lái)源:科技新知(通義千問(wèn))
于是我們追問(wèn)了“為什么rr被計(jì)算為兩個(gè)單獨(dú)的字母”,通義千問(wèn)竟然又否認(rèn)了剛才的回答,稱(chēng)“在 "strawberry" 中,兩個(gè) "r" 字母可以影響周?chē)艄?jié)的發(fā)音,但它們?nèi)匀皇莾蓚(gè)獨(dú)立的字母。”
來(lái)源:科技新知(通義千問(wèn))
騰訊元寶在回答這個(gè)問(wèn)題時(shí)采用的是假設(shè)法,假設(shè)了字母“r”的數(shù)量為未知數(shù)x,然后通過(guò)查看單詞“strawberry”并計(jì)數(shù)字母“r”得到x的值,最后給到的答案是正確的。
來(lái)源:科技新知(騰訊元寶)
表現(xiàn)良好的還有字節(jié)豆包,直截了當(dāng)?shù)慕o出了正確答案,并且還舉了兩個(gè)例子來(lái)證明這個(gè)簡(jiǎn)單的問(wèn)題難不倒它。但是,也是豆包的這兩個(gè)例子出賣(mài)了它在識(shí)數(shù)能力上的問(wèn)題。豆包稱(chēng)“car”這個(gè)單詞只有1個(gè)“r”,“mirror”則有2個(gè)“r”,而“strawberry”比它們都多,有3個(gè)。
問(wèn)題顯而易見(jiàn),“mirror”中有其實(shí)是有3個(gè)“r”,并非2個(gè)。于是我們又追問(wèn)了一下“mirror中有幾個(gè)字母r”,豆包給到的答案仍然是2個(gè),并且又舉了兩個(gè)錯(cuò)誤的例子,稱(chēng)“father”這個(gè)單詞有2個(gè)“r”,而“orange”里面則一個(gè)“r”都沒(méi)有。這多少讓人認(rèn)為豆包的正確回答有“蒙”的嫌疑。
來(lái)源:科技新知(豆包)
通過(guò)這個(gè)簡(jiǎn)單的測(cè)試我們可以看到,7家大模型中有5家都有“不識(shí)數(shù)”的嫌疑,于是我們又將這個(gè)單詞進(jìn)行拆分成2個(gè)更簡(jiǎn)單的字母,測(cè)試這些大模型能否給到正確答案。
Part.2
拆分測(cè)試,揭露大模型邏輯短板
為了引導(dǎo)大模型,盡量使大模型給到正確答案,我們這部分將分為兩個(gè)問(wèn)題,一個(gè)是“str中含有幾個(gè)字母r,berry中含有幾個(gè)字母r,他們一共含有幾個(gè)r?”,另一個(gè)是“那str和berry合在一起是strawberry,所以strawberry中含有幾個(gè)字母r?”
不過(guò),被寄予厚望的Kimi還是讓我們失望了。將strawberry拆分成兩個(gè)簡(jiǎn)單的單詞后,Kimi仍沒(méi)給到正確答案。
來(lái)源:科技新知(Kimi)
同樣,智譜清言在這一輪也沒(méi)能給到正確答案。并且其給出的解釋也與Kimi一致,都認(rèn)為berry中有1個(gè)字母r,所以才導(dǎo)致strawberry中少了1個(gè)r。
來(lái)源:科技新知(智譜清言)
有趣的是訊飛星火,當(dāng)我們將單詞分開(kāi)提問(wèn)時(shí),星火對(duì)話(huà)能夠給到正確的回答,并且識(shí)別到了berry中有2個(gè)字母r,不過(guò)看星火對(duì)話(huà)給的解釋是將這兩個(gè)字母當(dāng)作字符串,用編程的方式來(lái)查找所得。但不管怎樣,答案確實(shí)是正確的。
來(lái)源:科技新知(訊飛星火)
而當(dāng)我們認(rèn)為訊飛星火又行了的時(shí)候,再次詢(xún)問(wèn)“那str和berry合在一起是strawberry,所以strawberry中含有幾個(gè)字母r?”,但訊飛星火仍然給到的是錯(cuò)誤答案。
來(lái)源:科技新知(訊飛星火)
上一輪表現(xiàn)出色的文心大模型這次并沒(méi)有給到正確答案,它與Kimi和智譜清言都認(rèn)為“berry” 中有1個(gè)“r”,而追問(wèn)兩個(gè)單詞合在一起有幾個(gè)r后,文心也是給出了2個(gè)的錯(cuò)誤答案。
來(lái)源:科技新知(文心大模型)
通義千問(wèn)這次的表現(xiàn)讓人吃驚,不但準(zhǔn)確的給出了答案,而且還給了代碼級(jí)別的計(jì)算過(guò)程。
來(lái)源:科技新知(通義千問(wèn))
當(dāng)我們?cè)俅螁?wèn)strawberry中含有幾個(gè)字母r時(shí),通義千問(wèn)也非常有邏輯的地告訴我們可以直接在 "strawberry" 中查找 "r" 的出現(xiàn)次數(shù),而不必依賴(lài)于之前的組合。
來(lái)源:科技新知(通義千問(wèn))
騰訊元寶的表現(xiàn)也足夠穩(wěn)定,簡(jiǎn)單迅速的給到了正確答案。
來(lái)源:科技新知(騰訊元寶)
豆包在這一輪也給到的正確答案,但喜歡舉例的豆包,再次舉了一個(gè)錯(cuò)誤案例。所以其數(shù)數(shù)字的水平和邏輯到底怎樣,仍是未知。
來(lái)源:科技新知(豆包)
兩輪簡(jiǎn)單的小測(cè)試下來(lái),7家國(guó)產(chǎn)大模型只有1家表現(xiàn)穩(wěn)定,其他6家均出現(xiàn)了不同程度的錯(cuò)誤,這到底是怎么回事呢?
Part.3
數(shù)學(xué)不好,本質(zhì)是能力問(wèn)題
這類(lèi)大模型說(shuō)胡話(huà)的現(xiàn)象,在業(yè)界被稱(chēng)為大模型出現(xiàn)幻覺(jué)。
此前,哈爾濱工業(yè)大學(xué)和華為的研究團(tuán)隊(duì)發(fā)表的綜述論文認(rèn)為,模型產(chǎn)生幻覺(jué)的三大來(lái)源:數(shù)據(jù)源、訓(xùn)練過(guò)程和推理。大模型可能會(huì)過(guò)度依賴(lài)訓(xùn)練數(shù)據(jù)中的一些模式,如位置接近性、共現(xiàn)統(tǒng)計(jì)數(shù)據(jù)和相關(guān)文檔計(jì)數(shù),從而導(dǎo)致幻覺(jué)。此外,大模型還可能會(huì)出現(xiàn)長(zhǎng)尾知識(shí)回憶不足、難以應(yīng)對(duì)復(fù)雜推理的情況。
一位算法工程師認(rèn)為,生成式的語(yǔ)言模型更像文科生而不是理科生。實(shí)際上語(yǔ)言模型在這樣的數(shù)據(jù)訓(xùn)練過(guò)程中學(xué)到的是相關(guān)性,使得AI在文字創(chuàng)作上達(dá)到人類(lèi)平均水平,而數(shù)學(xué)推理更需要的是因果性,數(shù)學(xué)是高度抽象和邏輯驅(qū)動(dòng)的,與語(yǔ)言模型處理的語(yǔ)言數(shù)據(jù)在本質(zhì)上有所不同。這意味著大模型要學(xué)好數(shù)學(xué),除了學(xué)習(xí)世界知識(shí)外,還應(yīng)該有思維的訓(xùn)練,從而具備推理演繹能力。
不過(guò)中國(guó)社科院新聞與傳播研究所所長(zhǎng)胡正榮也指出,大模型雖然是語(yǔ)言模型,但這個(gè)語(yǔ)言不是人們通常理解的字面意思,音頻、解題等都是大模型可以做的。從理論上看,數(shù)學(xué)大模型這個(gè)技術(shù)方向是可行的,但最終結(jié)果如何,取決于兩個(gè)因素,一是算法是不是足夠好,二是是否有足夠量的數(shù)據(jù)做支撐。“如果大模型的算法不夠聰明,不是真正的數(shù)學(xué)思維,也會(huì)影響到答題的正確率。”
其實(shí)對(duì)于大模型來(lái)說(shuō),對(duì)自然語(yǔ)言的理解是基礎(chǔ)。很多數(shù)理化的專(zhuān)業(yè)知識(shí)并不是大模型的強(qiáng)項(xiàng),并且很多大模型是利用搜索把之前已有的解題的經(jīng)驗(yàn)和知識(shí)的推理相結(jié)合,可以理解為在搜索內(nèi)容上進(jìn)行理解,如果搜索內(nèi)容本就是錯(cuò)誤的,那么大模型給到的結(jié)果必然錯(cuò)誤。
值得一提的是,大模型的復(fù)雜推理能力尤為重要,這關(guān)乎可靠性和準(zhǔn)確性,是大模型在金融、工業(yè)等場(chǎng)景落地需要的關(guān)鍵能力,F(xiàn)在很多大模型的應(yīng)用場(chǎng)景是客服、聊天等等,在聊天場(chǎng)景一本正經(jīng)胡說(shuō)八道影響不太大,但它很難在非常嚴(yán)肅的商業(yè)場(chǎng)合去落地。
隨著技術(shù)的進(jìn)步和算法的優(yōu)化,我們期待大模型能夠在更多領(lǐng)域發(fā)揮其潛力,為人類(lèi)社會(huì)帶來(lái)更多實(shí)際價(jià)值。但通過(guò)這次對(duì)國(guó)內(nèi)主流大模型的簡(jiǎn)單測(cè)試,也警示我們,在依賴(lài)大模型進(jìn)行決策時(shí),必須保持謹(jǐn)慎,充分認(rèn)識(shí)到其局限性,并在關(guān)鍵領(lǐng)域加強(qiáng)人工審核和干預(yù),確保結(jié)果的準(zhǔn)確性和可靠性。畢竟,技術(shù)的最終目的是服務(wù)于人,而不是取代人的思考和判斷。
原文標(biāo)題 : 7款主流大模型實(shí)測(cè):簡(jiǎn)單的數(shù)感測(cè)試全翻車(chē)
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線(xiàn)會(huì)議】多物理場(chǎng)仿真助跑新能源汽車(chē)
-
11月28日立即報(bào)名>>> 2024工程師系列—工業(yè)電子技術(shù)在線(xiàn)會(huì)議
-
12月19日立即報(bào)名>> 【線(xiàn)下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線(xiàn)峰會(huì)
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書(shū)》
推薦專(zhuān)題
- 1 【一周車(chē)話(huà)】沒(méi)有方向盤(pán)和踏板的車(chē),你敢坐嗎?
- 2 特斯拉發(fā)布無(wú)人駕駛車(chē),還未迎來(lái)“Chatgpt時(shí)刻”
- 3 特斯拉股價(jià)大跌15%:Robotaxi離落地還差一個(gè)蘿卜快跑
- 4 馬斯克給的“驚喜”夠嗎?
- 5 大模型“新星”開(kāi)啟變現(xiàn)競(jìng)速
- 6 海信給AI電視打樣,12大AI智能體全面升級(jí)大屏體驗(yàn)
- 7 AI 投流卷哭創(chuàng)業(yè)者
- 8 打完“價(jià)格戰(zhàn)”,大模型還要比什么?
- 9 馬斯克致敬“國(guó)產(chǎn)蘿卜”?
- 10 神經(jīng)網(wǎng)絡(luò),誰(shuí)是盈利最強(qiáng)企業(yè)?
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷(xiāo)售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷(xiāo)售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專(zhuān)家 廣東省/江門(mén)市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市