我花300塊組裝的電腦,成功跑通了本地大模型
如果說2023年是大家公認(rèn)的AI元年,那么2024年很可能就是AI大模型普及的關(guān)鍵一年。
在這一年里,大量的AI大模型、大量的AI應(yīng)用問世,Meta、Google等廠商也開始面向民眾推出自己的在線/本地大模型,似乎“AI人工智能”瞬間從一個(gè)遙不可及的概念,就這么突然來到了人們身邊。
現(xiàn)在大家在生活中多多少少都接觸過AI了,可如果你仔細(xì)分辨,你會(huì)發(fā)現(xiàn),你所能接觸到的各種AI應(yīng)用,他們幾乎都部署在“云端”上。如果想要搭建一臺(tái)本地運(yùn)行大模型的設(shè)備,那起碼都是售價(jià)在5000元以上的全新AIPC,對(duì)于普通消費(fèi)者來說似乎并不友好。
(圖源:Google)
不過將預(yù)算壓縮到極致,然后搭配出一套「能用」的主機(jī),正是每一位DIY玩家的終極樂趣。而現(xiàn)在的問題是,如果真的想弄一臺(tái)可以本地運(yùn)行大語音模型的電腦,到底需要多少錢?
我的預(yù)算是——300元。
盡管近期正經(jīng)的內(nèi)存/存儲(chǔ)產(chǎn)品有價(jià)格上漲的趨勢(shì),但是在洋垃圾這邊其實(shí)價(jià)格變化倒是不大,甚至一批早年的洋垃圾CPU和礦卡GPU還有價(jià)格下跌的趨勢(shì)。在如今AI大潮席卷而來的背景下,我甚至不準(zhǔn)備拘泥于辦公影音需求,決定挑戰(zhàn)一下用三百塊錢的預(yù)算,試著去打造出一套性價(jià)比頗高的入門級(jí)本地大模型主機(jī)。
至于具體應(yīng)該怎么操作,最終成效是否如意,跟著我一起看下去自然就知道了。
經(jīng)典的老CPU,礦工級(jí)的GPU
在CPU的選擇上,我直接從閑魚上撿了一顆Intel® Core™i3-4170T。
該處理器為二核四線程,3.2GHz主頻,沒有睿頻能力,具備3MB智能緩存,采用22nm制程工藝的Haswell架構(gòu),最大的特點(diǎn)就是擁有一顆HD4400核顯,這也是我選擇它的關(guān)鍵。
(圖源:雷科技)
俗話說得好,低價(jià)U配低價(jià)板嘛,主板我選的就是一塊華碩工包H81M-V3主板,只有兩根DDR3內(nèi)存插槽不說,甚至都沒有HDMI輸出接口,也沒有M2硬盤位,USB 3.0、SATA III接口都只有兩個(gè),這玩意最大的優(yōu)勢(shì)就是超級(jí)低的二手價(jià)格。
這加起來不到80的板U套裝,性價(jià)比放在今時(shí)今日也是出類拔萃的。
(圖源:淘寶)
這種CPU,散熱就不用太擔(dān)心了。
閑魚20包郵寄過來的下壓式風(fēng)冷散熱,雖然外觀上是丑了一點(diǎn),簡(jiǎn)陋了一點(diǎn),但是用來壓我這一套超低價(jià)配置肯定是綽綽有余了。
(圖源:雷科技)
至于顯卡嘛,近期閑魚上面流出了一大堆P106-090/P106-100礦卡,其中前者的價(jià)格普遍在75塊錢左右,后者的價(jià)格普遍在120塊錢左右,考慮到我這次的初衷并不是為了游戲而來,我最終直接選擇了一張索泰P106-090礦卡,這卡因?yàn)閹拞栴}并不適合游戲,但價(jià)格就擺在這里。
最后,給它簡(jiǎn)單配上兩根雜牌DDR3內(nèi)存,組成內(nèi)存雙通道,用一個(gè)350W長(zhǎng)城電源供電,一塊120GB SATA SSD做系統(tǒng)盤,用上次裝機(jī)剩下來的大水牛硅脂湊合湊合,最后再配上個(gè)20塊錢的電腦城小機(jī)箱,我們?nèi)僭b機(jī)的基礎(chǔ)硬件就到齊了。
(圖源:雷科技)
不服跑個(gè)分!還算合理的性能表現(xiàn)
裝機(jī)完成,點(diǎn)亮機(jī)箱!
先做個(gè)簡(jiǎn)單的性能測(cè)試,作為多年服役的老將,Intel® Core™i3-4170T的性能也就那樣,即便是在用TrottlesStop解鎖功耗的情況下,也就差不多相當(dāng)于移動(dòng)端酷睿六代、酷睿七代處理器的水平。
(圖源:雷科技)
在實(shí)測(cè)環(huán)節(jié)中,CPU-Z測(cè)試單核跑分有319.9分,多核跑分有881.0分,在CINEBENCH測(cè)試標(biāo)準(zhǔn)下,CINEBENCH R20多核732cb、單核301cb。這成績(jī)當(dāng)然算不上亮眼,但是拿來日常辦公、輕度娛樂倒是完全足夠。
(圖源:雷科技)
再看看GPU部分,我們手上這張索泰P106-090采用16nm工藝打造,顯卡核心為GP106,核心頻率為1354MHz,可提升到1531MHz,具有768個(gè)著色單元,支持DirectX12,顯存規(guī)格為3072MB/192Bit三星GDDR5內(nèi)存,顯存頻率可達(dá)2002MHz。
(圖源:雷科技)
值得注意的是,P106-090的接口是PCI-E x4 1.1,而P106-100的接口是PCI-E x16 1.1,這導(dǎo)致二者即便是在相同核心的情況下,依然存在著比較明顯的性能差異,我選擇P106-090這張顯卡,也僅僅是因?yàn)樗茉跇O低的價(jià)格下提供CUDA算力的加持罷了。
如圖所示,在測(cè)評(píng)DX11性能的Fire Strike測(cè)試中,P106-90在Extreme測(cè)試中取得了3287分的圖形分?jǐn)?shù);在測(cè)評(píng)DX12性能的Time Spy測(cè)試中,P106-90在基本測(cè)試中取得了2251分的圖形分?jǐn)?shù),這個(gè)性能表現(xiàn)和GTX1050差不多,較R5-7640H的核顯性能有一定差距。
(圖源:雷科技)
存儲(chǔ)方面,我們斥資40元購(gòu)入的這塊雜牌128GB Sata SSD硬盤,順序讀寫速度達(dá)到505.28MB/s和400.09MB/s,隨機(jī)4K讀寫達(dá)到132.35MB/s和244.29MB/s,盡管和M2 SSD硬盤沒得比,但是作為系統(tǒng)啟動(dòng)盤肯定是綽綽有余了。
(圖源:雷科技)
至于這對(duì)雙通道的DDR3內(nèi)存,使用AIDA64進(jìn)行內(nèi)存緩存測(cè)試,測(cè)得的讀取速度為20894 MB/s,寫入速度為23629 MB/s,復(fù)制速度為20901 MB/s,延遲為67.5ns,給這臺(tái)電腦用可以說是剛剛好。
(圖源:雷科技)
大模型游戲,居然都能跑
既然目的是在幾百塊錢的預(yù)算下,打造出一套可用的本地大模型游戲主機(jī),那么實(shí)際體驗(yàn)肯定是我們最關(guān)注的一環(huán)。
先嘗試一下Koblodcpp,這是一款整合Koblod.AI界面的llamacpp啟動(dòng)程序,可以運(yùn)行目前外網(wǎng)流行的GGUF格式本地大模型,甚至可以整合語音大模型和繪圖大模型,實(shí)現(xiàn)在對(duì)話的同時(shí),生成語音和對(duì)應(yīng)場(chǎng)景的效果。
(圖源:雷科技)
遺憾的是,目前在Huggingface上面共享的GGUF格式大模型,其容量大小普遍超過了3GB,即便選用容量大小只有5GB左右的causallm_7b模型,依然會(huì)導(dǎo)致顯卡顯存溢出引發(fā)CPU的運(yùn)算介入,最終導(dǎo)致整個(gè)大模型的運(yùn)行效率降低。
(圖源:雷科技)
姑且測(cè)試一下,在這種模式下,Kobold.AI的回復(fù)最長(zhǎng)達(dá)到了599s(即10分鐘)左右,最短的回復(fù)也需要50s來生成左右,和云端大模型平均10s就能提供回復(fù)的效果相差甚遠(yuǎn),體驗(yàn)確實(shí)很一般。
既然如此,我們不妨退而求其次,用英特爾AIGC助手來體驗(yàn)本地大模型,這是一個(gè)集成了多種本地大語言模型的演示Demo,致力于在不連接網(wǎng)絡(luò)的情況下,實(shí)現(xiàn)智能人機(jī)對(duì)話。
在關(guān)閉電腦網(wǎng)絡(luò)的情況下,除開首次部署大模型時(shí)需要一定時(shí)間外,后續(xù)的提問基本上在5秒內(nèi)都能獲得答復(fù),不管是回答問題、翻譯還是寫作都非常迅速,雖然在應(yīng)對(duì)一些腦筋急轉(zhuǎn)彎或者算術(shù)題時(shí)依然會(huì)出現(xiàn)邏輯錯(cuò)誤,但是在這種情況下的整體體驗(yàn)可比之前強(qiáng)太多了。
(圖源:雷科技)
當(dāng)然,角色卡、提示詞這些比較高級(jí)的功能就肯定用不了了。
再看看AI繪畫,我這里使用的是bilibili UP主@整合的繪世啟動(dòng)器,集Stablediffsion WebUI、各種SD插件下載和模型遠(yuǎn)程使用于一體,算是個(gè)相當(dāng)實(shí)用的一體啟動(dòng)器。
(圖源:雷科技)
考慮到P106-90僅有3GB的運(yùn)存限制,我選擇了經(jīng)過剪裁后容量?jī)H為2GB的mistoonAnime MIX_v20模型,實(shí)測(cè)P106-90生成4張128*160的圖片耗時(shí)約三分鐘,生成4張240*320的圖片耗時(shí)七到八分鐘,而生成1張512*512的圖片則需要六分鐘左右。
(圖源:雷科技)
從實(shí)際體驗(yàn)來看,個(gè)人建議在減少提示詞和插件的情況下,從128*160的圖片開始生成,遇到了合適的圖片再進(jìn)行單張圖片的AI升格重繪,這樣整體的體驗(yàn)還是挺不錯(cuò)的,否則用512*512的規(guī)格生成圖片,廢圖概率不是一般的高。
(圖源:雷科技,用SD生成的圖片)
既然本地大模型算是能用,那么游戲體驗(yàn)又怎么樣呢?
考慮到實(shí)際硬件配置,我們先后測(cè)試了《孤島驚魂6》《古墓麗影:暗影》《F1 2020》以及《地平 線:零之黎明》四款游戲在FHD分辨率下的體驗(yàn),讓我們來看看各自的表現(xiàn)。
在《孤島驚魂6》的性能測(cè)試中,在1920*1080最低畫質(zhì)下,這臺(tái)電腦的平均幀數(shù)為32fps,即便開啟FSR性能檔,最終游戲幀數(shù)也只能在40fps上下波動(dòng)。
(圖源:雷科技)
再看看賽車游戲,在《F1 2020》中,我們開啟1920*1080中畫質(zhì),進(jìn)行澳大利亞賽道的晴天測(cè)試,最終平均幀率可以達(dá)到59fps,即便是這張多次服役的礦卡也能流暢運(yùn)行。
(圖源:雷科技)
作為標(biāo)準(zhǔn)測(cè)試游戲,《古墓麗影:暗影》自然沒有錯(cuò)過這次測(cè)試。在沒有開啟FSR、默認(rèn)1920*1080最低畫質(zhì)下,這臺(tái)電腦運(yùn)行游戲基準(zhǔn)測(cè)試的平均幀數(shù)為50fps,算是這一批3A游戲里最接近穩(wěn)定60幀的游戲體驗(yàn)。
(圖源:雷科技)
最后來個(gè)硬茬,《地平線:零之黎明》,因?yàn)樽畹彤嬞|(zhì)也會(huì)爆顯存的緣故,這臺(tái)電腦在1280*720最低畫質(zhì)下,才能勉強(qiáng)達(dá)到30fps的及格線,只能說不適合游玩了。
(圖源:雷科技)
總的來說,受到嚴(yán)苛的帶寬限制影響,P106-090的實(shí)際性能并不如和它跑分相近的GTX1050,最多就是比Iris Xe 96EU核顯略強(qiáng)一些的水平,應(yīng)付近些年的3A游戲已經(jīng)有些捉襟見肘了。
總結(jié):確實(shí)能跑大模型,但穩(wěn)定性欠佳
優(yōu)點(diǎn):
1、成本預(yù)算低廉;
2、確實(shí)能運(yùn)行本地大模型。
缺點(diǎn):
1、二手零部件無保障;
2、礦卡驅(qū)動(dòng)非常容易掉,白屏問題時(shí)有發(fā)生。
這款預(yù)算300元的電腦主機(jī)能用嗎?
盡管CPU規(guī)格老舊、礦卡表現(xiàn)不穩(wěn)定,但是這款預(yù)算300元的電腦主機(jī)確實(shí)能完成本地大模型的部署,在文本生成和AI繪圖的體驗(yàn)上都沒有什么問題,你甚至也能把它當(dāng)成一臺(tái)AI PC。
即便運(yùn)行《孤島驚魂6》這樣的3A大作,這款機(jī)子也能在FHD低畫質(zhì)下保證60幀穩(wěn)定運(yùn)行,那么應(yīng)付《英雄聯(lián)盟》這類網(wǎng)游應(yīng)該是綽綽有余的,也可以當(dāng)一臺(tái)入門的網(wǎng)游主機(jī)來用。
(圖源:雷科技)
那么我對(duì)這款電腦主機(jī)感到滿意嗎?
答案是否定的,在實(shí)際使用的過程中,P106-90這張礦卡多次出現(xiàn)掉驅(qū)動(dòng)導(dǎo)致電腦白屏,需要用DDDU卸載驅(qū)動(dòng)再重裝的情況。如果說這放在測(cè)試?yán)镞只是有點(diǎn)麻煩的話,那么放在日常使用中肯定是很難讓人接受的。
值得注意的是,目前閑魚上面還有不少和我組裝起來的這臺(tái)機(jī)子配置類似的洋垃圾整機(jī),售價(jià)普遍在350-400元左右,目標(biāo)受眾很明顯是剛上大學(xué)或者走出社會(huì)的年輕群體,個(gè)人建議大伙別去購(gòu)買這些產(chǎn)品,一分錢一分貨可不是開玩笑的。
歸根結(jié)底,撿垃圾有風(fēng)險(xiǎn),上車前需謹(jǐn)慎。對(duì)于玩膩了高端電腦的玩家來說,偶爾玩玩撿垃圾主機(jī)還是很有意思的,但這只是為了樂子,并不是真的打算將其作為主力機(jī)長(zhǎng)期使用,畢竟撿垃圾主機(jī)的配件年久失修且沒有質(zhì)保,萬一因?yàn)樗墓收隙鴣G失了重要數(shù)據(jù),那就得不償失了。
不過,通過用三百塊預(yù)算完成能運(yùn)行本地大模型PC的嘗試,一定程度上說明,硬件性能可能不是制約AI PC發(fā)展的主要因素。至少在普通消費(fèi)者的使用場(chǎng)景中,相比起算力提升,PC廠商更該做的應(yīng)該是幫助用戶搭建好AI大模型的框架和環(huán)境,在系統(tǒng)和軟件上給用戶帶來更好的體驗(yàn)。換句話說,AI PC應(yīng)該是用戶拿到手就能用的,而不是像我們自己組裝DIY PC這般折騰。
來源:雷科技
原文標(biāo)題 : 我花300塊組裝的電腦,成功跑通了本地大模型
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車
-
11月28日立即報(bào)名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線峰會(huì)
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 1 【一周車話】沒有方向盤和踏板的車,你敢坐嗎?
- 2 特斯拉發(fā)布無人駕駛車,還未迎來“Chatgpt時(shí)刻”
- 3 特斯拉股價(jià)大跌15%:Robotaxi離落地還差一個(gè)蘿卜快跑
- 4 馬斯克給的“驚喜”夠嗎?
- 5 大模型“新星”開啟變現(xiàn)競(jìng)速
- 6 海信給AI電視打樣,12大AI智能體全面升級(jí)大屏體驗(yàn)
- 7 AI 投流卷哭創(chuàng)業(yè)者
- 8 打完“價(jià)格戰(zhàn)”,大模型還要比什么?
- 9 馬斯克致敬“國(guó)產(chǎn)蘿卜”?
- 10 神經(jīng)網(wǎng)絡(luò),誰是盈利最強(qiáng)企業(yè)?
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市