網(wǎng)紅聊天機(jī)器人ChatGPT的碳排放究竟多高?
撰文 | Shushu;編輯 | 郭郭
→這是《環(huán)球零碳》的第515篇原創(chuàng)
最近關(guān)于AI聊天創(chuàng)作工具ChatGPT的討論很多。這是伊隆·馬斯克創(chuàng)建的OpenAI公司所研發(fā)。
先是微軟宣布再砸100億美金入股OpenAI,然后亞馬遜和美版“今日頭條”BuzzFeed宣布將在日常工作中啟用ChatGPT,同時(shí),百度也宣布將于3月推出“中國(guó)版”的ChatGPT聊天機(jī)器人。在多家科技公司推波助瀾后,ChatGPT瞬間引發(fā)全球關(guān)注。
一些網(wǎng)友開始瘋狂測(cè)試ChatGPT,比如寫代碼、寫劇本、寫小說(shuō)、寫新聞、寫作業(yè)、廣告文案、知識(shí)搜查,甚至玩游戲等,而ChatGPT展現(xiàn)的能力也不負(fù)眾望,不僅對(duì)答如流,甚至還充滿智慧,洞察人性,比真人回答都絲毫不差。
還有一些網(wǎng)友開始談?wù)揅hatGPT的投入成本,像谷歌、華為、特斯拉、微軟、Meta、蘋果等,每年投入數(shù)以百億美元的研發(fā)費(fèi)用,被稱為燒錢無(wú)底洞。
但是,很少有人談?wù)揅hatGPT模型的環(huán)境成本。
我們要意識(shí)到,即使是數(shù)字產(chǎn)品也需要能源來(lái)開發(fā)和消耗。據(jù)統(tǒng)計(jì),信息和通信技術(shù) (ICT) 行業(yè)和數(shù)據(jù)中心行業(yè)在全球溫室氣體排放中所占比例相對(duì)較大,約占全球電力消耗的3-5%。此前《環(huán)球零碳》也針對(duì)中國(guó)數(shù)據(jù)中心能耗和碳排問(wèn)題做過(guò)研究,請(qǐng)點(diǎn)擊《數(shù)據(jù)中心成碳排大戶和電老虎,北上廣深不再歡迎》一文閱讀。
如果這些數(shù)字產(chǎn)品(從我們手機(jī)上運(yùn)行的應(yīng)用程序到在云端運(yùn)行的數(shù)據(jù)),一旦所消耗的電力不是由可再生能源產(chǎn)生的,就會(huì)產(chǎn)生碳排放。這就是機(jī)器學(xué)習(xí)模型,也會(huì)產(chǎn)生碳排放的原因。ChatGPT也不例外。
谷歌曾表示,公司總能源消耗的15%用于研究、開發(fā)和生產(chǎn)中與機(jī)器學(xué)習(xí)相關(guān)的計(jì)算。據(jù)NVIDIA和亞馬遜估計(jì),機(jī)器學(xué)習(xí)工作中推理處理占算力消耗的80%-90%。
這些模型所消耗的能源也影響著氣候變化。在本文中,我們將從碳足跡的角度來(lái)看一下ChatGPT對(duì)環(huán)境的影響。
這里我們可以采用廣泛使用的生命周期評(píng)估 (LCA)法,該法旨在涵蓋產(chǎn)品或過(guò)程生命周期的所有階段。
雖然生命周期評(píng)估 (LCA)法通常是評(píng)估產(chǎn)品從搖籃到墳?zāi)沟恼麄(gè)階段的碳排放,這將考慮到原材料提取的所有過(guò)程對(duì)環(huán)境的影響。但此次對(duì)于ChatGPT的評(píng)估是僅專注于從制造設(shè)備到模型部署運(yùn)行,如下圖。
綠色部分為本次計(jì)算ChatGPT生命周期碳足跡的3個(gè)主要階段,分別為設(shè)備制造,模型訓(xùn)練,模型部署和運(yùn)行。
那么,這3個(gè)主要階段中,ChatGPT的碳排放究竟是多少?
01 ChatGPT設(shè)備制造階段的隱形碳排放
首先,我們來(lái)看設(shè)備制造階段碳排放。
因目前關(guān)于ChatGPT的設(shè)備制造相關(guān)信息有限,我們以另一個(gè)大型語(yǔ)言模型BLOOM的設(shè)備制造碳排放作為類比,來(lái)推測(cè)ChatGPT該階段碳排放。
據(jù)了解,BLOOM和ChatGPT的前身GPT-3的模型大小大致相同,分別為176b和175b參數(shù),因此設(shè)備方面也具有一定相似性。
設(shè)備制造階段的碳排放被稱為隱含碳。這是生產(chǎn)產(chǎn)品所涉及材料和過(guò)程相關(guān)的排放,例如訓(xùn)練和部署模型所需的計(jì)算設(shè)備。雖然這些排放的產(chǎn)生僅限于制造過(guò)程,但這一總量通常分布在設(shè)備使用期間,方法是將這部分排放總量除以使用時(shí)間。
BLOOM模型在含有Nvidia A100 40GB GPU的HPE Apollo 6500 Gen10 Plus服務(wù)器上進(jìn)行訓(xùn)練。根據(jù)相關(guān)資料,與HPE Apollo類似的服務(wù)器生產(chǎn)碳足跡2500kgCO2e(二氧化碳當(dāng)量)。這不包括服務(wù)器中使用的GPU的隱含碳排放,以論文[11]中估算,GPU的碳足跡約為150kgCO2e(二氧化碳當(dāng)量)。
以IDRIS的數(shù)據(jù),假設(shè)以6年的更換率和85%的平均使用率,用排放總量除以使用時(shí)間轉(zhuǎn)化為后,服務(wù)器每小時(shí)約0.056kgCO2e,GPU每小時(shí)約0.003kgCO2e。
根據(jù)[11]中表示,BLOOM訓(xùn)練總時(shí)間共持續(xù)108萬(wàn)小時(shí),平均使用48個(gè)計(jì)算節(jié)點(diǎn)上的384個(gè)GPU,我們可以估計(jì)與模型訓(xùn)練相關(guān)的服務(wù)器隱含碳排放大約為7.57噸和GPU3.64噸,總計(jì)約11.2噸。
以此類推,根據(jù)相關(guān)資料顯示,ChatGPT的訓(xùn)練時(shí)間大約比BLOOM長(zhǎng)3倍,單從這個(gè)角度估算,估算ChatGPT中模型訓(xùn)練的隱含碳排放總量約為33.6噸。
不過(guò)這部分隱含碳還不包括其余計(jì)算基礎(chǔ)設(shè)施(如網(wǎng)絡(luò)交換機(jī)、冷卻設(shè)備和其他設(shè)備)的隱含排放。
02 ChatGPT模型訓(xùn)練階段的碳排放
其次,估算模型訓(xùn)練階段碳排放。
因?yàn)镃hatGPT是基于GPT-3的一個(gè)升級(jí)版本,在GPT-3的模型架構(gòu)基礎(chǔ)上進(jìn)行了優(yōu)化并在訓(xùn)練時(shí)期增加了強(qiáng)化學(xué)習(xí)。以網(wǎng)上公開的數(shù)據(jù)表示,訓(xùn)練一個(gè)GPT-3約消耗1287 MWh(兆瓦時(shí))的電,相當(dāng)于排放了552噸碳。
但由于強(qiáng)化學(xué)習(xí)需要額外消耗的電力,ChatGPT在模型訓(xùn)練階段所產(chǎn)生的碳排放將大于552噸。
從這些大型語(yǔ)言模型的碳排放來(lái)看,ChatGPT前身GPT-3碳排放最大。據(jù)悉,美國(guó)人平均每年產(chǎn)生16.4噸碳排放,丹麥人平均每年產(chǎn)生11噸碳排放。因此,ChatGPT的模型訓(xùn)練碳排放多于50個(gè)丹麥人每年的碳排放。
03 運(yùn)行推理過(guò)程中ChatGPT的碳排放
再來(lái)估計(jì)運(yùn)行推理階段碳排放。
假設(shè)繼續(xù)把BLOOM作為類比,可以推測(cè)ChatGPT運(yùn)行階段的碳排放。
大型語(yǔ)言模型BLOOM曾在具有16個(gè)Nvidia A100 40GB GPU的Google Cloud Platform實(shí)例上部署并運(yùn)行了18天,共432小時(shí)。
前面提到BLOOM與ChatGPT前身GPT-3的模型大小大致相同,因此我們假設(shè)把相同的硬件用于ChatGPT,并在16個(gè)Nvidia A100 40GB GPU上運(yùn)行,并推測(cè)硬件利用率始終為100%。
由于ChatGPT公司OpenAI的總部位于美國(guó)舊金山,所以猜測(cè)ChatGPT的托管在美國(guó)西部。
使用ML CO2 Impact計(jì)算器,我們可以估算ChatGPT的每日碳排放為25.92 kg,如下:
實(shí)際上16個(gè)A100 GPU的計(jì)算能力并不能滿足真實(shí)的需求,如果假設(shè)ChatGPT每天有100萬(wàn)用戶咨詢,每個(gè)用戶有10個(gè)問(wèn)題,每個(gè)問(wèn)題有30個(gè)單詞,ChatGPT的每個(gè)響應(yīng)詞在A100 GPU上需要350毫秒,以此來(lái)計(jì)算:
100萬(wàn)用戶*10個(gè)問(wèn)題=10,000,000個(gè)響應(yīng)=每天300,000,000個(gè)單詞*每個(gè)單詞0.35秒/每小時(shí)3,600秒=每天29,167小時(shí)的A100 GPU時(shí)間
根據(jù)Cloud Carbon Footprint列出ChatGPT的Azure數(shù)據(jù)中心中A100的最低功耗46W(瓦特)和最高 407W(瓦特)。為了方便計(jì)算,假設(shè)ChatGPT處理器都處于工作狀態(tài),因此取該范圍的頂端消耗值。
每天29,167小時(shí)* 407W = 11,870kWh(千瓦時(shí))
根據(jù)Cloud Carbon Footprint,美國(guó)西部的排放因子為0.000322167噸/千瓦時(shí),所以ChatGPT運(yùn)行階段的碳排放是:
0.000322167 * 11,870 = 每天3.82噸
04 ChatGPT的總生命周期碳足跡
根據(jù)以上計(jì)算,我們最后合算總生命周期碳足跡。
自ChatGPT于2022年11月30日上線以來(lái),運(yùn)行約60天,我們可以非常簡(jiǎn)單粗略得到:
CHATGPT制造設(shè)備碳排放>33.41噸
CHATGPT模型訓(xùn)練碳排放>552噸
CHATGPT運(yùn)行60天碳排放≈3.82噸*60天≈229.2噸
三者相加后,CHATGPT自上線以來(lái)的生命周期碳足跡將大于814.61噸CO2e。
這個(gè)數(shù)值估計(jì)是基于一些粗略的假設(shè),因此帶有很多不確定性,但與BLOOM等的可比較語(yǔ)言模型的碳足跡的全面估計(jì)相比,也存在一定合理性。
不過(guò),本文僅關(guān)注ChatGPT的CO2e排放量。除了CO2e排放外,其他類型的環(huán)境影響,包括用水、空氣污染、土壤污染等,也需要重點(diǎn)考慮。
最后,通過(guò)這個(gè)初步計(jì)算,希望能啟發(fā)機(jī)器學(xué)習(xí)模型的開發(fā)人員披露他們模型準(zhǔn)確的能耗或碳足跡。只有真正了解到這些信息,才能在我們討論如何減少我們的足跡時(shí),優(yōu)先解決那些產(chǎn)生最大碳減排的問(wèn)題,同時(shí)評(píng)估模型的性能。
(參考文獻(xiàn)相見(jiàn)公眾號(hào)環(huán)球零碳)
原文標(biāo)題 : 網(wǎng)紅聊天機(jī)器人ChatGPT的碳排放究竟多高?
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車
-
11月28日立即報(bào)名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線峰會(huì)
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 1 【一周車話】沒(méi)有方向盤和踏板的車,你敢坐嗎?
- 2 特斯拉發(fā)布無(wú)人駕駛車,還未迎來(lái)“Chatgpt時(shí)刻”
- 3 特斯拉股價(jià)大跌15%:Robotaxi離落地還差一個(gè)蘿卜快跑
- 4 馬斯克給的“驚喜”夠嗎?
- 5 大模型“新星”開啟變現(xiàn)競(jìng)速
- 6 海信給AI電視打樣,12大AI智能體全面升級(jí)大屏體驗(yàn)
- 7 AI 投流卷哭創(chuàng)業(yè)者
- 8 打完“價(jià)格戰(zhàn)”,大模型還要比什么?
- 9 馬斯克致敬“國(guó)產(chǎn)蘿卜”?
- 10 神經(jīng)網(wǎng)絡(luò),誰(shuí)是盈利最強(qiáng)企業(yè)?
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市