速度提升數(shù)十倍,用光子計算重塑AI算力集群
前言:
要實現(xiàn)超強的AI能力,需要超大規(guī)模的模型,要訓(xùn)練超大規(guī)模的AI模型,需要數(shù)千,甚至上萬的GPU協(xié)同工作。
這就帶來幾個問題:更多的GPU造成的高能耗,計算卡與計算卡之間的通信延遲,計算集群與計算集群之間的通信延遲和算力損耗。
那么,如果用光來計算,用光來傳輸,會怎么樣?
作者 | 方文三
圖片來源 | 網(wǎng) 絡(luò)
光子計算初創(chuàng)公司Lightmatter
Lightmatter近日宣布成功融資4億美元,這一巨額資金將用于突破現(xiàn)代數(shù)據(jù)中心的瓶頸。
Lightmatter作為一家在光學(xué)領(lǐng)域具有創(chuàng)新實力的公司,其研發(fā)的光學(xué)技術(shù)成功應(yīng)用于AI算力集群,實現(xiàn)了性能的飛躍。
傳統(tǒng)的電子傳輸在數(shù)據(jù)處理速度上逐漸面臨瓶頸,而Lightmatter的光學(xué)技術(shù)則利用光子的特性,以光速進行數(shù)據(jù)傳輸和處理,大大減少了數(shù)據(jù)傳輸?shù)难舆t,從而顯著提高了整個算力集群的運行效率。
這種技術(shù)突破并非一蹴而就,是Lightmatter團隊長期投入研發(fā)的成果。他們在光學(xué)芯片設(shè)計、光通信協(xié)議等關(guān)鍵領(lǐng)域進行了深入研究和創(chuàng)新,克服了諸多技術(shù)難題,最終實現(xiàn)了將光學(xué)技術(shù)與AI算力集群的完美融合。
Lightmatter由Nicholas Harris、Darius Bunandar和Thomas Graham于2017年創(chuàng)立。Nicholas Harris是麻省理工學(xué)院量子光子實驗室的成員,2012年,他與合作者實現(xiàn)了“可編程納米光子處理器”(PNP),這是一種基于硅光子學(xué)的光學(xué)處理器,可以對光進行矩陣變換。
光子計算重塑AI算力集群
Lightmatter有光子計算單元,有光學(xué)芯片封裝和傳輸技術(shù),能夠系統(tǒng)化提升整個AI計算集群的計算力,計算效率,并降低功耗。
Lightmatter的光學(xué)互連層技術(shù)允許數(shù)百個GPU同步工作,極大地簡化了AI模型訓(xùn)練和運行的復(fù)雜性和成本。
AI技術(shù)的迅猛發(fā)展,數(shù)據(jù)中心行業(yè)迎來了前所未有的增長,但并非簡單的增加GPU數(shù)量就能解決問題。
高性能計算專家早已指出,如果超級計算機的節(jié)點在等待數(shù)據(jù)輸入時處于空閑狀態(tài),那么節(jié)點的速度再快也無濟于事。
互連層是將CPU和GPU架構(gòu)成一個巨大計算機的關(guān)鍵,而Lightmatter通過其自2018年以來開發(fā)的光子芯片,構(gòu)建了目前最快的互連層。
公司CEO兼創(chuàng)始人Nick Harris表示,超大規(guī)模計算需要更高效的光子互連技術(shù),而傳統(tǒng)的Cisco交換機無法滿足這一需求。
目前,數(shù)據(jù)中心行業(yè)的頂尖技術(shù)是NVLink和NVL72平臺,但這些技術(shù)在網(wǎng)絡(luò)速度和延遲方面仍存在瓶頸。
Lightmatter的光子互連技術(shù)通過純光學(xué)接口,每根光纖可達到1.6 terabits,顯著提升了數(shù)據(jù)中心的性能。
創(chuàng)始人Harris指出,光子技術(shù)的發(fā)展速度遠超預(yù)期,經(jīng)過七年的艱苦研發(fā),Lightmatter已經(jīng)準(zhǔn)備好迎接市場的挑戰(zhàn)。
超快計算,超快連接,軟件兼容
Lightmatter的產(chǎn)品分為光子計算平臺(Envise),芯片互連產(chǎn)品( Passage)和適配軟件(Idiom)三部分。
Envise:是世界首個光子計算平臺,每個Envise處理器擁有256個RISC內(nèi)核,提供400Gbps的芯片間互連帶寬,而且支持PCI-E 4.0標(biāo)準(zhǔn)接口,具有不錯的兼容性。
Envise處理器的原理是光通過波導(dǎo)進行計算,而每增加一種顏色的光源,就能相應(yīng)增加運算速度。
同樣是一個計算核心,當(dāng)光源種類達到8種,就能提升8倍的計算性能,同時計算效率也達到普通計算核心的2.6倍。當(dāng)計算核心和光源種類同步提升時,計算性能可以提升數(shù)十倍。
Passage:是一種利用光子進行芯片互連的技術(shù),屬于I/O技術(shù)的一種。任何超級計算機都由許多小型獨立計算機組成,為了發(fā)揮性能,它們必須不斷相互通信,確保每個核心都知道其他核心的進展,并協(xié)調(diào)超級計算機設(shè)計應(yīng)對的極其復(fù)雜的計算問題。
Lightmatter的技術(shù)利用波導(dǎo)(wave guide)而非光纖在一個大的芯片間為各個不同種類的計算核心互連并傳輸數(shù)據(jù),這提供了極高的并行互連帶寬。
Idiom:是一個工作流工具,它可以讓基于Pytorch、TensorFlow或ONNX等框架構(gòu)建的模型,直接在Envise計算基礎(chǔ)設(shè)施上使用。無需更改 Pytorch、TensorFlow或ONNX文件。
此外,它還為開發(fā)者提供一系列方便的工具,例如可以自動虛擬化每個 Envise服務(wù)器,在多個Envise服務(wù)器之間執(zhí)行分區(qū),為多個不同的用戶個性化分配使用的芯片數(shù)量。
市場競爭格局
Lightmatter的光子互連技術(shù)不僅提升了數(shù)據(jù)中心的性能,還吸引了包括微軟、亞馬遜、xAI和OpenAI在內(nèi)的眾多大型數(shù)據(jù)中心公司的關(guān)注。
此次4億美元的D輪融資使Lightmatter的估值達到44億美元,成為光子計算領(lǐng)域的領(lǐng)軍企業(yè)。
但專注于光子計算的公司,不止Lightmatter一家,Celestial AI也在今年3月獲得了1.75億美元的C輪融資,它主要利用光在芯片內(nèi)部和芯片之間進行數(shù)據(jù)移動,與Lightmatter的Passage類似。
中國市場上也有不少在光子計算領(lǐng)域耕耘的公司,只是它們的發(fā)展規(guī)模相對較小。
目前,中國市場的AI算力硬件公司們,其實面臨著彎道超車的機會。這個局面有些像中國的新能源汽車行業(yè),不在舊有的體系架構(gòu)上追趕國外巨頭,而用新技術(shù)去滿足新需求,建立自己的優(yōu)勢。
一方面AI計算是一個相對較新的領(lǐng)域,海外的公司有領(lǐng)先,但是并沒有構(gòu)建很難逾越的壁壘,另一方面AI是專有計算,有不少開源的計算架構(gòu)適合AI。
中國公司只要能研發(fā)出一些自有的IP,再利用本身就具有的強工程能力,就很有可能開發(fā)出至少不遜于海外的算力硬件。
結(jié)尾:
未來,Lightmatter不僅將繼續(xù)優(yōu)化互連技術(shù),還將開發(fā)新的芯片基板,進一步提升光子計算的性能。Harris預(yù)測,未來十年,互連技術(shù)將成為摩爾定律的核心。
內(nèi)容來源于:阿爾法公社:用光學(xué)讓AI算力集群提速數(shù)十倍,Lightmatter融資4億美元|AlphaFounders;安特恩:光子計算新紀(jì)元:Lightmatter融資4億美元,引領(lǐng)AI數(shù)據(jù)中心革命
原文標(biāo)題 : AI芯天下丨趨勢丨速度提升數(shù)十倍,用光子計算重塑AI算力集群
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月28日立即報名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍皮書》
-
精彩回顧立即查看>> 【限時免費下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
推薦專題
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市