論文解讀:為了數(shù)據(jù)中心的未來,存算這對(duì)CP竟然又離了
古語有云:天下大勢分久必合、合久必分。
同樣,在數(shù)據(jù)中心多年的發(fā)展歷程中,計(jì)算與存儲(chǔ)也經(jīng)歷了多次分分合合。從大型機(jī)的計(jì)算與存儲(chǔ)緊耦合,到小型機(jī)經(jīng)典的IOE存算分離架構(gòu),再到隨云興起的超融合讓存算再次融合,計(jì)算與存儲(chǔ)宛如一對(duì)多年的CP,時(shí)而親密無間,時(shí)而又若即若離。
計(jì)算與存儲(chǔ)之所以會(huì)出現(xiàn)多次分與合,是因?yàn)樾枨蟮淖兓苿?dòng)著架構(gòu)層做出相應(yīng)改變,而計(jì)算與存儲(chǔ)相輔相成、協(xié)同發(fā)展的關(guān)系始終未變。如今,隨著云與互聯(lián)網(wǎng)業(yè)務(wù)場景的大量涌現(xiàn),新型存算分離架構(gòu)開始興起,計(jì)算與存儲(chǔ)再次加速走向分離。
為何存算分離架構(gòu)會(huì)成為數(shù)據(jù)中心未來十年最大的趨勢?新型存算分離架構(gòu)與過往有何不同?新型存算分離架構(gòu)的關(guān)鍵技術(shù)和挑戰(zhàn)又有哪些?近日,CCF會(huì)士、信息存儲(chǔ)專委會(huì)主任、清華大學(xué)教授、廈門大學(xué)信息學(xué)院院長舒繼武教授的一篇論文《新型存算分離架構(gòu)技術(shù)展望》引發(fā)業(yè)界廣泛共鳴,讓我們從中一探究竟。
場景變化推動(dòng)存算再次分離
舒繼武教授在論文中指出,云、互聯(lián)網(wǎng)、大數(shù)據(jù)、AI等推動(dòng)新業(yè)務(wù)場景的高速發(fā)展,給基于服務(wù)器部署存儲(chǔ)的融合架構(gòu)帶來極大挑戰(zhàn),主要包括:其一、數(shù)據(jù)保存周期與服務(wù)器更新周期不匹配;其二、性能可靠性與資源利用率難以兼得;其三、無服務(wù)器(Serverless)應(yīng)用等新型分布式應(yīng)用有共享存儲(chǔ)的訴求;其四、數(shù)據(jù)中心稅導(dǎo)致數(shù)據(jù)密集型應(yīng)用效率低下。
如何理解舒繼武教授提出的四大挑戰(zhàn)?我們先從業(yè)務(wù)形態(tài)變化與資源需求響應(yīng)的角度來解讀。
眾所周知,隨著數(shù)字化轉(zhuǎn)型的深入,很多行業(yè)用戶存在著大量云與互聯(lián)網(wǎng)業(yè)務(wù)場景,業(yè)務(wù)形態(tài)逐漸變化,業(yè)務(wù)的動(dòng)態(tài)性增強(qiáng),使得對(duì)基礎(chǔ)設(shè)施資源的靈活性和利用率要求大幅提升。此時(shí),基于服務(wù)器部署存儲(chǔ)的融合架構(gòu)其缺點(diǎn)得到持續(xù)放大。
例如,計(jì)算與存儲(chǔ)更新周期不匹配,使得擴(kuò)展時(shí)資源得不到充分利用,還增加了數(shù)據(jù)遷移等工作;支撐業(yè)務(wù)的服務(wù)器存儲(chǔ)無論是性能型還是容量型,均無法同時(shí)實(shí)現(xiàn)高性能、高可靠性與高資源利用率等。
另一方面,以無服務(wù)器(serverless)應(yīng)用為代表的新型分布式應(yīng)用的興起,就像一股催化劑,加速了業(yè)務(wù)數(shù)據(jù)共享訪問的需求,使得存算分離架構(gòu)獲得更多用戶關(guān)注。
例如,分布式數(shù)據(jù)庫等應(yīng)用紛紛轉(zhuǎn)向容器化部署與應(yīng)用,存算融合的架構(gòu)在CPU、內(nèi)存、存儲(chǔ)容量/IOPS/帶寬,網(wǎng)絡(luò)IO/帶寬等7個(gè)維度均很難滿足新型分布式應(yīng)用的需求。業(yè)界一些云數(shù)據(jù)庫公司甚至開始推動(dòng)存算進(jìn)一步分離,將計(jì)算節(jié)點(diǎn)處理的緩存層和日志功能下推到共享存儲(chǔ)上,以此實(shí)現(xiàn)更高的性能和資源利用率。
正所謂舊的不去新的不來。在業(yè)務(wù)場景、硬件技術(shù)快速發(fā)展等多重因素驅(qū)動(dòng)下,新型存算分離架構(gòu)正在迅速興起,成為近年來基礎(chǔ)設(shè)施領(lǐng)域最大的熱點(diǎn)。那么,這個(gè)“新人”是否堪擔(dān)大任?
新型存算分離架構(gòu)“新”在哪
舒繼武教授在論文中指出,高性能盤框、NVMe/CXL新協(xié)議、專用數(shù)據(jù)處理器(如:DPU)、RDMA/NoF新型網(wǎng)絡(luò)技術(shù)等硬件的快速發(fā)展,為新型存算分離架構(gòu)奠定了基礎(chǔ)。與傳統(tǒng)存算分離架構(gòu)相比,新型存算分離架構(gòu)具有更多新特征:Diskless的服務(wù)器、多樣化的網(wǎng)絡(luò)協(xié)議、專用化的數(shù)據(jù)處理器和極高存力密度的存儲(chǔ)系統(tǒng)。
那么,新舊架構(gòu)對(duì)比,區(qū)別到底在哪里?
首先是架構(gòu)處理邏輯的根本性變化。新型存算分離架構(gòu)的興起,標(biāo)志著以通用CPU為核心的處理邏輯加速向以數(shù)據(jù)為中心的處理邏輯轉(zhuǎn)變。這也意味著,服務(wù)器等計(jì)算設(shè)備將逐步走向Diskless,聚焦計(jì)算任務(wù);而專用數(shù)據(jù)處理器、存儲(chǔ)系統(tǒng)將承擔(dān)更加重要的任務(wù),價(jià)值與作用將會(huì)更加突出。
例如,當(dāng)下大量DPU產(chǎn)品的涌現(xiàn)就是最好證明,DPU將數(shù)據(jù)存儲(chǔ)、訪問等大量操作卸載到專用數(shù)據(jù)處理器上,釋放服務(wù)器的算力,從整體上提升架構(gòu)的能效比。
而取代服務(wù)器本地盤則是面向Diskless架構(gòu)的存儲(chǔ)系統(tǒng),近年來西部數(shù)據(jù)的OpenFlex、Vast Data Ceres高性能盤框、華為的OceanStor Micro微存儲(chǔ)均是新型存算分離架構(gòu)下的存儲(chǔ)系統(tǒng)代表。
其次,新型存算分離架構(gòu)在架構(gòu)上徹底走向解耦,而不僅僅局限于CPU和外存的解耦,這將徹底打破各類存算硬件資源的邊界,組建彼此獨(dú)立的各種硬件資源池,實(shí)現(xiàn)各類硬件的獨(dú)立擴(kuò)展與靈活應(yīng)用。
這種徹底解耦就像搭建樂高積木一樣,每個(gè)組件彼此高度獨(dú)立,又能夠靈活組合,可以針對(duì)云、互聯(lián)網(wǎng)、AI等業(yè)務(wù)彈性強(qiáng)、變化多等特點(diǎn),進(jìn)行靈活組合和及時(shí)響應(yīng)。
處理分工走向更細(xì)顆粒度,每個(gè)組件各司其職,如同專業(yè)人做專業(yè)事情,將每個(gè)組件的能力發(fā)揮到極致。
當(dāng)然,解耦之后,各個(gè)硬件組件徹底走向獨(dú)立和靈活組合,也意味著組件之間的協(xié)作是新型存算分離架構(gòu)必然需要面對(duì)的。對(duì)此,舒繼武教授在論文中指出,場景化數(shù)據(jù)縮減、高通量超融合網(wǎng)絡(luò)、網(wǎng)存協(xié)同、盤芯協(xié)同等關(guān)鍵技術(shù)對(duì)于新型存算分離架構(gòu)發(fā)展至關(guān)重要。
未來存算分離看什么
如今,像DPU、智能盤框、 CXL/NoF等網(wǎng)絡(luò)均獲得了高速發(fā)展,推動(dòng)著新型存算分離架構(gòu)加速走向落地。舒繼武教授在論文中認(rèn)為,面向云和互聯(lián)網(wǎng)場景的新型存算分離架構(gòu)順應(yīng)了未來數(shù)據(jù)中心可組合式架構(gòu)(composable infrastructure)趨勢,但也面臨著技術(shù)、生態(tài)等方面的挑戰(zhàn)。
具體來看,舒繼武教授認(rèn)為計(jì)算與存儲(chǔ)之間的數(shù)據(jù)訪問接口及標(biāo)準(zhǔn)主要采用塊存儲(chǔ)語義為主,面對(duì)今后異構(gòu)算力的快速發(fā)展,內(nèi)存訪問語義、計(jì)算協(xié)同語義等表現(xiàn)出能力不足,還需要產(chǎn)業(yè)界共同探索與解決。
另外,新型存算分離架構(gòu)雖然提供了比以往更出色的基礎(chǔ)設(shè)施能力,但如何發(fā)揮出潛能還需要看應(yīng)用服務(wù)。就像一輛汽車中,新型存算分離架構(gòu)恰如出色的發(fā)動(dòng)機(jī)和底盤,應(yīng)用服務(wù)框架則是變速箱,如果變速箱不能做出與時(shí)俱進(jìn),則這輛汽車很難發(fā)揮出發(fā)動(dòng)機(jī)的優(yōu)勢。舒繼武教授指出,設(shè)計(jì)更高效的應(yīng)用服務(wù)框架,與上層應(yīng)用實(shí)現(xiàn)完美協(xié)同,是一個(gè)長期過程,需要生態(tài)伙伴們共同努力。
雖然有著技術(shù)與生態(tài)方面的挑戰(zhàn),但新型存算分離架構(gòu)已然勢不可擋。未來十年,隨著中國數(shù)字經(jīng)濟(jì)的蓬勃發(fā)展,數(shù)據(jù)要素成為最重要的生產(chǎn)要素,以一體化大數(shù)據(jù)中心、智算中心為代表的新基建將持續(xù)獲得持續(xù)建設(shè),在算力高速增長的大趨勢下,新型存算分離以靈活架構(gòu)、精細(xì)化資源利用率和綠色低碳能耗比等優(yōu)勢,有望在云服務(wù)商、電信運(yùn)營商、金融等多個(gè)行業(yè)獲得廣泛應(yīng)用。
原文標(biāo)題 : 論文解讀:為了數(shù)據(jù)中心的未來,存算這對(duì)CP竟然又離了
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長度6~500個(gè)字
最新活動(dòng)更多
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場仿真助跑新能源汽車
-
11月28日立即報(bào)名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國智造CIO在線峰會(huì)
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 1 【一周車話】沒有方向盤和踏板的車,你敢坐嗎?
- 2 特斯拉發(fā)布無人駕駛車,還未迎來“Chatgpt時(shí)刻”
- 3 特斯拉股價(jià)大跌15%:Robotaxi離落地還差一個(gè)蘿卜快跑
- 4 馬斯克給的“驚喜”夠嗎?
- 5 大模型“新星”開啟變現(xiàn)競速
- 6 海信給AI電視打樣,12大AI智能體全面升級(jí)大屏體驗(yàn)
- 7 打完“價(jià)格戰(zhàn)”,大模型還要比什么?
- 8 馬斯克致敬“國產(chǎn)蘿卜”?
- 9 神經(jīng)網(wǎng)絡(luò),誰是盈利最強(qiáng)企業(yè)?
- 10 比蘋果偉大100倍!真正改寫人類歷史的智能產(chǎn)品降臨
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市