根據(jù)世界經(jīng)濟(jì)論壇的估算,2020年全世界產(chǎn)生了超過44ZB的數(shù)據(jù)量,而在十年前全球的數(shù)據(jù)總量還只有1ZB。

數(shù)據(jù)量的指數(shù)級(jí)增長,預(yù)示著人類文明徹底進(jìn)入了數(shù)字化時(shí)代,數(shù)據(jù)已經(jīng)成為人類存在的另一種方式。特別是在新基建、數(shù)字經(jīng)濟(jì)等宏觀話題大行其道的當(dāng)下,數(shù)據(jù)的存儲(chǔ)、挖掘、應(yīng)用早已和經(jīng)濟(jì)直接掛鉤。

11月18日的國際超級(jí)計(jì)算大會(huì)SC21上,正式公布了最新的全球IO500榜單。其中華為OceanStor Pacific存儲(chǔ)在IO500榜單和10節(jié)點(diǎn)榜單中均名列第二,刷新了華為覇榜IO500的新紀(jì)元。

作為存儲(chǔ)性能最權(quán)威的世界排行榜之一,IO500包括總榜單和10節(jié)點(diǎn)榜單兩大類別。由于10節(jié)點(diǎn)榜單將基準(zhǔn)性能測(cè)試限制為10個(gè)計(jì)算節(jié)點(diǎn),可以準(zhǔn)確反應(yīng)存儲(chǔ)系統(tǒng)為實(shí)際程序提供的I/O性能,被視為衡量超級(jí)計(jì)算機(jī)應(yīng)用效率的核心指標(biāo)。

當(dāng)華為OceanStor Pacific代表的企業(yè)占領(lǐng)IO500榜單的頭部,乃至將榜單前三名均收入囊中的時(shí)候,對(duì)整個(gè)存儲(chǔ)市場(chǎng)意味著什么?

01 高性能計(jì)算三部曲

想要理解數(shù)據(jù)存儲(chǔ)性能的價(jià)值所在,似乎有必要回顧下高性能計(jì)算(HPC)的進(jìn)化歷程。畢竟在人類從工業(yè)文明邁向信息文明的過程中,HPC扮演了不可或缺的角色,甚至說是科技創(chuàng)新的典型標(biāo)桿。

以往在復(fù)盤HPC進(jìn)化史的時(shí)候,不少人習(xí)慣按照時(shí)間軸進(jìn)行整理,直觀地展現(xiàn)算力上的爆炸性增長。倘若從需求驅(qū)動(dòng)的思路審視HPC的發(fā)展史,或許可以找到一個(gè)新的視角,即應(yīng)用需求深度影響了HPC的進(jìn)化方向。

最早的“超級(jí)計(jì)算機(jī)”屬于政府主導(dǎo)的項(xiàng)目,第一臺(tái)電子計(jì)算機(jī)ENIAC的誕生為起點(diǎn),HPC在長達(dá)幾十年的時(shí)間里被應(yīng)用于高能物理、流體力學(xué)等學(xué)術(shù)領(lǐng)域,數(shù)值計(jì)算的場(chǎng)景決定了HPC不斷提升計(jì)算能力的演變軌跡。

隨著越來越多的商業(yè)公司進(jìn)入到計(jì)算產(chǎn)業(yè),HPC的應(yīng)用場(chǎng)景逐步向油氣勘探、氣象預(yù)測(cè)、芯片研發(fā)等領(lǐng)域傾斜,模擬仿真的需求漸漸超過了數(shù)值計(jì)算,HPC的進(jìn)化不再只是主攻算力,而是存儲(chǔ)、網(wǎng)絡(luò)等多元化的性能。

到了2020年前后,自動(dòng)駕駛、基因測(cè)序、深空探索等商業(yè)智能蓬勃向上,HPC的應(yīng)用場(chǎng)景也進(jìn)一步轉(zhuǎn)變:需要卷積更多的歷史數(shù)據(jù)參與計(jì)算分析,不斷提升分析的精度,對(duì)數(shù)據(jù)存儲(chǔ)的性能需求逐漸上升到了新的高度。

正是在這樣的大背景下,John Bent、Julian Kunkel、Jay Lofstead在內(nèi)的學(xué)者紛紛推動(dòng)IO性能的測(cè)試方法、基準(zhǔn)測(cè)試程序和規(guī)則,通過模擬應(yīng)用需要的不同IO模型,驗(yàn)證數(shù)據(jù)帶寬(GIB/s)和元數(shù)據(jù)(KIOP/S)兩個(gè)關(guān)鍵維度的性能表現(xiàn),并在一些TOP500計(jì)算機(jī)上進(jìn)行了測(cè)試。

2017年的國際超級(jí)計(jì)算大會(huì)上,VI4IO組織公布了第一份IO500榜單,約定每年在SC和ISC大會(huì)上各更新一次排名。

IO500榜單的出現(xiàn)就像是一道江湖集結(jié)令,拉開了各路英雄角逐存儲(chǔ)性能的序幕:新興存儲(chǔ)硬件層出不窮,新興文件系統(tǒng)應(yīng)運(yùn)而生,標(biāo)準(zhǔn)和架構(gòu)也不斷推陳出新,數(shù)據(jù)存儲(chǔ)進(jìn)入了群雄逐鹿的年代。

畢竟HPC領(lǐng)域的所有玩家都明白一個(gè)道理:現(xiàn)實(shí)中許多場(chǎng)景參與計(jì)算的數(shù)據(jù)量已經(jīng)達(dá)到了PB級(jí),計(jì)算過程中需要頻繁進(jìn)行訪存操作,存儲(chǔ)性能直接影響著計(jì)算的效率,同時(shí)對(duì)數(shù)據(jù)可靠性和安全性的要求也越來越高。數(shù)據(jù)存儲(chǔ)性能預(yù)料之中的成了高性能計(jì)算的聚焦點(diǎn),也是各大廠商的必爭(zhēng)之地。

02 HPDA的產(chǎn)業(yè)態(tài)勢(shì)

為何IO500榜單有這么大的魔力?答案還要從需求的變化說起。就像在HPC的進(jìn)化歷程中,一個(gè)明顯的態(tài)勢(shì)是從“以計(jì)算為中心”到“以數(shù)據(jù)為中心”的轉(zhuǎn)變,進(jìn)入到了“數(shù)據(jù)密集型”的新階段。

國際權(quán)威分析師機(jī)構(gòu)Hyperion Research,曾在2020年對(duì)全球HPC市場(chǎng)的增速做出預(yù)測(cè):2019年到2024年的時(shí)間周期內(nèi),存儲(chǔ)市場(chǎng)的復(fù)合增長率有望達(dá)到12．1%,遠(yuǎn)高于服務(wù)器、中間件、應(yīng)用、服務(wù)等市場(chǎng)。

之所以給出這樣的判斷,離不開一個(gè)特定的產(chǎn)業(yè)共識(shí):在自動(dòng)駕駛、氣象預(yù)測(cè)、宇宙探索等熱門的應(yīng)用場(chǎng)景中,HPC和AI、大數(shù)據(jù)的融合越來越緊密,HPC向HPDA(數(shù)據(jù)密集型超算)的演進(jìn),屢屢成為行業(yè)論壇上的主流議題。

可以找到的例子有很多。

過去地震勘探是二維的,從二維到三維的演進(jìn)中,采集和處理的數(shù)據(jù)量增加了5—10倍;電影渲染逐漸從2K向4K乃至8K過渡,對(duì)應(yīng)的數(shù)據(jù)量增加了16倍;衛(wèi)星測(cè)繪領(lǐng)域的精度從20米縮小到2米,數(shù)據(jù)量同比增長了70倍……再加上數(shù)據(jù)分析處理的算法越來越復(fù)雜,采集、存儲(chǔ)、處理、存檔的數(shù)據(jù)量呈現(xiàn)出爆炸式增長。

然而傳統(tǒng)的HPC存儲(chǔ)主要用于建模和仿真,包括項(xiàng)目文件共享、搜索、歸檔等等,主要是結(jié)構(gòu)化的數(shù)據(jù),且通常是基于順序的大I/O型。但人工智能的工作流程涉及到數(shù)據(jù)收集、注入、訓(xùn)練、推理和歸檔,不僅涵蓋結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù),數(shù)據(jù)存取的場(chǎng)景也更加復(fù)雜,AI負(fù)載需要順序大I/O型和隨機(jī)小I/O型的組合,特別是AI數(shù)據(jù)集標(biāo)注的元數(shù)據(jù)管理,需要快速的隨機(jī)小I/O型。

也就是說,推動(dòng)數(shù)據(jù)存儲(chǔ)性能不斷提升的因素,絕不只是IO500榜單,而是隱藏在榜單背后的市場(chǎng)需求。傳統(tǒng)HPC的數(shù)據(jù)存儲(chǔ)已經(jīng)跟不上需求,能否打破數(shù)據(jù)存儲(chǔ)、性能、效率的限制,已經(jīng)是HPC產(chǎn)業(yè)革新的掣肘因素。

按照Hyperion Research在《HPDA趨勢(shì)白皮書》中的建議,針對(duì)HPDA負(fù)載中經(jīng)常出現(xiàn)的非結(jié)構(gòu)化數(shù)據(jù),數(shù)據(jù)存儲(chǔ)應(yīng)該進(jìn)行針對(duì)性的創(chuàng)新,包括支持不同的I/O模型、支持多協(xié)議訪問、支持各種數(shù)據(jù)訪問頻率、高密度高效設(shè)計(jì)等等,不斷提升數(shù)據(jù)利用率,進(jìn)一步釋放數(shù)據(jù)潛力。

恰恰是數(shù)據(jù)存儲(chǔ)的新一輪革命,為華為等企業(yè)提供了重拾話語權(quán)的機(jī)會(huì),并趁機(jī)進(jìn)行直線超車。

03 華為越級(jí)的硬實(shí)力

也就解釋了文初的一幕:幾年前的IO500榜單還被Intel、DDN、IBM等企業(yè)占領(lǐng),當(dāng)HPC向HPDA演進(jìn)的時(shí)候,華為OceanStor Pacific等新勢(shì)力頻頻出現(xiàn),而且就拿到了讓人振奮的位次。

如同中國超算力量的強(qiáng)勢(shì)崛起,華為OceanStor Pacific斬獲IO500榜單全球第二的消息并不令人意外。在這場(chǎng)技術(shù)硬實(shí)力的較量中,華為OceanStor Pacific的“越級(jí)”離不開4000多位研發(fā)人員夜以繼日的努力,以及3000多項(xiàng)專利構(gòu)成的技術(shù)創(chuàng)新,打破了HPC產(chǎn)業(yè)的三重壁壘:

一是多業(yè)務(wù)混合負(fù)載能力。傳統(tǒng)HPC存儲(chǔ)只支持單一負(fù)載,形成了性能上的孤島,導(dǎo)致流程間的數(shù)據(jù)需要在不同存儲(chǔ)間遷移,可以說是效率降低的“元兇”。

華為OceanStor Pacific存儲(chǔ)搭載了新一代并行文件系統(tǒng),針對(duì)傳統(tǒng)HPC的問題進(jìn)行了對(duì)癥下藥:采用目錄DHT分區(qū)、大IO直通小IO聚合、多粒度磁盤空間管理列技術(shù),一套存儲(chǔ)同時(shí)實(shí)現(xiàn)了大文件高帶寬、小文件高IOPS,配合分布式并行客戶端技術(shù),輕松滿足了客戶對(duì)多業(yè)務(wù)混合負(fù)載的需求。

二是多協(xié)議無損互通方案。在數(shù)據(jù)處理過程中,多樣性的數(shù)據(jù)轉(zhuǎn)化、拷貝、加載等環(huán)節(jié)就占據(jù)了35%以上的時(shí)間,人為制造了阻礙效率升維的格式壁壘。

華為OceanStor Pacific的切入點(diǎn)是協(xié)議互通,通過統(tǒng)一的數(shù)據(jù)管理系統(tǒng)和硬件資源池,文件、對(duì)象、大數(shù)據(jù)客戶端可以同時(shí)讀寫同一個(gè)文件,不需要協(xié)議轉(zhuǎn)換的過程,讓數(shù)據(jù)分析的效率提升了30%以上,并且避免了數(shù)據(jù)拷貝產(chǎn)生的冗余副本,節(jié)省了端到端的存儲(chǔ)資源,讓硬件發(fā)揮出極限性能。

三是超高密設(shè)計(jì)的硬件。當(dāng)海量數(shù)據(jù)的價(jià)值被進(jìn)一步分析挖掘,就需要保留更多更長久的數(shù)據(jù)資源,對(duì)機(jī)房空間、功耗、存儲(chǔ)成本等都提出了新的挑戰(zhàn)。

為了解決這些“癢點(diǎn)”,華為OceanStor Pacific推出了系列化超高密硬件,支持不同硬件間的數(shù)據(jù)自動(dòng)分級(jí),全面降低了HPC場(chǎng)景的存儲(chǔ)成本。以華為OceanStor Pacific 9950為例,每個(gè)5U機(jī)箱可容納8個(gè)存儲(chǔ)節(jié)點(diǎn),提供128TB至614．4TB裸容量,節(jié)省了60%以上的機(jī)柜空間和能耗。

可以看到,華為OceanStor Pacific的軟硬件創(chuàng)新,填補(bǔ)了HPC向HPDA轉(zhuǎn)型的數(shù)據(jù)存儲(chǔ)短板,無形中為HPDA進(jìn)程按下了“快進(jìn)鍵”,也為站在轉(zhuǎn)型節(jié)點(diǎn)上的企業(yè),提供了迎合數(shù)據(jù)密集型趨勢(shì)的“理想之選”。

04 寫在最后

衡量一款產(chǎn)品、一家企業(yè)的價(jià)值標(biāo)桿,絕非是這樣或那樣的榜單,倘若只是靜靜地躺在榜單上,再好的結(jié)果也沒有太大的意義。盡管是IO500榜單上一鳴驚人的新秀,但華為OceanStor存儲(chǔ)并不讓人陌生。

中石化物探研究院采用華為OceanStor存儲(chǔ)的服務(wù),降低了30%的數(shù)據(jù)存儲(chǔ)成本,勘探效率提升了16%,運(yùn)維管理成本降低了50%;上海天文臺(tái)在華為OceanStor存儲(chǔ)的幫助下,搭建了世界首臺(tái)SKA原型機(jī),性能較傳統(tǒng)存儲(chǔ)提升了10倍;華大基因?qū)⑷A為OceanStor存儲(chǔ)用于無創(chuàng)產(chǎn)前基因檢測(cè)業(yè)務(wù)模型中,數(shù)據(jù)存儲(chǔ)性能提升了30%左右,基因檢測(cè)報(bào)告從15天壓縮到了7天……

相較于那些為了沖榜而送測(cè)的企業(yè),華為OceanStor Pacific正在以一種潤物細(xì)無聲的方式滲透進(jìn)社會(huì)生活的方方面面,幫助千行百業(yè)解決數(shù)據(jù)密集型升級(jí)帶來的挑戰(zhàn),IO500榜單第二的殊榮不過是水到渠成的結(jié)果。