在日前由中國計算機學會(CCF)主辦的CCF中國存儲大會上,中國電子技術標準化研究院、存儲產(chǎn)業(yè)技術創(chuàng)新戰(zhàn)略聯(lián)盟等數(shù)十家產(chǎn)學研機構聯(lián)合發(fā)布了《AIGC數(shù)據(jù)存儲研究報告》(以下簡稱報告),這是業(yè)界首個對AIGC(生成式人工智能)場景下的存儲底座做出精準畫像的研究報告。
報告認為,人工智能從“以模型為中心”加速向“以數(shù)據(jù)為中心”轉(zhuǎn)變,大模型技術步入相對“穩(wěn)態(tài)”,人工智能進入以數(shù)據(jù)驅(qū)動模型優(yōu)化階段,數(shù)據(jù)的要素價值被進一步放大,高質(zhì)量數(shù)據(jù)的全生命周期管理成為人工智能發(fā)展的核心動力之一。報告提出,AIGC場景下,存儲面臨性能、效率和韌性方面的挑戰(zhàn),存儲底座需要“六維”協(xié)同并進,“六位一體”畫像,即需要具備數(shù)據(jù)流動、處理、共享、容納、安全、管理六種能力,從產(chǎn)品和方案上滿足AIGC對存儲的需求。
浪潮信息相關負責人在會上表示,數(shù)據(jù)是人工智能時代的核心引擎,數(shù)據(jù)中心逐漸由以計算為中心向以數(shù)據(jù)為中心轉(zhuǎn)變。AIGC時代,人工智能和數(shù)據(jù)要素是數(shù)據(jù)中心兩大核心工作場景,存儲面臨效率、性能等挑戰(zhàn),需要先進存力支撐,先進存力需要先進架構,即新型存儲架構。
浪潮信息存儲首席架構師孫斌分析,算力需要存力和運力共同支撐、平衡設計,現(xiàn)在算力在迅速增長,存力、運力與算力要互相協(xié)同。存儲甚至已成為智算的瓶頸,亟待提升存儲性能,才能以存強算。
我國算力、算網(wǎng)規(guī)模及能力持續(xù)攀升。工業(yè)和信息化部數(shù)據(jù)顯示,截至2024年6月,我國在用算力中心機架總規(guī)模超過830萬標準機架,算力總規(guī)模達246EFLOPS(每秒百億億次浮點運算),位于世界前列;互聯(lián)互通縱深推進,城域算力節(jié)點間1ms(毫秒)時延保障能力逐漸形成,區(qū)域集群到周邊主要城市間5ms時延保障能力廣泛覆蓋,國家樞紐節(jié)點間20ms時延保障能力全面實現(xiàn);全國算力中心平均電能利用效率(PUE)降至1.47,創(chuàng)建國家綠色數(shù)據(jù)中心246個,超140個算力中心綠色低碳等級達到4A級以上標準。
工信部發(fā)布的《算力基礎設施高質(zhì)量發(fā)展行動計劃》中提出,到2025年計算力規(guī)模超過300EFLOPS,智能算力占比達到35%;提升算力高效運載質(zhì)量,強化算力接入網(wǎng)絡能力;推動以云服務方式整合算力資源,促進多方算力互聯(lián)互通。
以生成式人工智能為代表的人工智能應用、大模型訓練等新需求、新業(yè)務的崛起,推動智算規(guī)模呈現(xiàn)高速增長態(tài)勢。據(jù)測算,截至2023年底,全球智能算力規(guī)模為335EFLOPS,同比增長達136%,增速遠超算力整體規(guī)模增速。我國智能算力占比也顯著增加,智算中心集聚分布。截至2023年底,智能算力規(guī)模占整體算力規(guī)模的增例近30%,增效明顯。
“生成式人工智能時代,隨著十萬卡算力集群的規(guī)劃落地,模型參數(shù)也將達到萬億、10萬億,數(shù)據(jù)處理的復雜度和數(shù)據(jù)膨脹率也呈數(shù)量級激增,數(shù)據(jù)中心加速向數(shù)據(jù)型中心演進。人工智能和數(shù)據(jù)要素是數(shù)據(jù)型中心兩類主要新型負載,存儲面臨性能、效率、容量等多重挑戰(zhàn),需要數(shù)據(jù)近計算存儲和數(shù)據(jù)全生命周期存儲兩大能力,可組合分布式融合存儲是未來數(shù)據(jù)中心建設的最佳選擇!睂O斌說。
據(jù)了解,面向AIGC時代數(shù)據(jù)中心存儲要求,浪潮信息存儲提出基于新型存儲架構的機柜級存儲底座和數(shù)據(jù)中心級存儲底座,以存儲架構創(chuàng)新打造先進存力,滿足集約高效、一體化數(shù)據(jù)中心的建設要求。
2023年5月,浪潮信息發(fā)布為大模型專門優(yōu)化的分布式全閃存儲系列,為AI大模型數(shù)據(jù)歸集、訓練、數(shù)據(jù)歸檔與管理等階段提供強大存儲支撐能力,助力用戶加速大模型系統(tǒng)的創(chuàng)新及應用落地。6月,浪潮信息重磅推出基于新一代分布式存儲平臺的AIGC存儲解決方案,應對大模型應用對存儲性能、容量以及數(shù)據(jù)管理等方面的苛刻要求。同時,嘗試性提出GPU計算集群算力與存儲集群聚合帶寬的推薦配比,實現(xiàn)檢測點數(shù)據(jù)60秒內(nèi)寫入和讀取恢復,提高大模型訓練效率。未來,浪潮信息存儲將持續(xù)聚焦新型存儲架構、新型存儲介質(zhì)加速技術等前沿研究,牽引共建AI存儲場景共同體,推動前沿存儲技術創(chuàng)新發(fā)展。(經(jīng)濟日報記者 黃鑫)