收入占比超50%,全閃存時代到底還有多遠?
2023年8月30日--Gartner最新數(shù)據(jù)顯示,2023年第一季度全球外部存儲市場同比增長0.5%;其中,全閃存陣列同比增長3.6%,市場規(guī)模超過非全閃存陣列,占整個外部存儲市場收入的50.4%。
這標志著數(shù)據(jù)存儲市場的拐點已來臨。過去幾年,全球經(jīng)濟和市場經(jīng)歷了大的動蕩與變化,全閃存存儲依然能穿越周期和保持增長,實屬難能可貴。
與此同時,隨著千行百業(yè)的數(shù)字化轉(zhuǎn)型步入深水區(qū),數(shù)據(jù)已然成為數(shù)字化時代的核心生產(chǎn)要素、戰(zhàn)略資源以及價值創(chuàng)造的基礎(chǔ),大數(shù)據(jù)、機器學(xué)習(xí)、大模型等新應(yīng)用的蓬勃發(fā)展,既帶來PB級容量、千萬IOPS、智能化管理等全新的數(shù)據(jù)存儲需求,也加速驅(qū)動著一個全閃存時代的到來。
全閃存為何能當?shù)?/p>
很長一段時間內(nèi),外部存儲系統(tǒng)領(lǐng)域一直都是傳統(tǒng)機械硬盤唱主角,直到2008年閃存才正式在高端存儲系統(tǒng)中得到應(yīng)用。2010年左右,Violin Memory、PureStorage、XtremIO等大批全閃存陣列初創(chuàng)公司的出現(xiàn),標志著全閃存系統(tǒng)浪潮的興起。
從傳統(tǒng)機械硬盤到閃存,不僅僅是介質(zhì)的一次升級,更意味著數(shù)據(jù)中心基礎(chǔ)設(shè)施的一次重構(gòu)。眾所周知,傳統(tǒng)機械硬盤近年來陷入技術(shù)瓶頸,在容量密度、性能等方面增長緩慢,使得基于機械硬盤的傳統(tǒng)存儲系統(tǒng)愈發(fā)難以滿足各種應(yīng)用的數(shù)據(jù)存儲需求;相反,基于閃存的全閃存儲具備高密度、高可靠、高性能、低延遲、低能耗等特征,逐漸成為數(shù)據(jù)中心基礎(chǔ)設(shè)施的主力軍。
歸根結(jié)底,用戶在數(shù)據(jù)存儲需求層面發(fā)生的根本性變化,是推動全閃存儲逐漸獲得用戶青睞的一大動因,也使得全閃存在數(shù)據(jù)中心等基礎(chǔ)設(shè)施領(lǐng)域徹底打開市場局面:
其一、全閃存適用的應(yīng)用場景正呈現(xiàn)出多點開花的局面。過去,人們普遍認為全閃存只適合那些要求百萬IOPS和毫秒延遲的數(shù)據(jù)庫等核心業(yè)務(wù)場景;事實上,當前全閃存所承載的業(yè)務(wù)場景遠比過去豐富,除了數(shù)據(jù)庫、ERP、虛擬化等傳統(tǒng)業(yè)務(wù)應(yīng)用之外,像自動駕駛、大模型、大數(shù)據(jù)分析、分布式數(shù)據(jù)庫等新興應(yīng)用均是首選全閃存。
例如,在各種大促場景中,很多金融機構(gòu)用戶會利用全閃存來應(yīng)對短時間內(nèi)的流量高峰;在智慧醫(yī)療場景,醫(yī)院會通過全閃存來支撐起多臺醫(yī)療設(shè)備對于PACS系統(tǒng)同時連續(xù)寫入,為各種人群提供良好的體驗;在大模型訓(xùn)練場景,頻繁從數(shù)據(jù)集讀取Token非常容易形成實時高并發(fā)的海量小IO,需要全閃存的大帶寬、高IOPS來匹配業(yè)務(wù)需求……
其二、應(yīng)用場景對于數(shù)據(jù)實時性的需求正變得極度渴望,也讓全閃存如魚得水。眾所周知,"天下武功唯快不破",在數(shù)據(jù)成為價值創(chuàng)新基礎(chǔ)的今天,企業(yè)對于業(yè)務(wù)決策、產(chǎn)品研發(fā)、用戶體驗優(yōu)化等也是"快"字當頭,直接驅(qū)動著對于數(shù)據(jù)存儲性能的需求。
以當前已在智能客服、生物識別、互聯(lián)網(wǎng)金融、精準營銷等場景中廣泛落地的AIGC為例,其在金融虛擬客服應(yīng)用場景中,往往模型參數(shù)達到千億級,原始數(shù)據(jù)高達PB級,具有持續(xù)的低延時和高帶寬等業(yè)務(wù)特性,全閃存在大模型訓(xùn)練和推理場景中發(fā)揮著關(guān)鍵作用,AIGC領(lǐng)域的用戶們幾乎清一色選擇全閃存。
其三、數(shù)據(jù)中心近年來設(shè)備數(shù)量大幅增加,無形中增加了數(shù)據(jù)中心運維管理的成本與復(fù)雜性,并對于基礎(chǔ)設(shè)施的可靠性帶來了更多風險,而在同等性能與容量的情況下,全閃存無疑能夠帶來更有效且精簡的基礎(chǔ)設(shè)施,并且具備比傳統(tǒng)存儲設(shè)備更高的可靠性。
其四、隨著雙碳目標的提出,越來越多企業(yè)有著節(jié)能降耗的壓力。在相同容量、相同性能的情況下,全閃存存儲的設(shè)備數(shù)量、能耗和空間要遠低于基于機械硬盤的存儲系統(tǒng)。相關(guān)數(shù)據(jù)預(yù)測,到2025年,數(shù)據(jù)中心能耗將占全球總能耗4.5%,這其中數(shù)據(jù)存儲又是數(shù)據(jù)中心的能耗大戶,采用全閃存來降低能耗已經(jīng)成為越來越多用戶的選擇。
除了用戶需求層面的驅(qū)動外,全閃存在閃存介質(zhì)、接口協(xié)議、軟件架構(gòu)以及應(yīng)用生態(tài)支持等方面也取得長足進步和全面蛻變,真正實現(xiàn)了內(nèi)外兼修和軟硬兼施,契合數(shù)據(jù)存儲需求的變化。
技術(shù)生態(tài)迎來全面蛻變
某種程度而言,數(shù)據(jù)存儲需求的變化與閃存技術(shù)的發(fā)展就像一場雙向奔赴,彼此獲得價值實現(xiàn)的同時,也讓數(shù)據(jù)中心基礎(chǔ)設(shè)施獲得徹底重構(gòu)。在這場雙向奔赴中,全閃存儲就像一股催化劑,加速了重構(gòu)的速度與范圍。
具體來看,閃存性能雖出眾,但成本一直相對較高,這與很多用戶持續(xù)的數(shù)據(jù)增長需求不匹配。為此,閃存介質(zhì)近年來飛速發(fā)展,在容量和成本上獲得大幅突破。最新QLC SSD容量最高達到驚人的61.44TB,容量增長速度遠超傳統(tǒng)機械硬盤;另外,閃存成本也在持續(xù)下降,IDC預(yù)測SSD每GB價格預(yù)計在2020-2025年以19%的年復(fù)合增長率下降,預(yù)計到2025年會低于2.5寸10000轉(zhuǎn)機械硬盤的價格。
事實上,今年以來,多家企業(yè)級存儲廠商均表示會推出基于QLC SSD的全閃存儲,有望進一步推動閃存成本的下降。
除了閃存價值之外,全閃存儲也推動數(shù)據(jù)中心接口與網(wǎng)絡(luò)協(xié)議獲得了脫胎換骨般的變化。眾所周知,傳統(tǒng)SATA/SAS等接口協(xié)議均是在傳統(tǒng)機械硬盤時代的產(chǎn)物,無論是帶寬、延遲等等均無法與閃存介質(zhì)的高性相匹配。因此,NVMe協(xié)議近年來獲得迅速發(fā)展,NVMe大幅提升帶寬、可連接性和傳輸性,產(chǎn)業(yè)鏈上下游推動NVMe成為數(shù)據(jù)中心主流協(xié)議,像NVMe Over Fabrics等存儲網(wǎng)絡(luò)也獲得飛速發(fā)展。
在軟件層面,企業(yè)級存儲廠商過去多年里一直致力于基于閃存的軟件架構(gòu)和堆棧功能的重塑,逐步實現(xiàn)了復(fù)制、重刪等功能在閃存環(huán)境下的重新設(shè)計與持續(xù)優(yōu)化;在生態(tài)層面,像操作系統(tǒng)、分布式數(shù)據(jù)庫等廠商也加大了對于閃存環(huán)境的匹配。
此外,為了最大限度的發(fā)揮閃存性能、容量和成本的優(yōu)勢,有一部分企業(yè)級存儲廠商率先行動,近年來全力推動閃存全?;夹g(shù)創(chuàng)新策略的落地。其中,浪潮信息就是典型代表。
為實現(xiàn)閃存極致性能的發(fā)揮,浪潮信息將核心能力深入到存儲部件級,從SSD高速存儲介質(zhì)、存儲軟件到全閃系統(tǒng)進行全鏈條的聯(lián)調(diào)優(yōu)化。這種閃存全?;膭?chuàng)新策略,讓閃存性能潛力發(fā)揮無死角,并真正帶來閃存成本的下降,實現(xiàn)性能與成本的最優(yōu)。例如,浪潮信息已經(jīng)構(gòu)建起基于閃存原生的iTurbo 智能加速引擎,加上盤控協(xié)同、ZNS數(shù)據(jù)分流等技術(shù)、ROW追加謝、全局垃圾數(shù)據(jù)回收算法等技術(shù),能夠?qū)崿F(xiàn)性能的持續(xù)提升以及每GB成本大幅下降。得益于閃存全棧創(chuàng)新策略,浪潮高端全閃HF18000、分布式存儲AS13000等多次在SPC-1性能測試中奪魁。
更加重要的是,用戶側(cè)對于生成式AI的快速普及,人工智能正在成為數(shù)據(jù)中心基礎(chǔ)設(shè)施發(fā)展未來最大的牽引力,隨著GPU等算力部署的深入,以全閃存、混閃為代表的存力重要性日漸上升,從數(shù)據(jù)容量、帶寬、訪問頻率以及成本等多個因素綜合考量,未來數(shù)據(jù)中心在實踐中需要形成算力、閃存和混閃的1:1:1黃金比例,以滿足人工智能等需求。
生成式AI分為數(shù)據(jù)歸集、數(shù)據(jù)準備、數(shù)據(jù)訓(xùn)練、數(shù)據(jù)推理和數(shù)據(jù)歸檔5個階段。從業(yè)務(wù)架構(gòu)來看,從一開始的獲取原始數(shù)據(jù)到數(shù)據(jù)清洗、拼接、標記,再到數(shù)據(jù)并行、在線推理部署到最后的數(shù)據(jù)遷移歸檔,都對數(shù)據(jù)存儲提出了不同的要求,例如小文件讀寫、大文件逐行寫順序?qū)?、大文件讀一次加載等。數(shù)據(jù)歸集和準備階段更多地要求大容量、多協(xié)議共享,數(shù)據(jù)訓(xùn)練和推理階段更多是對百萬級IOPS、100GB帶寬的要求,數(shù)據(jù)歸檔階段則需滿足冷數(shù)據(jù)的遷移、長期保存和歸檔。根據(jù)需求不同,在生成式AI全階段科學(xué)合理地布局全閃、混閃存儲是關(guān)鍵。例如,從性能角度來看,英偉達官方建議,一臺GPU算力節(jié)點設(shè)備的最高要求寫帶寬要求20GBps,讀帶寬要求40GBps,而一個全閃存節(jié)點寫帶寬是20GBps,讀帶寬在20-50GBps,計算節(jié)點與全閃存節(jié)點的數(shù)量比例接近1:1;另外,從數(shù)據(jù)容量和訪問頻率來看,一個模型系統(tǒng)中80%的數(shù)據(jù)會由熱變冷,還需要長期保存訓(xùn)練過程中多個CheckPoint文件,契合熱數(shù)據(jù)與溫冷數(shù)據(jù)容量配置1:10的規(guī)律,而一個全閃存節(jié)點容量通常為50-100TB,一個混閃節(jié)點的容量通常為500-1000TB,按照1:1來配置全閃節(jié)點和混閃節(jié)點,無疑從數(shù)據(jù)全生命周期維度保障了人工智能應(yīng)用各種階段的需求。
因此,像以浪潮信息為代表的全閃存廠商,今年開始力推數(shù)據(jù)中心GPU算力、全閃存、混閃形成1:1:1黃金比例的建設(shè)模式,以數(shù)據(jù)中心用戶側(cè)需求變化為核心目標,加速推動全閃存產(chǎn)品與技術(shù)在數(shù)據(jù)中心中的應(yīng)用,為未來的AIGC、大模型等人工智能應(yīng)用夯實基礎(chǔ)。
無疑,近年來產(chǎn)業(yè)界最大著力點就是從數(shù)據(jù)中心技術(shù)生態(tài)和需求生態(tài)出發(fā),從各種維度推動全閃存在數(shù)據(jù)中心的普及,甚至在全閃存儲中優(yōu)先融入像機器學(xué)習(xí)、人工智能、云原生等先進技術(shù),讓全閃存儲率先走向智能化管理與運維,進一步提升全閃存儲的易用性,從而加速全閃存時代的到來。
全閃存市場未來還得看中國
為什么全閃存市場未來還得看中國?
當前,全球外部存儲市場近年來受到各種因素波及,出于較為穩(wěn)定的狀態(tài),非全閃存儲則出現(xiàn)了持續(xù)下滑,全靠全閃存來支撐整體市場的平穩(wěn)。IDC預(yù)測認為,未來五年全閃存將以7.5%的年復(fù)合增長率增長??梢耘袛啵磥砣W存會繼續(xù)加速替代非全閃的步伐,營收占比還將持續(xù)提升,而市場的核心焦點會在中國市場。
之所以會如此,首先是中國全閃存儲的市場潛力不可小覷。相關(guān)數(shù)據(jù)顯示,歐美成熟市場的全閃存比例已較高,替代非全閃的潛力空間逐漸變小,中國全閃存儲的市場占比當前僅僅只有25%左右,,未來在金融、政府、電信、制造、交通、醫(yī)療、能源等行業(yè)有著廣泛的應(yīng)用前景。
事實上,隨著中國數(shù)字經(jīng)濟占比持續(xù)提升,產(chǎn)業(yè)數(shù)字化提速,數(shù)據(jù)存儲在未來依然有著巨大的需求。最新《中國數(shù)字經(jīng)濟發(fā)展報告(2023)》報告顯示,2022年中國數(shù)字經(jīng)濟規(guī)模達到50萬億元占GDP比重達到41.5%,產(chǎn)業(yè)數(shù)字化占到數(shù)字經(jīng)濟的產(chǎn)業(yè)上升到81%,隨著數(shù)字經(jīng)濟與實體經(jīng)濟的進一步融合,未來必然會加速全閃存儲在各個行業(yè)業(yè)務(wù)場景中的應(yīng)用。
其次,相比于其他競爭對手,中國全閃存儲廠商已是當前市場增長的主力軍,浪潮信息等廠商在集中式全閃和分布式全閃燈多個細分市場增速明顯高于市場平均增速。以浪潮信息為例,Gartner數(shù)據(jù)顯示,在今年第一季度中,浪潮信息存儲全閃存出貨裝機容量以10.4%的全球市場份額,位列全球前三、中國第一;IDC數(shù)據(jù)則表明,浪潮信息第一季度銷售額和出貨量位居中國前二,出貨量同比大幅增長310%,增長速度領(lǐng)跑市場。
第三,中國規(guī)模龐大且復(fù)雜的業(yè)務(wù)場景更有利于全閃存產(chǎn)品的錘煉與成長,這兩年中國全閃存儲產(chǎn)品在各種權(quán)威測試中的優(yōu)異表現(xiàn)就是一種體現(xiàn)。例如,中國制造業(yè)正在加速升級,在業(yè)務(wù)場景中開始大量融入物聯(lián)網(wǎng)、機器視覺、AI等技術(shù),不僅產(chǎn)生大量的實時數(shù)據(jù),還需要進行敏捷分析,全閃存的性能、容量等優(yōu)勢在場景中發(fā)揮著關(guān)鍵作用;在運營商領(lǐng)域,運營商正加速向云服務(wù)等業(yè)務(wù)轉(zhuǎn)型,需要一個高性能、大容量的全新基礎(chǔ)設(shè)施作為數(shù)字底座,這其中分布式全閃存起到重要的支撐作用;在自動駕駛領(lǐng)域,每天需要產(chǎn)生海量數(shù)據(jù),并對海量數(shù)據(jù)進行訓(xùn)練,全閃存支撐起自動駕駛從數(shù)據(jù)處理到訓(xùn)練的多個環(huán)節(jié)……
正是中國市場這些領(lǐng)先場景的驅(qū)動,讓中國全閃存儲的產(chǎn)品與技術(shù)競爭力得以持續(xù)提升。以浪潮信息高端全閃存儲HF18000為例,其已經(jīng)廣泛應(yīng)用打金融、運營商、車路協(xié)同、自動駕駛等多個業(yè)務(wù)場景之中,為各種關(guān)鍵業(yè)務(wù)提供最為可靠的性能保障。
綜合觀察,全閃存儲的市場拐點的確已經(jīng)到來,一個全閃存的時代離我們越來越近。在閃存成本不斷下降和閃存相關(guān)技術(shù)不斷取得突破的趨勢下,全閃存儲有望進一步在更多業(yè)務(wù)場景中得到應(yīng)用。面向未來,IDC預(yù)測中國企業(yè)級全閃存儲市場未來依然會保持著9%以上的增長,中國市場有望引領(lǐng)未來市場的增長;而以浪潮信息為代表的中國全閃存儲廠商憑借多年的技術(shù)積累與行業(yè)實踐,未來有望在全閃存儲這條賽道中書寫中國奇跡。
*博客內(nèi)容為網(wǎng)友個人發(fā)布,僅代表博主個人觀點,如有侵權(quán)請聯(lián)系工作人員刪除。