編輯|信創(chuàng)縱橫公眾號(ID:xinchuangzh)
出品 | 安東工作室
來源|綜合自半導(dǎo)縱橫創(chuàng)咨詢、e公司等
隨著算力網(wǎng)絡(luò)的建設(shè)發(fā)展,業(yè)內(nèi)對存儲環(huán)節(jié)的關(guān)注度也直線上升。
7月20日在2023世界半導(dǎo)體大會上,,中國工程院院士、中國科學(xué)院計算技術(shù)研究所研究員倪光南表示,當(dāng)前AI算力中心蓬勃興起,,但是廣義算力不僅包括算力,還包括存力,、運力,。數(shù)據(jù)顯示,預(yù)計2025年中國數(shù)據(jù)量將從7.6ZB增至48.6ZB,,超過美國成為全球第一,。當(dāng)前,全球各國都在加快制定國家數(shù)據(jù)戰(zhàn)略,,其中,,存儲技術(shù)和產(chǎn)業(yè)成為共同關(guān)注的戰(zhàn)略重點。
當(dāng)前中國算力中心存力不足,,存在重算力輕存力的傾向,,國內(nèi)的存儲發(fā)展跟不上數(shù)據(jù)量的增長。根據(jù)倪光南提及的一組數(shù)據(jù),,中國算力中心采用SSD(固態(tài)硬盤)先進算力占比僅為24.7%,,約為美國一半。中國單位GDP的數(shù)據(jù)存儲量只有美國70%左右,,而人均數(shù)據(jù)存儲量,,美國是中國的9倍。美國為212GB/人,,中國約為25GB/人,,說明中國數(shù)據(jù)存儲產(chǎn)業(yè)大有可為、前景廣闊。
倪光南建議制定算力和存力適當(dāng)比例范圍,,重視高效存儲產(chǎn)業(yè)人才培養(yǎng),,以及將數(shù)據(jù)存儲列入信創(chuàng)范圍、設(shè)立國家科技攻關(guān)計劃和相關(guān)數(shù)據(jù)存儲專項,,協(xié)同上下游產(chǎn)業(yè)攻關(guān)等,。
現(xiàn)在AI大模型崛起,進一步推動了算力的需求,。雖然AI算力中心不斷興起,,但是倪光南指出,目前普遍對算力的理解有片面性,,廣義算力不僅包括算力,,還包括存力、運力,。當(dāng)前中國算力中心的存力相對不足,,存在重算力輕存力的傾向。
他進一步分析道,,中國存儲容量增長快,,但主要用機械硬盤HDD,先進半導(dǎo)體存儲技術(shù)滯后,。比如,存儲領(lǐng)域閃存市場占比中,,全球平均水平為41.3%,,美國為56.4%,中國為20.3%,,僅是全球水平的一半,。再看算力中心采用SSD(固態(tài)硬盤)先進存力占比,美國為52.8%,,中國為24.7%,。
面對新一輪存儲技術(shù)變革,在倪光南看來,,隨著國產(chǎn)存儲整機和閃存生產(chǎn)能力提升,,SSD(固態(tài)硬盤)取代HDD(機械硬盤)的時機已經(jīng)到來。
談及存儲芯片產(chǎn)業(yè)鏈,,倪光南介紹道,,中國的新型半導(dǎo)體存儲產(chǎn)業(yè)鏈比較完整,比如在產(chǎn)業(yè)鏈上游,,長江存儲的NANDFlash和長鑫存儲的DRAM芯片已經(jīng)達到全球主流的水平和生產(chǎn)能力,;在SSD主控芯片方面,國內(nèi)已經(jīng)有十幾家廠商的產(chǎn)品得到商用,產(chǎn)品能力與國外主流廠商持平,。
而在產(chǎn)業(yè)鏈中游,,我國存儲整機的核心能力和競爭力構(gòu)筑在自主的核心存儲芯片、系統(tǒng)架構(gòu)和軟件之上,,也已具備國際領(lǐng)先技術(shù)水平,,目前國產(chǎn)品牌廠商在國內(nèi)市場占比85%,在全球市場份額占比20%,,在海外有巨大增長空間,。
在他看來,我國新型存儲產(chǎn)業(yè)在實現(xiàn)國產(chǎn)化的情況下已經(jīng)具備了國際競爭力,,今后如能通過雙循環(huán)拉動,,迅速擴展規(guī)模,提升性價比和營銷服務(wù)能力,,有望成為IT領(lǐng)域的“5G”產(chǎn)業(yè),,成為中國的又一新名片。
對于存儲產(chǎn)業(yè)發(fā)展,,倪光南建議制定算力和存力適當(dāng)比例范圍,,重視高效存儲產(chǎn)業(yè)人才培養(yǎng),以及將數(shù)據(jù)存儲列入信創(chuàng)范圍,、設(shè)立國家科技攻關(guān)計劃和相關(guān)數(shù)據(jù)存儲專項,,協(xié)同上下游產(chǎn)業(yè)攻關(guān)等。
倪光南院士表示,,隨著信息技術(shù)的快速發(fā)展,,數(shù)據(jù)存儲作為一個重要的產(chǎn)業(yè)分支以后會成為一個廣為人知的產(chǎn)業(yè)。
2021年美國提出《創(chuàng)新與競爭法》,,要拿出大量資金來發(fā)展十大關(guān)鍵技術(shù),,包括數(shù)據(jù)存儲,數(shù)據(jù)管理技術(shù),。目前國內(nèi)對存儲的概念還停留在一個小的部件,,沒有把它上升到一個產(chǎn)業(yè)的高度。
據(jù)預(yù)測2025年中國的數(shù)據(jù)存儲量將超過美國,,未來有望成為世界第一數(shù)據(jù)大國,。作為數(shù)據(jù)大國,數(shù)據(jù)存儲產(chǎn)業(yè)就需要跟上,,中國應(yīng)該抓住這個機遇,,有強大先進的數(shù)據(jù)存儲產(chǎn)業(yè)作為支撐,才能有發(fā)展的主動權(quán),。
中國新增數(shù)據(jù)量年復(fù)合增長率是30%左右,,目前數(shù)據(jù)存儲市場規(guī)模還不夠大,市場還跟不上數(shù)據(jù)量的發(fā)展,需要充分用好數(shù)據(jù)量的拉動,,把成熟數(shù)據(jù)成熟產(chǎn)業(yè)帶動起來,。
從人均的數(shù)據(jù)存儲量來看,目前美國人均存儲量是212 GB/人,,中國是25 GB/人,,美國是中國的8倍,這說明中國數(shù)據(jù)存儲產(chǎn)業(yè)是大有可為的,,前景是非常光明的,。
當(dāng)前,數(shù)據(jù)存儲產(chǎn)業(yè)一個很大的推動因素來自于大語言模型,。大模型正在帶動各地建設(shè)AI算力中心,,但是產(chǎn)業(yè)主要關(guān)心的都是運算力。實際上算力中心的計算能力由三個因素決定:存力,、算力,、運力。倪光南院士認(rèn)為,,用廣義算力去定義一個算力中心,,才更準(zhǔn)確。
美國的算力中心存算比為1.11TB/GFlops,,中國約為美國的37.8%,。相對來說,走在更前列,,經(jīng)過市場檢驗的美國算力中心的存算比會更合理一點,。當(dāng)算力中心可能會出現(xiàn)算力發(fā)揮不了作用,這時候就需要把存力提高了,。產(chǎn)業(yè)應(yīng)該去研究算力建設(shè),確定一個適當(dāng)?shù)谋戎?,充分發(fā)揮我們投資的效益,。確定合適的存算比,有助于當(dāng)前AI算力中心的建設(shè),。
從技術(shù)變革方面來看,,存儲領(lǐng)域正在發(fā)生一項新的技術(shù)變革,即基于半導(dǎo)體技術(shù)的新型產(chǎn)品替代基于機械技術(shù)的傳統(tǒng)產(chǎn)品,,這一個正在加速進行的客觀趨勢,。
全球SSD占存儲市場比重是41.3%,這一比例在美國是56.4%,,在中國約為20.3%,,說明在國內(nèi)還是傳統(tǒng)存儲占了很大的比重,而發(fā)達國家已經(jīng)走在前面了,用先進的半導(dǎo)體存儲替代了傳統(tǒng)的機械存儲,,這是一個很重要的啟示,。有差距也說明有市場潛力。
SSD對機械硬盤替代的進度慢很大一個問題是價格,。不過SSD在性能,、能耗方面仍有優(yōu)勢。圖上藍線就是半導(dǎo)體存儲的價格變化,,紅線是機械存儲的變化,,綠線是SSD與機械存儲的比較,在今年大概是2.2,,兩者有望在2026年實現(xiàn)平衡,。
倪光南院士強調(diào),對于存儲產(chǎn)品不應(yīng)該只關(guān)注價格問題,,綜合各種性能來看SSD的性價比已經(jīng)超出了機械硬盤,。
SSD可以實現(xiàn)用先進的壓縮算法,把數(shù)據(jù)更好的壓縮,,可以去重,,可以更好的加密解密,用新的文件系統(tǒng)等等,。在招標(biāo)中只考慮價格,,不考慮其他因素,這是不對的,,倪光南院士也建議有關(guān)方面在招標(biāo)項目規(guī)劃之中,,更加全面考慮存儲產(chǎn)品的多種性能。各方面共同努力推動半導(dǎo)體存儲替代機械存儲的產(chǎn)業(yè)變革,。
用SSD替代機械硬盤從供應(yīng)鏈安全的角度來看也有好處,,因為現(xiàn)在的機械硬盤市場完全被外國廠商壟斷。倪光南院士提到,,在新型存儲的產(chǎn)業(yè)鏈上游國產(chǎn)公司布局是比較完整的,,目前來講主要的芯片像NAND,DRAM芯片都可以自己生產(chǎn),。從中游來講,,國內(nèi)在核心存儲設(shè)備、系統(tǒng)架構(gòu)軟件都有自主創(chuàng)新的東西,,達到了國際領(lǐng)先的技術(shù)水平,,比如像華為的存儲在全球僅次于EMC。在新型存儲領(lǐng)域,,中國品牌有足夠的國際競爭力,。
當(dāng)前是發(fā)展中國數(shù)據(jù)存儲產(chǎn)業(yè)的好時機,,倪光南院士給出了幾點建議。
1,、產(chǎn)業(yè)發(fā)展,,標(biāo)準(zhǔn)先行。為促進產(chǎn)業(yè)更好地發(fā)展,,以“行標(biāo)”或“團標(biāo)”的方式,,發(fā)布“算力中心建設(shè)指南”;提出“算力”與“存力”的適當(dāng)比率范圍,;提出“存力”中采用SSD先進存力的適當(dāng)比率范圍,,避免大力發(fā)展算力中心建設(shè)中的某些傾向,均衡部署,,均衡發(fā)展,,搶占新一輪科技革命和產(chǎn)業(yè)變革的制高點。
2,、政策引導(dǎo),,力推SSD取代HDD。存儲設(shè)備的政府采購,、招標(biāo)等項目中,,應(yīng)優(yōu)先支持SSD,不得以單一價格指標(biāo)作為評標(biāo)依據(jù),;重要基礎(chǔ)設(shè)施的存儲設(shè)備,,政府應(yīng)政策引導(dǎo)指定采用國產(chǎn)SSD以此促進國產(chǎn)SSD的產(chǎn)業(yè)發(fā)展。
3,、安全測評,,公平公正。美光未通過中國政府對其的安全審查,,為國產(chǎn)存儲產(chǎn)業(yè)發(fā)展提供發(fā)展窗口期,。存儲領(lǐng)域應(yīng)以此為契機,重視對存儲產(chǎn)品的安全審查,,包括供應(yīng)鏈安全,、信息安全、數(shù)據(jù)安全等等,。尤其是對于存儲整機、主控芯片,、存儲文件系統(tǒng)等等關(guān)鍵核心技術(shù),,建議參照信創(chuàng)工作經(jīng)驗,實施“自主可控測評”,,根據(jù)第三方測評機構(gòu)給出的自主可控測評分值作為選擇依據(jù),。
4,、千秋大業(yè),人才為先,。重視高校存儲產(chǎn)業(yè)人才培養(yǎng),。存儲產(chǎn)業(yè)為技術(shù)密集型產(chǎn)業(yè),產(chǎn)品研發(fā)需要大量具有存儲技術(shù)研發(fā)能力的人才,。北美有60+高校開展存儲領(lǐng)域研究,,領(lǐng)軍教授80+,博士團隊500+;西歐有20+高校開展領(lǐng)域研究,,領(lǐng)軍教授30+,、博士團隊200+;目前國內(nèi)僅有10+高校開展存儲領(lǐng)域研究,,領(lǐng)軍教授10+,,博士隊伍100+,碩士不足300人,。數(shù)據(jù)看出,,人才基數(shù)與中國整個存儲產(chǎn)業(yè)和應(yīng)用市場體量來講顯然是不匹配的,建議在高校要增設(shè)存儲專業(yè),、課程,、實驗室等,擴大存儲人才培養(yǎng)規(guī)模,,并從收入,、激勵機制、基本公共服務(wù)等多角度構(gòu)建新的人才政策,,吸引并聚集國內(nèi)外優(yōu)秀人才,。
5、集聚產(chǎn)業(yè),,協(xié)同攻關(guān),。建議將數(shù)據(jù)存儲列入信創(chuàng)范圍,與上下游產(chǎn)業(yè)協(xié)同促進國產(chǎn)信息技術(shù)生態(tài)發(fā)展,。同時設(shè)立國家科技攻關(guān)計劃和相關(guān)產(chǎn)業(yè)鏈中數(shù)據(jù)存儲專項,,組織國內(nèi)產(chǎn)學(xué)研用各界聯(lián)合攻關(guān),實現(xiàn)全產(chǎn)業(yè)鏈風(fēng)險可控;成立存儲國家實驗室,、國家級科創(chuàng)平臺等,,開展前沿技術(shù)研究,形成原創(chuàng)性成果,,提升國產(chǎn)存儲全球技術(shù)競爭力,。
小知識:數(shù)據(jù)存儲的那些事兒
寫在前面
對于運維來說,數(shù)據(jù)讀取,、安全與存儲,,也是至關(guān)重要的一點,,數(shù)據(jù)存儲的技術(shù)點也是相當(dāng)?shù)亩啵姹容^廣,,今天,,民工哥來給各位小伙伴聊一聊有關(guān)于數(shù)據(jù)存儲的“那些事兒”
存儲的概念介紹
數(shù)據(jù)存儲對象包括數(shù)據(jù)流在加工過程中產(chǎn)生的臨時文件或加工過程中需要查找的信息。數(shù)據(jù)以某種格式記錄在計算機內(nèi)部或外部存儲介質(zhì)上,。數(shù)據(jù)存儲要命名,,這種命名要反映信息特征的組成含義。數(shù)據(jù)流反映了系統(tǒng)中流動的數(shù)據(jù),,表現(xiàn)出動態(tài)數(shù)據(jù)的特征,;數(shù)據(jù)存儲反映系統(tǒng)中靜止的數(shù)據(jù),表現(xiàn)出靜態(tài)數(shù)據(jù)的特征,,解釋來源于百度百科,。
民工哥用一句話總結(jié):數(shù)據(jù)存儲就是將一定量的數(shù)據(jù)通過不同的存儲架構(gòu)存儲到不同的存儲介質(zhì)當(dāng)中
存儲介質(zhì)介紹
磁盤和磁帶都是常用的存儲介質(zhì)
磁盤又分機械式磁盤、SSD等類型
數(shù)據(jù)存儲組織方式因存儲介質(zhì)而異,。在磁帶上數(shù)據(jù)僅按順序文件方式存?。辉诖疟P上則可按使用要求采用順序存取或直接存取方式,。數(shù)據(jù)存儲方式與數(shù)據(jù)文件組織密切相關(guān),,其關(guān)鍵在于建立記錄的邏輯與物理順序間對應(yīng)關(guān)系,確定存儲地址,,以提高數(shù)據(jù)存取速度,。
存儲方式
DAS直接附加存儲方式
就與普通的PC機存儲一樣,將外部的存儲設(shè)備直接加在服務(wù)器內(nèi)部來存儲數(shù)據(jù)
這種存儲方式,,比較適用于小型網(wǎng)絡(luò)結(jié)構(gòu),,數(shù)據(jù)量小,對數(shù)據(jù)的傳輸與讀取速度要求不高的場景下
NAS網(wǎng)絡(luò)存儲方式
它是采用獨立于應(yīng)用服務(wù)器,,單獨為網(wǎng)絡(luò)數(shù)據(jù)存儲而開發(fā)的一種文件服務(wù)來連接所有的存儲設(shè)備,,通過這種方式來存儲數(shù)據(jù),可單獨為所有應(yīng)用服務(wù)共享使用
這種存儲方式安裝布署比較簡單,,可以即插即用,,而且不依賴于操作系統(tǒng),缺點就是存儲的性能不太好
SAN存儲方式
這種存儲方式是1991年IBM公司推出的,,基于光纖介質(zhì)的一種存儲方式,,它的組成如下:
1)存儲和備份設(shè)備:包括磁帶、磁盤和光盤庫等,。
2)光纖通道網(wǎng)絡(luò)連接部件:包括主機總線適配卡,、驅(qū)動程序、光纜,、集線器,、交換機、光纖通道和SCSI間的橋接器
3)應(yīng)用和管理軟件:包括備份軟件,、存儲資源管理軟件和存儲設(shè)備管理軟件,。
磁盤陣列系統(tǒng)介紹
由于數(shù)據(jù)存儲量的增長,單塊磁盤設(shè)備不能滿足正常的存儲量需求了,,因此引入了磁盤陣列系統(tǒng)這個概念,,常用的磁盤陣列有以下幾個
RAID 0
RAID0是所有磁盤陣列中讀寫性能最好,也是最簡單的實現(xiàn)方式
但它缺點是沒有數(shù)據(jù)冗余及恢復(fù)機制,,它至少需要兩塊盤進行組建,,從而將兩塊磁盤的空量疊加在一起,形成一個新的大的存儲容量磁盤,,由于它的缺點,,當(dāng)其中一塊磁盤損壞,就會造成數(shù)據(jù)丟失無法恢復(fù),,這種陣列可以存儲一些大量的日志數(shù)據(jù)
RAID 1
RAID 1它被稱為鏡像陣列,,因此結(jié)構(gòu)中的磁盤是互為鏡像互備的
此結(jié)構(gòu)最少需要兩塊盤組成,當(dāng)一塊磁盤損壞可以即時恢復(fù)數(shù)據(jù),,它的讀取性能比較好,,存儲的性能較差,因為同一份數(shù)據(jù)需要寫入到兩塊磁盤中
RAID 10 01
RAID10需要四塊盤進行組建,,理論上兩塊盤也可以,,不過沒有任何實際可用的意義
這類結(jié)構(gòu)要求最好磁盤的容量最好一致,否則整個陣列只能識別最小容量的磁盤設(shè)備,,它是獨立工作的兩組RAID1,,然后再組成RAID0這樣的陣列結(jié)構(gòu)
RAID01(或稱之為RAID0+1)
它的結(jié)構(gòu)是先將磁盤組成RAID0,然后再組成多個獨立的RAID1
RAID5
這種結(jié)構(gòu)至少需要三塊磁盤組成
它是基于基偶校驗的原理,它的算法核心是XOR,可以允許損壞一塊磁盤,然后通過這種XOR算法,能很快的完成數(shù)據(jù)的恢復(fù)。
更多精彩內(nèi)容歡迎點擊==>>電子技術(shù)應(yīng)用-AET<<