國家計算機(jī)質(zhì)檢中心陽小珊：論閃存的質(zhì)量特性及測試與評價技術(shù)

目前，對閃存產(chǎn)品的測試和評價技術(shù)指標(biāo)主要從功能,、性能,、可靠性、易用性等方面進(jìn)行多維度綜合測評,，而不同的產(chǎn)品形態(tài),，測評的技術(shù)指標(biāo)不一定相同。閃存作為行業(yè)高度認(rèn)可的未來存儲介質(zhì),，其質(zhì)量如何保障,，是大家都需要考慮的問題，生產(chǎn)高質(zhì)量的國產(chǎn)閃存產(chǎn)品始終離不開嚴(yán)格的測試和標(biāo)準(zhǔn)的制定,。

—— 國家計算機(jī)質(zhì)檢中心存儲測評實驗室主任陽小珊

本文記錄陽小珊在2018全球存儲半導(dǎo)體大會暨全球閃存技術(shù)峰會上的演講實錄,，主題：《閃存的質(zhì)量特性及測試與評價技術(shù)》。陽小珊分別從對當(dāng)前閃存市場的產(chǎn)品質(zhì)量,、產(chǎn)業(yè)發(fā)展?fàn)顩r以及有關(guān)閃存的測試與評價內(nèi)容進(jìn)行了深入分析,。

以下為演講實錄：

我的演講首先涉及到閃存產(chǎn)品的質(zhì)量,。作為用戶和普通第二方、第三方怎么評價這個產(chǎn)品是非常關(guān)鍵的,，所以題目重點是閃存質(zhì)量特性及測試評價,。主要從這幾個方面來講，第一是質(zhì)量與產(chǎn)業(yè)鏈的關(guān)系,，第二是閃存及測試現(xiàn)狀,，主要是國內(nèi)現(xiàn)狀，第三是閃存的質(zhì)量特性,，從多個方面評價產(chǎn)品,，第四是測試與評價。這個題目原來是在設(shè)計的時候后面加了技術(shù),，因為涉及到我講的面比較廣,，所以不需要深入講測評技術(shù)。

第一個方面是質(zhì)量內(nèi)容,，首先重點講一下質(zhì)量和國家發(fā)展的關(guān)系,。質(zhì)量，進(jìn)入二十一世紀(jì)以來,，行業(yè)和國家都非常關(guān)注質(zhì)量的內(nèi)容,。作為國家級戰(zhàn)略，這部分已經(jīng)寫入十九大報告,。質(zhì)量報告包括四方面的內(nèi)容,，第一是產(chǎn)品質(zhì)量是堅石的基礎(chǔ)，也就是說芯片,，包括上面的應(yīng)用產(chǎn)品是我們的重點,。然后是質(zhì)量保障、質(zhì)量提升和質(zhì)量監(jiān)管,，關(guān)于第四部分質(zhì)量監(jiān)管目前是國內(nèi)改革的重點,，行政許可基本放權(quán)，測試和評價是后面重要的監(jiān)管手段,，事前事中事后,，通過后面的質(zhì)量監(jiān)管體現(xiàn)服務(wù)質(zhì)量。

測試和質(zhì)量的關(guān)系,，談到質(zhì)量肯定離不開測試，測試對我們的技術(shù)研究,、產(chǎn)品設(shè)計,、產(chǎn)品制造和產(chǎn)品應(yīng)用都是非常關(guān)鍵的，對我們最終的用戶來說,，產(chǎn)品的應(yīng)用非常關(guān)鍵,，所以里面涉及到不同的測試方案都不一樣,，是整個產(chǎn)業(yè)生態(tài)鏈中不可缺失的重要環(huán)節(jié)。測試在我們企業(yè)產(chǎn)品生產(chǎn)過程中是重要的保障手段,，也是發(fā)現(xiàn)產(chǎn)品問題,、提升產(chǎn)品質(zhì)量的重要手段。測試需求我們都知道,，測試不僅僅說普通的用戶需要,，第一方需要，第二方需要,，第三方也需要,，第三方就是我們目前主要做的工作，做質(zhì)量鑒定,、認(rèn)可,、發(fā)證這些方面的工作。

談到質(zhì)量離不開標(biāo)準(zhǔn),，標(biāo)準(zhǔn)在產(chǎn)業(yè)發(fā)展中的地位不可動搖,，具體表現(xiàn)在支撐性、戰(zhàn)略性和基礎(chǔ)性,。標(biāo)準(zhǔn)是保證產(chǎn)品質(zhì)量的重要依據(jù),，也是調(diào)整產(chǎn)業(yè)結(jié)構(gòu)的杠桿，更是科技成果轉(zhuǎn)化的橋梁,。技術(shù)形成以后怎么才能形成產(chǎn)業(yè)標(biāo)準(zhǔn)指導(dǎo)產(chǎn)業(yè)發(fā)展是非常重要的,，只要標(biāo)準(zhǔn)化出來引導(dǎo)標(biāo)準(zhǔn)。尤其是現(xiàn)在很火的5G,，誰能引導(dǎo)標(biāo)準(zhǔn),，這在國際上的競爭是非常重要的。

存儲產(chǎn)品對整個信息化發(fā)展具有非常重大的促進(jìn)作用,，是基礎(chǔ)產(chǎn)品,。目前物聯(lián)網(wǎng)、大數(shù)據(jù)需求很旺,，但是我們國內(nèi)的情況不是太樂觀,，起步比較晚，技術(shù)比較低,，知識產(chǎn)權(quán)相對比較少,，缺少關(guān)鍵的核心技術(shù)。閃存作為未來發(fā)展的重要存儲設(shè)備,，它的地位不可動搖,。整個行業(yè)怎么把質(zhì)量提升上來，如何保證用戶的使用,，是大家都需要共同考慮的問題,。

下面我講一下測試的現(xiàn)狀,。既然講到測試的話，需要有標(biāo)準(zhǔn)和方法,，要明確產(chǎn)品的類型,，我這里講閃存測試是針對閃存的相關(guān)產(chǎn)品。在行業(yè)里面目前分了幾大產(chǎn)品類型,，第一是閃存卡,，我們經(jīng)常用到，也是比較成熟的,。第二是固態(tài)盤,，閃存盤也歸在里面，產(chǎn)品不一樣,，標(biāo)準(zhǔn)方法也不一樣,。第三是閃存陣列，這是對特殊應(yīng)用來說的,，包括混合陣列和全閃陣列等等,。第四是閃存系統(tǒng)，就是上層的應(yīng)用產(chǎn)品,，包括具有閃存的軟硬件系統(tǒng),，像固態(tài)盤、閃存介質(zhì),、閃存文件管理系統(tǒng)等方面的內(nèi)容,。

還有非常關(guān)鍵的測試跟產(chǎn)業(yè)鏈的關(guān)系，剛才簡單講了,。測試其實是廣泛和深入的學(xué)科,，里面涉及到的東西很多，第一是評測指標(biāo)體系,。剛才陳教授講可靠性的話,，可靠性其實是非常廣泛和深入的評價體系和指標(biāo)體系，對應(yīng)的方法和標(biāo)準(zhǔn),、服務(wù)測試都不一樣,，里面的內(nèi)容很多。測試體系大的三個方面去研究,，第一是測評指標(biāo)體系,，先要測試它，這個產(chǎn)品的質(zhì)量要做評價指標(biāo)體系,。第二是針對不同產(chǎn)品和不同指標(biāo)設(shè)計相關(guān)方面,，研制相關(guān)標(biāo)準(zhǔn)。最后是相關(guān)的測試工具進(jìn)行測評服務(wù)，所以涉及到整個產(chǎn)業(yè)鏈里面的關(guān)鍵技術(shù)研究,。在新技術(shù)研究的時候，都需要這些指標(biāo)和方法去驗證,，包括測試儀器和工具,。產(chǎn)品模型設(shè)計，產(chǎn)品生產(chǎn)制造是比較關(guān)鍵的,，會涉及到定型檢測,、出廠檢測，這是軟件間的提升,，再就是生產(chǎn)和應(yīng)用的表現(xiàn),。

接下來講閃存國內(nèi)的測評需求，針對國內(nèi)產(chǎn)品類型的分類,，我通過多年的測試情況整理了一些測試分類,。第一個是市場上的需求，目前民用測試需求很廣,，在市場上作為第三方經(jīng)常幫助用戶買存儲設(shè)備,，閃存卡、閃存盤,，容量不夠,、性能出問題、可靠性出問題的鑒定檢測,。第二是消費者協(xié)會威權(quán)檢測,，國內(nèi)有12315質(zhì)量協(xié)會。第三是政府的采購,，重點是對專業(yè)領(lǐng)域大的存儲系統(tǒng)購買,。隨著閃存產(chǎn)品的成熟，海量級閃存產(chǎn)品替代作為政府關(guān)鍵采購設(shè)備,，有些替代傳統(tǒng)滿足性能,，可靠性功能等各方面的需求。我們中心作為國家機(jī)關(guān)政府采購指定單位,，每年承擔(dān)很多方面的測評工作,。我們目前也遇到了很多瓶頸，因為產(chǎn)品剛成熟,，相關(guān)方法標(biāo)準(zhǔn)和工具都比較缺失,。另外是部隊，部隊是特殊行業(yè)軍用的,，比如說航空閃存產(chǎn)品最多,，考慮到重量、抗震和特殊的溫度環(huán)境,，是非常關(guān)鍵的領(lǐng)域,。隨著閃存跟國內(nèi)存儲企業(yè)發(fā)展成熟,，去年我負(fù)責(zé)全軍首次自主光存儲設(shè)備測試與評價工作，基本上國內(nèi)存儲設(shè)備企業(yè)都參與其中,。還有一些民用的測試,，包括學(xué)校存儲方面科研成果的鑒定檢測，還有863項目或者科研項目的驗收,，都是我們存儲的測評需求,。

這是中央政府采購網(wǎng)的大型系統(tǒng)測試和評價，里面有很多,，這只是簡單的舉例,。這是去年首次做的自主存儲設(shè)備測試評估與規(guī)范，包括測試與評價,。測試就是用具體的技術(shù)手段,，去測性能指標(biāo)有沒有達(dá)到具體的要求。評價就是看是什么級別,，跟別的相差多少,，這樣的話才有總體的認(rèn)可。對于普通用戶或者使用者來說,，根本就不需要了解那么深入的證書,，通過這個結(jié)果就知道產(chǎn)品的質(zhì)量問題。

閃存產(chǎn)品的測試現(xiàn)狀,，測試方面國內(nèi)跟國外可能不一樣,，今天來了IOL實驗室的專家，國際上是自主型的組織,，相關(guān)企業(yè)如果通過了驗證,，兼容性或者性能可以做一些比較。國內(nèi)重點是國家認(rèn)監(jiān)委和認(rèn)可委管理,，標(biāo)準(zhǔn)化和專業(yè)化比較強(qiáng),，管控國內(nèi)六七千家實驗室。里面測試需要具備的東西非常關(guān)鍵,，人,、機(jī)、料,、法,、環(huán)是主要的因素，但是閃存領(lǐng)域相關(guān)產(chǎn)品測試還是不太樂觀,。首先是測試人員非常稀缺,，包括華中科技大學(xué)出來的學(xué)生做測試非常少，在企業(yè)里面做測試的也非常少。如果在企業(yè)里面可能做得不太專業(yè),，不太全面,。再就是機(jī)器，目前的情況重點是國外開元軟件工具或者存貯設(shè)備,，對閃存的測試工具和設(shè)備不是太完善,。如果有相關(guān)專業(yè)底層設(shè)備包括芯片的話，那是非常昂貴的,。方法就是相關(guān)標(biāo)準(zhǔn)和技術(shù)方法沒有完成，有些部分還不健全,。環(huán)境的話就是實驗室服務(wù)平臺沒有建起來,，國內(nèi)好多企業(yè)的產(chǎn)品做出來，可能還需要送到國外去測試,。

說到質(zhì)量離不開標(biāo)準(zhǔn)化,，標(biāo)準(zhǔn)化就是相關(guān)標(biāo)準(zhǔn)規(guī)范。我們做了相關(guān)的跟蹤和研究,，國外有部分測試方法,，像耐久性測試、擴(kuò)展,，還有性能測試規(guī)范,。國內(nèi)也做了一些成果，我們跟著行業(yè)做了一些標(biāo)準(zhǔn),。2010年華中科技大學(xué)聯(lián)合我們一起做了移動存儲閃存盤的通用規(guī)范,，當(dāng)時是針對USB的產(chǎn)品規(guī)范。這兩年有兩個行標(biāo),，第一個是磁盤陣列通用規(guī)范,，還有固態(tài)盤的通用規(guī)范。國標(biāo)的話是和存儲聯(lián)盟一起推了盤陣列通用規(guī)范,，盤陣列包括閃存陣列和磁盤陣列,。另外是今年剛發(fā)布也是我主導(dǎo)編寫的固體盤測試方法，2019年1月1日實施,，涉及到性能,、功能、可靠性,、數(shù)據(jù)保持持久性等內(nèi)容,。

半導(dǎo)體相關(guān)方面的測試標(biāo)準(zhǔn)，快閃存儲器也是國標(biāo),，還有非易失性存儲器耐久和數(shù)據(jù)保持,，這幾個標(biāo)準(zhǔn)都是國內(nèi)今年發(fā)布的，半導(dǎo)體芯片產(chǎn)品一系列標(biāo)準(zhǔn)。還有其他方面團(tuán)體標(biāo)準(zhǔn),，國內(nèi)有中國存儲產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟,，我們是聯(lián)盟的指導(dǎo)單位，我也在主導(dǎo)做分布式全閃存存儲系統(tǒng)測試規(guī)范,，整個體系標(biāo)準(zhǔn)規(guī)范研制過程中,。部隊里面也在做閃存盤、固態(tài)盤,、存儲設(shè)備等相關(guān)測試標(biāo)準(zhǔn),，這是國內(nèi)的測試現(xiàn)狀。

第三個內(nèi)容,，講講閃存產(chǎn)品的質(zhì)量特性,。閃存產(chǎn)品的質(zhì)量特性，其他的產(chǎn)品信息是一樣的,，質(zhì)量關(guān)鍵是滿足需求,，一般都要給予用戶需求去考慮。這些要求的話,，定性的不太好評價,，一定要有相應(yīng)的考核指標(biāo)，怎么樣評價和檢驗考核需要一定的質(zhì)量特性,，質(zhì)量特性下面就轉(zhuǎn)化為我們的技術(shù)指標(biāo),。質(zhì)量特性就是指產(chǎn)品過程或者體系相關(guān)的要求，對閃存產(chǎn)品的測試評價技術(shù),，我們做了總結(jié)和分類,，第一個是功能、性能,、可靠性,、易用性方面，多維度的綜合評測,。我下面列了比較全面的測評體系,，需要注意不同產(chǎn)品測評技術(shù)和指標(biāo)是不一樣的，像閃存陣列要評價橫向和縱向的擴(kuò)展性,，所以要考慮適用性的問題,。

我們整理了一下，針對產(chǎn)品級別來說測評指標(biāo)體系的需求,，第一個是功能,，根據(jù)用戶的需求，剛才第二節(jié)評測是質(zhì)量特性,，第三節(jié)叫做技術(shù)指標(biāo),。第二個是適用性,，功能里面通訊協(xié)議怎么支持，數(shù)據(jù)加解密有沒有功能,，實現(xiàn)得怎么樣,，掉電保護(hù)功能有沒有實現(xiàn)，數(shù)據(jù)有沒有銷毀功能,，都是根據(jù)功能的實現(xiàn),，實現(xiàn)了功能就要考慮性能，讀寫速率,、數(shù)據(jù)傳輸率,，在產(chǎn)品測試?yán)锩嬷攸c講的是與時間特性相關(guān)表現(xiàn)，一般都是帶上時間的質(zhì)量特性,，標(biāo)準(zhǔn)方面的東西,。第三個是可靠性，剛才有提到技術(shù)指標(biāo),，容錯性、數(shù)據(jù)保存時效,、出錯率都是可靠性的子指標(biāo),。還有可用性，產(chǎn)品展示宣傳手冊經(jīng)?？吹娇煽啃远嗌?,，可用性多少個9，其實這是沒有標(biāo)準(zhǔn)和規(guī)范,，是不統(tǒng)一的表現(xiàn),。在規(guī)范化研究里面，多少個9是放在可用性的,，多長時間里面容忍多久的宕機(jī)或者停機(jī)服務(wù),。另外還有兼容性，第一個是硬件的兼容,，第二個是軟件的兼容,。還有比較關(guān)鍵的信息安全性，它是大的學(xué)科和領(lǐng)域,，重點講的是物理安全和邏輯安全,。網(wǎng)絡(luò)通訊網(wǎng)絡(luò)信息安全，網(wǎng)絡(luò)空間安全不算產(chǎn)品質(zhì)量的特性,。環(huán)境適應(yīng)性,，氣侯適應(yīng)、機(jī)械環(huán)境這些非常關(guān)鍵,，在應(yīng)用領(lǐng)域像產(chǎn)品涉及到高低溫情況,，電源適應(yīng)也是非常關(guān)鍵的指標(biāo),，還有相關(guān)功耗等，簡單帶過一下,。

具體講測試與評價,，不講技術(shù)了，非常關(guān)鍵的指標(biāo)就是容量,，我們買到的容量和企業(yè)產(chǎn)品標(biāo)注的容量可能不一樣,，有的標(biāo)注容量多少個G，實際用的沒有那么多,。對用戶來說相信哪個,，G大B、G小B,，都需要行業(yè)的標(biāo)準(zhǔn)和規(guī)范,。還有掉電保護(hù)，掉電保護(hù)是一項功能,，對用戶是可靠性的手段,，包括單盤掉電和盤陣掉電。另外還有接口,、通訊協(xié)議,、數(shù)據(jù)加解密都是我們平常用到的。性能方面,，性能一定要注意一個問題,，所有的產(chǎn)品宣傳冊單獨只講結(jié)果的，行業(yè)里面有個笑話,，不說應(yīng)用場景的都叫耍流氓,，一定要明確測試環(huán)境，是大IO還是小IO,，這樣才有可比性和參考性,，不同產(chǎn)品性能需求不一樣。

可靠性,，剛才講過了,，容錯性需要我們重點注意，在測試當(dāng)中主要的測試方法就是故障注入測試,，通過斷電,、硬件故障、軟件故障,，通過這些綜合性的方法檢測產(chǎn)品可靠性,。

保存時效，通過測試的話,，我們設(shè)計的條件比較嚴(yán)苛,，要經(jīng)過不同環(huán)境的測試,。還有MTBF，有的產(chǎn)品標(biāo)稱幾百萬MTBF,，按說這個東西是比較難實現(xiàn)的,，一般是理論和實際結(jié)合起來才可以出平均無故障間隔時間。下面還有插拔和開關(guān)測試,。

可用性,，對用戶來說能不能提供服務(wù)，這是非常關(guān)鍵的,，跟可靠性經(jīng)常是混著用,。故障的修復(fù)時間，存儲系統(tǒng)出了故障以后多久修復(fù)是用戶能接受的,，我們提了ITO技術(shù)指標(biāo),。數(shù)據(jù)重構(gòu)時間、業(yè)務(wù)切換接管時間非常關(guān)鍵,，不同業(yè)務(wù)需求注重的指標(biāo)不一樣,。另外是我們說的多少個9。

兼容性,，要考慮道不同的東西,，接口、部件,、整體,，部件涉及到內(nèi)存,、硬盤和板卡,，軟件的話有驅(qū)動、協(xié)議,、操作系統(tǒng)等,。

信息安全是大家關(guān)注的重要內(nèi)容，這里面講的信息安全要規(guī)避網(wǎng)絡(luò)安全,。我們現(xiàn)在講物理安全,，特殊設(shè)備講可信的物理空間,，安全環(huán)境有沒有涉秘空間，有沒有防拆裝,。另外是安全保護(hù)裝置,，盤陣可靠性提供，有沒有非易時性緩存,，是BBU實現(xiàn)的還是UPS實現(xiàn)的,，實現(xiàn)的能力有多強(qiáng),，這些是具體的技術(shù)指標(biāo)。軟件包括檢錯能力,。還要講究邏輯安全,，通過軟硬件手段實現(xiàn)傳輸和存儲安全，重點是保障數(shù)據(jù)的完整性,、防篡改和機(jī)密性,。

下面是環(huán)境適應(yīng)性的技術(shù)要求，大部分標(biāo)準(zhǔn)是國標(biāo),，還有強(qiáng)制性標(biāo)準(zhǔn),，是必須要滿足的要求，尤其是信息與設(shè)備,，包括氣侯環(huán)境和機(jī)械環(huán)境,。工作溫度和存儲溫度，機(jī)械環(huán)境也很多,，振動沖擊,、碰撞跌落。電磁兼容涉及到人身安全的重要領(lǐng)域,，重點依據(jù)標(biāo)準(zhǔn)是國標(biāo)9254,，它是強(qiáng)制標(biāo)準(zhǔn)，生產(chǎn)相關(guān)設(shè)備的話取得3C許可證才可以銷售,，無線電騷擾,、抗擾度、防靜電等,。電源適應(yīng)性也是很重要的要求,，重點從人身安全考慮的內(nèi)容，有一般要求,、接觸電,、抗電和安全的保護(hù)功能。另外是功耗,，在我們的行標(biāo)里面提了產(chǎn)品的動態(tài)功耗和靜態(tài)功耗,，存儲器SPC也提了功耗怎么測法。

這就是我介紹的整體內(nèi)容,，希望產(chǎn)學(xué)研用各單位一起將測評體系進(jìn)一步完善,。國內(nèi)對測試不是太重視，但是隨著質(zhì)量強(qiáng)國,，希望不要有外國月亮比中國圓的情況,，一起保證國內(nèi)生產(chǎn)出有競爭力高質(zhì)量的閃存產(chǎn)品，這是我們的希望,。謝謝各位聆聽,。