《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 嵌入式技術(shù) > 業(yè)界動(dòng)態(tài) > 微軟探索基于玻璃的歸檔存儲(chǔ)新方法

微軟探索基于玻璃的歸檔存儲(chǔ)新方法

2023-11-24
來(lái)源:至頂網(wǎng)
關(guān)鍵詞: 微軟 歸檔存儲(chǔ)

根據(jù)一份16頁(yè)文件中做出的詳細(xì)解釋,,微軟希望通過(guò)Silica項(xiàng)目探索在石英玻璃板內(nèi)存儲(chǔ)多層歸檔數(shù)據(jù)的可能性,而且目前距離成熟產(chǎn)品已越來(lái)越近。

微軟對(duì)其玻璃歸檔存儲(chǔ)項(xiàng)目的更新,,已經(jīng)以學(xué)術(shù)論文的形式被提交至第29屆ACM操作系統(tǒng)原理大會(huì)(SOSP 2023)。

其目的是開(kāi)發(fā)一套能夠讀取和寫(xiě)入數(shù)據(jù)的云規(guī)模歸檔介質(zhì)系統(tǒng),。編碼技術(shù)是在方形玻璃板內(nèi)的點(diǎn)上生成具有偏振圖案的區(qū)域,,可由3D坐標(biāo)進(jìn)行定義并分為幾百層。

這些偏振圖案點(diǎn)被稱為“立體像素”(簡(jiǎn)稱體素),,由飛秒激光脈沖所產(chǎn)生,。每個(gè)體素能夠編碼3到4位數(shù)據(jù)。體素首先被并排寫(xiě)入由玻璃板XY平面的2D層內(nèi),,之后再被組織成矩形扇區(qū),,由此在XY平面上形成超10萬(wàn)個(gè)體素二維組,對(duì)應(yīng)約100 KB數(shù)據(jù)容量,。一組3D扇區(qū)則構(gòu)成一條存儲(chǔ)軌,,意味著每塊玻璃板能夠容納幾個(gè)TB的數(shù)據(jù)。

整個(gè)設(shè)計(jì)與Cerebyte技術(shù)頗為相似,,后者同樣使用飛秒激光脈沖在方形玻璃板上的陶瓷涂層中激發(fā)物理變化,。這些變化就是納米級(jí)的孔,類似于高科技版本的打孔卡,。但Cerabyte的孔是作為二維碼的一部分所生成,,而Silica項(xiàng)目中的體素則被放置在存儲(chǔ)軌之上。整塊玻璃板將旋轉(zhuǎn)在平臺(tái)上,,由平臺(tái)的讀寫(xiě)頭設(shè)備(即激光與偏光顯微鏡)從左到右,、自上而下地移動(dòng)操作,。相比之下,Cerabyte的玻璃載體只能向前或向后移動(dòng),,且僅可容納單層介質(zhì),。總之,,Silica項(xiàng)目的玻璃真正成為一種能夠隨機(jī)訪問(wèn)的存儲(chǔ)介質(zhì),。

Cerabyte和微軟都設(shè)想用圖書(shū)庫(kù)機(jī)架的形式來(lái)容納這種數(shù)據(jù)存儲(chǔ)介質(zhì)——在Cerabyte的設(shè)計(jì)中,這些方形玻璃數(shù)據(jù)載體將被容納在一個(gè)個(gè)盒子當(dāng)中,;而在微軟這邊,,玻璃則可以獨(dú)立存在、不必額外借助容器,。庫(kù)內(nèi)有一套機(jī)器人傳輸系統(tǒng),,包含多臺(tái)由獨(dú)立電池供電的機(jī)器人拾取器(穿梭機(jī))。它們就如同一群蜜蜂,,能夠穿越書(shū)庫(kù)機(jī)架間的多乏善可陳水平導(dǎo)軌并垂直上下翻轉(zhuǎn),,輕松完成讀取和寫(xiě)入任務(wù)。微軟將其比作“受最先進(jìn)倉(cāng)庫(kù)機(jī)器人系統(tǒng)啟發(fā)而來(lái)的一組用于數(shù)據(jù)操作的免費(fèi)漫游班車”,。

1.png

微軟Silica項(xiàng)目的庫(kù)內(nèi),,兩臺(tái)獨(dú)立機(jī)器人拾取器正在運(yùn)行。

微軟表示,,“讀取驅(qū)動(dòng)器會(huì)以單向快速Z軸模式掃描扇區(qū),,并對(duì)生成的圖像進(jìn)行解碼處理。不同的讀取驅(qū)動(dòng)器選項(xiàng)對(duì)應(yīng)不同的數(shù)據(jù)吞吐量以及較為均衡的成本和性能,?!?/p>

也就是說(shuō),Silica項(xiàng)目的系統(tǒng)提供多種讀寫(xiě)驅(qū)動(dòng)器選項(xiàng),。

寫(xiě)入機(jī)架與庫(kù)機(jī)架之間還有一個(gè)意向系統(tǒng),,防止玻璃盤片被覆寫(xiě)。與Cerabyte一樣,,Silica項(xiàng)目技術(shù)本質(zhì)上也只能寫(xiě)入一次,,屬于物理WORM系統(tǒng)。微軟表示,,“一旦玻璃介質(zhì)被寫(xiě)入,,機(jī)器人就無(wú)法將玻璃盤再次插入寫(xiě)入設(shè)備?!币簿褪钦f(shuō)在庫(kù)系統(tǒng)層級(jí)上保留實(shí)體氣隙,,單個(gè)玻璃盤片會(huì)被一次性寫(xiě)入并用盡全部容量。

寫(xiě)入驅(qū)動(dòng)器為全機(jī)架大小,,可同時(shí)對(duì)多張盤片進(jìn)行寫(xiě)入,;包含多個(gè)驅(qū)動(dòng)器的讀取驅(qū)動(dòng)器機(jī)架也采用相同設(shè)計(jì),。讀寫(xiě)驅(qū)動(dòng)器機(jī)架都需要配備冷卻、電源和網(wǎng)絡(luò)連接,。

寫(xiě)入的盤片在放入庫(kù)中之前先要接受讀取驗(yàn)證,。也就是說(shuō),新寫(xiě)入的驅(qū)動(dòng)器將由穿梭機(jī)攜帶至讀取驅(qū)動(dòng)器,。微軟在論文中指出,,“為了實(shí)現(xiàn)更高的驅(qū)動(dòng)器執(zhí)行效率,可以在單一讀取驅(qū)動(dòng)器內(nèi)同時(shí)安裝兩塊盤片,;其一接受驗(yàn)證,,其二供客戶讀取,且客戶流量?jī)?yōu)先于驗(yàn)證流量,?!?/p>

從Silica盤片中讀取(掃描)到的體素圖像將通過(guò)機(jī)器學(xué)習(xí)算法被轉(zhuǎn)換為二進(jìn)制數(shù)據(jù),。讀取驅(qū)動(dòng)器在XY平面上尋找相應(yīng)的存儲(chǔ)軌,,之后在Z(深度)方向上通過(guò)單次掃描讀取整個(gè)存儲(chǔ)軌內(nèi)的扇區(qū)。讀取驅(qū)動(dòng)器的吞吐量以30 MBps為倍數(shù)進(jìn)行擴(kuò)展,。

微軟研究人員還分析了Azure歸檔IO模式,,發(fā)現(xiàn)小文件IO(即256 MiB到256 GiB)在實(shí)際應(yīng)用中占主導(dǎo)地位,,而且不同規(guī)模IO在數(shù)據(jù)中心層面的性能差異極大,。也就是說(shuō),“應(yīng)當(dāng)最大限度減少庫(kù)內(nèi)機(jī)械運(yùn)動(dòng)的延遲,,從而實(shí)現(xiàn)最佳性能”,,而Silica庫(kù)應(yīng)可針對(duì)不同的工作負(fù)載模式進(jìn)行定制。

Silica項(xiàng)目的庫(kù)系統(tǒng)使用兩種錯(cuò)誤編碼技術(shù)——LDPC(低密度奇偶校驗(yàn))扇區(qū)間錯(cuò)誤編碼以及網(wǎng)絡(luò)擦除編碼(NC),,包括軌內(nèi),、大規(guī)模組(多軌)及跨盤等多種NC變體。

Silica庫(kù)的讀取性能,、接收讀取請(qǐng)求與庫(kù)讀取/發(fā)送的最后一個(gè)字節(jié)間的延遲,,由第99.9百分位結(jié)果定義,即由尾部完成時(shí)間定義,。微軟假設(shè)“到最后一個(gè)字節(jié)的服務(wù)質(zhì)量目標(biāo)(SLO)為15小時(shí),,即與現(xiàn)有歸檔服務(wù)保持一致?!?/p>

然而,,這里的完成時(shí)間并不包括機(jī)器學(xué)習(xí)算法用于解碼的部分。

微軟在論文中總結(jié)道,,“玻璃介質(zhì)的獨(dú)特屬性,,以及軟件層面全新的云優(yōu)先協(xié)同設(shè)計(jì),,使Silica從根本上獲得了更好的可持續(xù)性,且相較于磁帶存儲(chǔ)顯著降低了數(shù)據(jù)歸檔成本,?!?/p>

評(píng)論

這種基于玻璃的歸檔方案,標(biāo)志著首個(gè)有望取代磁帶歸檔的可靠技術(shù),,而且比DNA存儲(chǔ)更具現(xiàn)實(shí)意義,。微軟和Cerabyte正著力推進(jìn)這項(xiàng)磁帶歸檔替代成果,有望在未來(lái)五年內(nèi)推出可交付產(chǎn)品,。磁帶廠商更應(yīng)該關(guān)注相關(guān)動(dòng)態(tài),,思考如何將其納入自家產(chǎn)品規(guī)劃路線圖。



電子技術(shù)應(yīng)用微店二維碼.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章,、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無(wú)法一一聯(lián)系確認(rèn)版權(quán)者,。如涉及作品內(nèi)容,、版權(quán)和其它問(wèn)題,請(qǐng)及時(shí)通過(guò)電子郵件或電話通知我們,,以便迅速采取適當(dāng)措施,,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118,;郵箱:[email protected],。