4月20日,，Cerebras Systems 公司再次刷新歷史，推出為超級計算機(jī)任務(wù)而打造的第 2 代 Wafer Scale Engine （WSE-2）芯片,。與一代WSE相比,，WSE-2雖然在面積上沒有變化，但卻擁有創(chuàng)紀(jì)錄的 2.6 萬億個晶體管以及 85萬個 AI 優(yōu)化的內(nèi)核,，芯片的所有性能特征,，包括：晶體管數(shù)、內(nèi)核數(shù),、內(nèi)存,、內(nèi)存帶寬和結(jié)構(gòu)帶寬，均比一代增加了一倍以上,。

　　差不多兩年前（2019年8月）,，SeaMicro 創(chuàng)始人安德魯·費(fèi)爾德曼（Andrew Feldman）創(chuàng)辦的 Cerebras  Systems 公司公司，揭開了芯片設(shè)計領(lǐng)域的一場革命,，他們將整片晶圓制成了一個巨大的芯片,。

　　以往的芯片制造流程，是從硅錠切下一片晶圓后在Fab中進(jìn)行加工,，一片晶圓能被切成數(shù)百顆獨(dú)立的芯片,。而這顆名為晶圓級引擎（Wafer Scale Engine，WSE-1）的處理器直接把整片晶圓做成了一顆芯片,，面積與12英寸晶圓所能截取的最大矩形面積一樣——比iPad還大,。

　　不過，這顆芯片的每一塊區(qū)域都能被稱為內(nèi)核,，它們以一種復(fù)雜的方式與其他內(nèi)核相互連接,。互聯(lián)的設(shè)計是為了保持所有內(nèi)核的高速運(yùn)轉(zhuǎn),，以便所有晶體管能夠作為一個整體一起工作,。在 2019 年推出的WSE-1中，Cerebras 融入了 40 萬個內(nèi)核和 1.2萬億個晶體管,，采用的是 16 納米工藝進(jìn)行制造,，可同時專注于AI和HPC（High Performance Computing，高性能計算機(jī)群）工作負(fù)載,。

　　更狠的第二代（WSE-2）來了

　　4月20日,，Cerebras Systems 公司再次刷新歷史,，推出為超級計算機(jī)任務(wù)而打造的第二代 Wafer Scale Engine （WSE-2）芯片。與一代WSE相比,，WSE-2雖然在面積上沒有變化,，但卻擁有創(chuàng)紀(jì)錄的 2.6 萬億個晶體管以及 85萬個 AI 優(yōu)化的內(nèi)核，芯片的所有性能特征,，包括：晶體管數(shù),、內(nèi)核數(shù)、內(nèi)存,、內(nèi)存帶寬和結(jié)構(gòu)帶寬,，均比一代增加了一倍以上。

　　這得益于WSE-2采用基于臺積電（TSMC）的N7工藝（7nm）打造,，使得邏輯電路可以按比例縮小,，并在一定程度上縮小了SRAM，讓新芯片上可以容納更多AI內(nèi)核,。Feldman 說,，有了這樣的先進(jìn)工藝支持，Cerebras 可以在同樣的8*8英寸,，面積約46225mm2的芯片中塞進(jìn)更多的晶體管,。

　　WSE-2與一代對比（圖自：AnanTech）

　　值得注意的是，在功能提升的前提下,，Cerebras還能夠保持其系統(tǒng)功耗不變（23 kW）,。

　　對比市場上第二大AI處理器，英偉達(dá)的Ampere A100面積約為826mm2,，具有0.054萬億個晶體管,。WSE-2比它多了2.55萬億個晶體管；內(nèi)核數(shù)是A100的123倍,；緩存是其1000倍,；可提供的內(nèi)存帶寬，則達(dá)到了A100的13萬倍,。

　　Cerebras還引用了1000倍的板載內(nèi)存,，帶有40 GB的SRAM，而Ampere A100則為40 MB,。

　　最初推出WSE-1的時候,，很多人擔(dān)心這么大的晶圓做芯片，萬一其中一塊不良,，是否整個報廢,？對此Cerebras解釋說，他們通過設(shè)計一種可以繞開任何制造缺陷的系統(tǒng)來實現(xiàn)100％的良率,，核心與帶有FMAC數(shù)據(jù)路徑的2D Mesh連接

　　Cerebras在WSE-1用了1.5％的額外核心來容納缺陷,，但由于臺積電工藝的提升，這個數(shù)值被進(jìn)一步縮小了,。

　　晶圓級引擎存在的意義

　　WSE的出現(xiàn),，是因為訓(xùn)練神經(jīng)網(wǎng)絡(luò)需要花費(fèi)較多的時間，即便是當(dāng)今最先進(jìn)的模型,，也需要幾天或幾周的時間進(jìn)行訓(xùn)練,，大型網(wǎng)絡(luò)則需要數(shù)周。通常做法是在數(shù)十,、數(shù)百甚至數(shù)千個GPU上進(jìn)行分布式訓(xùn)練,，以使訓(xùn)練時間更可控。

　　其中最大的瓶頸,，是這些龐大的處理器集群很難編程,，而且數(shù)據(jù)必須在處理器和外部 DRAM 存儲器之間進(jìn)行多次傳輸，既浪費(fèi)時間又消耗能源,。所以WSE研發(fā)團(tuán)隊的初衷是擴(kuò)大芯片,，使它與 AI 處理器內(nèi)核一起容納所需的所有數(shù)據(jù)，一個CS-2的性能相當(dāng)于整個GPU集群的性能,，同時具有單個設(shè)備的簡單性……

　　其設(shè)計的關(guān)鍵是自定圖形編譯器,，采用pyTorch或TensorFlow將每一層映射到芯片的物理部分，從而允許在數(shù)據(jù)流過時進(jìn)行異步計算,。擁有如此大的處理器意味著數(shù)據(jù)永遠(yuǎn)不會掉隊,，也不需要在內(nèi)存中等待，不浪費(fèi)功率,，并且可以以流水線的方式連續(xù)地移至計算的下一個階段,。編譯器和處理器的設(shè)計還考慮到了稀疏性，無論批處理大小如何都可以實現(xiàn)高利用率,，或者可以使參數(shù)搜索算法同時運(yùn)行,。

　　Cerebras設(shè)計的獨(dú)特性，讓它能夠超越制造過程中出現(xiàn)的常見物理限制,，即標(biāo)線限制,。處理器的設(shè)計限制，往往取決于芯片的最大尺寸,，因為很難通過Cross link連接兩個區(qū)域,。這是Cerebras的殺手锏之一，該公司仍然是唯一一家能提供這種規(guī)模處理器的公司,。

　　在Hot Chips 2020,，該公司首席硬件架構(gòu)師Sean Lie表示，Cerebras對客戶的主要好處之一是能夠簡化工作負(fù)載,，以前需要使用GPU / TPU機(jī)架的工作,，現(xiàn)在可以以計算相關(guān)的方式在單個WSE上運(yùn)行,。

　　產(chǎn)品和合作伙伴

　　Cerebras的第一代WSE作為CS-1的完整系統(tǒng)的一部分一起打包出售，不少實驗室與計算機(jī)中心已經(jīng)部署了Cerebras WSE和CS-1,。

　　愛丁堡大學(xué)的超級計算中心,，利用WSE進(jìn)行自然語言處理、基因組學(xué)和COVID-19的相關(guān)研究,。

　　在美國阿貢國家實驗室（ANL）,，WSE被用于COVID-19研究、重力波檢測和材料發(fā)現(xiàn)等,；并且在癌癥療法研究中,，使癌癥模型的實驗周轉(zhuǎn)時間，減少了300倍以上,。

　　制藥企業(yè)葛蘭素史克的高級副總裁金·布蘭森表示：“其增加了生成的編碼器模型的復(fù)雜性,，同時將訓(xùn)練時間減少了80倍?！?/p>

　　Lawrence Livermore將一臺CS-1與其23 PFLOP“拉森”超級計算機(jī)配對,。匹茲堡超級計算機(jī)中心以500萬美元的價格購買了兩個系統(tǒng)，并將這些系統(tǒng)連接到他們的Neocortex超級計算機(jī)上,，以實現(xiàn)同步AI和增強(qiáng)的計算能力,。

　　對于WSE-2的應(yīng)用，國際調(diào)研公司Tirias Research首席分析師Jim McGregor認(rèn)為：“顯然,，對用于大型數(shù)據(jù)集的Cerebras晶圓級解決方案,，有些公司和實體很感興趣。但是在企業(yè)層面,，還有數(shù)百萬的其他AI應(yīng)用,，以及一些Cerebras不能處理的情況，這就是英偉達(dá)擁有SuprPod和Selene超級計算機(jī)的原因,。與英偉達(dá)相比,，Cerebras更像是一個小眾平臺，二者的廣度無法相提并論,?！?/p>

　　目前Cerebras在多倫多、圣地亞哥,、東京和舊金山擁有約300名員工,。該公司首席執(zhí)行官安德魯·費(fèi)爾德曼（Andrew Feldman）表示，作為一家公司,，他們已經(jīng)實現(xiàn)了盈利,，已經(jīng)部署了CS-1的客戶很多，并且在啟動商業(yè)系統(tǒng)時已經(jīng)有更多的客戶在遠(yuǎn)程試用CS-2,。

　　除了AI之外,，由于芯片的靈活性使流體動力學(xué)和其他計算仿真成為可能,，因此Cerebras在典型的商業(yè)高性能計算市場（例如石油、天然氣和基因組學(xué)）中吸引了很多客戶,。

　　CS-2的部署將于今年晚些時候的第三季度開始,，價格已從2-3百萬美元升至“幾百萬”美元。