隨著人工智能等高性能計算應(yīng)用的持續(xù)火熱,，這些方向也成為了半導(dǎo)體芯片行業(yè)發(fā)展最重要的驅(qū)動力之一。本屆Hotchips的亮點無疑是支持這些應(yīng)用方向的芯片,，尤其是應(yīng)用于邊緣和數(shù)據(jù)中心的這類高性能計算賦能芯片,。在本屆Hotchips共兩天七個主題議程中,，約有一半的相關(guān)論文和這些高性能計算有關(guān)，涵蓋了GPGPU,、機器學(xué)習(xí)加速,、ADAS和高性能網(wǎng)絡(luò)開關(guān)等領(lǐng)域，而這些相關(guān)論文都來自Nvidia,、AMD,、Intel、Tesla等業(yè)界最頂尖的芯片公司,，論文內(nèi)容則是關(guān)于公司最新芯片的關(guān)鍵技術(shù),。這些賦能云端高性能計算的芯片有一個共同的特點，就是規(guī)模越做越大,，而本屆Hotchips中我們也可以看到芯片設(shè)計行業(yè)正在使用全新的工具來確保芯片規(guī)模的繼續(xù)上升,，而這些工具就是芯片粒/高級封裝以及芯片-軟件協(xié)同設(shè)計。如果說基于IP復(fù)用的SoC理念創(chuàng)造了上一代大規(guī)模集成芯片的蓬勃發(fā)展的話,，那么芯片粒和軟件協(xié)同設(shè)計將會成為芯片突破集成度瓶頸并進一步提升芯片功能和晶體管規(guī)模的下一代支柱,。

　　芯片粒是未來高性能芯片的支柱

　　隨著高性能計算對于芯片性能（包括算力、互聯(lián)和內(nèi)存接口）的需求持續(xù)上升,，整個芯片系統(tǒng)的晶體管規(guī)模和設(shè)計復(fù)雜度也在相應(yīng)提升,。這樣的性能需求上升是指數(shù)級的：以Nvidia的GPU算力為例，一般的規(guī)律是每一代（兩年）GPU的性能相對于上一代提升兩到三倍,。為了應(yīng)對指數(shù)級上升的性能需求,，芯片系統(tǒng)必須要從兩個方面實現(xiàn)不斷提升，其一是單芯片的性能,，其二是可擴展性,。單芯片的性能提升約等于在芯片中加入更多的晶體管，其主要挑戰(zhàn)在于如何提升良率和降低成本,，因為芯片的良率隨著晶體管數(shù)量提升（即芯片面積上升）而快速下降,，單純堆積晶體管的做法會導(dǎo)致良率低到無法接受。除此之外,，還需要確保芯片系統(tǒng)設(shè)計是可擴展的,，即可以把多個單元芯片協(xié)同工作以進一步提升性能?？蓞f(xié)同性的主要挑戰(zhàn)在于IO帶寬,，如果IO成為瓶頸的話，那么多個單元芯片協(xié)同工作的性能并不會比單元芯片強很多,。

　　為了解決良率和可擴展性的問題,，芯片粒加高級封裝技術(shù)就成為了目前芯片廠商普遍的答案。在這樣的方案中,，首先不再追求每個單元芯片的集成度,，而是把單元芯片做成面積較小的芯片粒，這樣芯片粒的良率會遠遠高于大芯片,。同時,，將多個芯片粒用高級封裝的技術(shù)集成到一起來實現(xiàn)大規(guī)模芯片系統(tǒng)，由于高級封裝技術(shù)同時提供了大帶寬的高性能互聯(lián),，這樣就就解決了可擴展性問題,。

　　在本屆Hotchips上,，我們可以看到芯片粒加高級封裝已經(jīng)成為了高性能計算的主流解決方案。Intel的Ponte Vecchio是本屆Hotchips的一大亮點：Ponte Vecchio是Intel的下一代GPU架構(gòu),，其設(shè)計中使用了大規(guī)模芯片粒和高級封裝技術(shù),，而在本次Hotchips上Intel公布了Ponte Vecchio的最新架構(gòu)細節(jié)和相關(guān)數(shù)據(jù)。在Ponte Vecchio中,，會有多個Xe 核心使用高級封裝（EMIB）的方式組成compute tile,，而L2 Cache則有相應(yīng)的一個芯片粒（稱為Cambo cache tile），并且和compute tile集成到一起,。而除此之外,，還有HMB和用于芯片間互聯(lián)的Xe Link芯片粒，這些芯片粒組成了整個Ponte Vecchio系統(tǒng),。由于使用芯片粒的方式,，我們看到Intel可以在良率可控的情況下加入大量的Xe核和海量緩存（cache）：整個Ponte Vecchio包括了128個Xe核，64MB的register file,，64MB的L1 cache和408MB的L2 cache,。整個Ponte Vecchio系統(tǒng)可以實現(xiàn)839 TFLOPS的峰值浮點數(shù)算力以及1678 TOPS的峰值整數(shù)算力，在實現(xiàn)如此高算力的超大規(guī)模芯片系統(tǒng)中,，芯片粒和高級封裝技術(shù)可謂是居功至偉,。

　　在Intel的Ponte Vecchio之外，Tesla也公布了其用于人工智能模型訓(xùn)練的Dojo芯片,。在Dojo芯片系統(tǒng)中,，其基本的計算chiplet是D1，每個D1包括了362TFlops算力和440MB SRAM,，同時每個Dojo則包含了25個這樣的D1芯片粒以及40個專用的IO芯片粒,，使用TSMC的system-on-wafer技術(shù)集成到一起，從而實現(xiàn)超大算力支持,。

　　在Intel和Tesla之外,，AMD在本屆Hotchips上也帶來了其MI200系列高算力GPU加速芯片，這也是全球第一個使用芯片粒技術(shù)的GPU,。AMD將兩塊芯片粒封裝在一起,，同時使用400GB/s的高帶寬封裝內(nèi)互聯(lián)確保不同的芯片粒之間能高效互聯(lián)，每個芯片系統(tǒng)包含了580億個晶體管,，使用TSMC 6nm制造,。MI200是AMD在GPGPU領(lǐng)域的重要布局，我們從中看到芯片粒也起了至關(guān)重要的作用,，而在其下一代MI300 GPGPU目前公布的信息來看,，AMD將會進一步加強芯片粒和高級封裝技術(shù)的作用，從而實現(xiàn)更大規(guī)模和更高性能的芯片系統(tǒng)。

　　芯片和軟件協(xié)同設(shè)計將成為主流

　　在芯片粒之外,，另一個值得我們關(guān)注的動向是芯片和軟件協(xié)同設(shè)計,。如前所述，芯片系統(tǒng)的規(guī)模正在越來越大,，模塊越來越多,，功能越來越復(fù)雜，如果沒有一個好的軟件系統(tǒng)和生態(tài)的話,，具體的應(yīng)用很難充分利用芯片提供的性能，從而看到的就是實際應(yīng)用中的實際性能和芯片的峰值性能相差甚遠,。更進一步,，隨著人工智能這類算法驅(qū)動類應(yīng)用的火熱，如何結(jié)合算法來做芯片的優(yōu)化和設(shè)計也是進一步提升芯片性能的重要方法之一,。而我們在本屆Hotchips上也確實看到了軟件和算法相關(guān)優(yōu)化成為了廠商在演講內(nèi)容中的重點,。

　　Intel在本屆Hotchips上的Ponte Vecchio演講中，一個重點就是其OneAPI軟件接口以及DPC++工具,。OneAPI使用一個API來支持不同的底層硬件,，從而理想的情況下無需修改應(yīng)用的軟件代碼，只需要在OneAPI中直接指定相應(yīng)的后端執(zhí)行硬件就可以,。OneAPI計劃會支持至少Intel的CPU和GPU,，可望大大減少應(yīng)用所需要的軟件工作。另一方面,，DPC++則是Intel對于目前CUDA生態(tài)的回應(yīng),，使用DPC++可以將已有的為CUDA編寫的程序直接移植到Intel的GPU上，這樣就大大增加了Intel生態(tài)的吸引力,。

　　軟件在Tesla的Dojo芯片中也起到了至關(guān)重要的作用,。如前所述，Dojo的設(shè)計牽涉到大量的compute tile,，如何在不同的compute tile之間分配任務(wù)就成了決定整體系統(tǒng)性能的關(guān)鍵,；除此之外，如何在不同的Dojo芯片之間分配任務(wù)也決定了整體系統(tǒng)的可擴展性,。在Tesla的解決方案中,，編譯器軟件將會確保將模型并行化處理并且加載到不同的compute tile中，同時盡量保證模型需要的數(shù)據(jù)都能裝入片上SRAM中以保證性能降低對外部DRAM的依賴,。除了編譯器之外,，Tesla在軟件-芯片協(xié)同設(shè)計中另一個值得一提的是使用了獨特的數(shù)值表示方式，在常見的FP16和BFP16之外還支持自研的CFP8和CFP16格式的數(shù)值表示方式并且在芯片中做了相應(yīng)支持,。根據(jù)Tesla公布的材料使用CFP8和CFP16可以獲得更好的模型訓(xùn)練效果,，而這也是軟件-芯片協(xié)同設(shè)計的很好例子。

　　在Intel和Tesla之外，在本屆Hotchips上和AI相關(guān)的演講幾乎都會涉及軟件-芯片協(xié)同設(shè)計,，其中包括了業(yè)界巨頭如Nvidia（Hopper GPU中使用了FP8和Transformer Engine）,，以及新銳初創(chuàng)公司如Untether AI（公布了UAI FP8數(shù)制和imAIgine SDK）和壁仞（TF32+數(shù)制和BIRENSUPA軟件平臺）。我們認為,，軟件-芯片協(xié)同設(shè)計正在成為芯片行業(yè)進一步推動芯片規(guī)模更上一個臺階背后的重要支柱之一,，只有在有了強而有力的軟件支持，以及對于算法的深入理解后,，芯片規(guī)模進一步提升才會有相應(yīng)的回報,。

 更多信息可以來這里獲取==>>電子技術(shù)應(yīng)用-AET<<