AI SoC互聯(lián)總線(xiàn)遇瓶頸,?那就在芯片內(nèi)打造一個(gè)“互聯(lián)網(wǎng)”吧
2018-06-28
作者:王潔
來(lái)源:電子技術(shù)應(yīng)用
人工智能(AI)與5G技術(shù)發(fā)展逐漸加快,隨之帶來(lái)了更高的數(shù)據(jù)交換需求,,這種對(duì)數(shù)據(jù)交換的需求不僅體現(xiàn)在系統(tǒng)之間的互聯(lián),,也體現(xiàn)在芯片內(nèi)部的互聯(lián)。在Level4,、Level5的自動(dòng)駕駛中是不需要人來(lái)進(jìn)行操控的,,人類(lèi)將身家性命完全交給半導(dǎo)體來(lái)判斷之前,確保系統(tǒng)信號(hào)回路傳輸及時(shí),、穩(wěn)定是首先需要解決的問(wèn)題,。而人工智能芯片運(yùn)算單元豐富,傳統(tǒng)總線(xiàn)架構(gòu)已經(jīng)成為系統(tǒng)性能的主要瓶頸,,芯片內(nèi)部的互連需要尋求一種新的方式,。
“傳統(tǒng)總線(xiàn)架構(gòu)只適合簡(jiǎn)單架構(gòu),下一代芯片,,特別是AI芯片,,單芯片集成內(nèi)核數(shù)量多,需要互聯(lián)的模塊也更多,,我們考慮在芯片內(nèi)部布一個(gè)網(wǎng),,類(lèi)似互聯(lián)網(wǎng)那樣,替代總線(xiàn)結(jié)構(gòu),,把所有數(shù)據(jù)用橋接模塊分成數(shù)據(jù)包,,用互聯(lián)網(wǎng)的方法分發(fā)出去?!?NetSpeed Systems大中華區(qū)銷(xiāo)售總監(jiān)黃啓弘將形象地介紹了NetSpeed SoC芯片內(nèi)部互連解決方案Orion AI,。
NetSpeed Systems大中華區(qū)銷(xiāo)售總監(jiān)黃啓弘
AI的主要挑戰(zhàn):(1)人工智能工作負(fù)載具備獨(dú)特性,在訓(xùn)練側(cè)和推理側(cè)都需要大型矩陣算法;(2)人工智能架構(gòu)具備獨(dú)特性,,內(nèi)核數(shù)量多,大量并行結(jié)構(gòu),,點(diǎn)對(duì)點(diǎn)通信,;(3)帶寬要求極高(TB/s),未來(lái)對(duì)帶寬的要求將會(huì)更高,。NetSpeed推出的Orion AI采用解耦架構(gòu),,分層堆疊,每層均可擴(kuò)展或收縮,;可編程多播,,最早也是目前唯一支持基于廣播推送的可配置多播網(wǎng)絡(luò)IP;服務(wù)質(zhì)量(QoS)非凡,,以具備端到端QoS規(guī)劃的非阻塞路徑來(lái)控制帶寬與延遲,。
黃啓弘先生介紹了Orion AI的優(yōu)勢(shì),與傳統(tǒng)總線(xiàn)相比,,Orion AI方案解除了總線(xiàn)架構(gòu)帶來(lái)的數(shù)據(jù)吞吐量限制,,片內(nèi)帶寬可支持到萬(wàn)億字節(jié)每秒(TB/s),接口位寬高達(dá)1024位 ,,內(nèi)部結(jié)構(gòu)位寬更高,,并可支持高達(dá)4K字節(jié)的長(zhǎng)突發(fā)傳輸;采用先進(jìn)的低功耗管理技術(shù)提升能效,;內(nèi)置人工智能,,利用先進(jìn)人工智能算法,在解決方案空間搜尋最有效的解決方案,,可謂是“用人工智能設(shè)計(jì)人工智能芯片”,。
Orion AI由NetSpeed的圖靈機(jī)器學(xué)習(xí)引擎提供支持,該引擎使用監(jiān)督學(xué)習(xí)來(lái)探索和優(yōu)化SoC設(shè)計(jì)與架構(gòu),。Linley Group首席分析師Linley Gwennap表示,,這是一種以人工智能為核心的設(shè)計(jì)方法,“就像有一位隨時(shí)在線(xiàn)的建筑大師給出設(shè)計(jì)建議,。處理器架構(gòu)師可以采納圖靈的建議,,然后花時(shí)間去解決SoC設(shè)計(jì)中的其他難題?!?/p>
NetSpeed的方案能幫助SoC設(shè)計(jì)公司大幅縮減開(kāi)發(fā)時(shí)間,。據(jù)了解,互連IP成本占整體AI成本的3%-10%左右,。NetSpeed的客戶(hù)通過(guò)采用Orion AI,,在RTL階段就可進(jìn)行互連設(shè)計(jì),大幅縮減前端設(shè)計(jì)與后端設(shè)計(jì)的試錯(cuò)周期,平均可節(jié)約3-4個(gè)月時(shí)間,。據(jù)黃啟弘介紹,,NetSpeed的其中一個(gè)客戶(hù),特斯拉的自動(dòng)駕駛芯片從設(shè)計(jì)到流片只花了大約九個(gè)月時(shí)間,。
除了特斯拉外,,NetSpeed目前還有英特爾、亞馬遜這些大客戶(hù),,在國(guó)內(nèi)有地平線(xiàn)機(jī)器人,、寒武紀(jì)、百度等領(lǐng)先的AI公司,。
相比其他消費(fèi)級(jí)應(yīng)用,,自動(dòng)駕駛應(yīng)用對(duì)安全等級(jí)有更高的要求,Orion AI通過(guò)了ISO 26262標(biāo)準(zhǔn),,可支持ASIL D級(jí)別安全要求,,采用Orion AI來(lái)進(jìn)行SoC互聯(lián)設(shè)計(jì)也更容易達(dá)到汽車(chē)應(yīng)用的安全要求。
NetSpeed是一個(gè)以技術(shù)為本的公司,,雖然是個(gè)年輕的公司,,但成立8年以來(lái),已經(jīng)申請(qǐng)了130多項(xiàng)專(zhuān)利,。NetSpeed除了為大客戶(hù)提供定制化的IP服務(wù),,還提供非加密的互連IP,在授權(quán)模式和費(fèi)用上都可根據(jù)中國(guó)客戶(hù)需求進(jìn)行靈活調(diào)整,。目前我國(guó)AI應(yīng)用迅速發(fā)展,,NetSpeed擁有極佳的市場(chǎng)機(jī)遇,NetSpeed提供的更方便,、可靠的設(shè)計(jì)建議也使得AI芯片設(shè)計(jì)工程師擁有了更多的選擇,。