在2021未來科技大會(OPPO InnoDay 2021)上,,OPPO隆重推出首款自研芯片馬里亞納 X(MariSilicon X)影像專用NPU(神經(jīng)網(wǎng)絡(luò)處理器),,這是OPPO自研芯片“深海計劃”的第一個里程碑,。
該芯片采用應(yīng)用領(lǐng)域?qū)S眉軜?gòu)(DSA),對影像處理做出極致優(yōu)化,,內(nèi)部集成ISP位寬達到20位,高通驍龍一代(ISP位寬為18位)等競品,實現(xiàn)了目前手機處理影像單元的最高位寬,,高位寬ISP帶來高動態(tài)范圍,從現(xiàn)場演示的馬里亞納 X 4K視頻處理效果來看,,與當(dāng)前旗艦機型相比,,效果有顯著提升。
與傳統(tǒng)手機影像處理算法在RGB域或YUV域不同,,馬里亞納 X將影像處理算法提前至原始數(shù)據(jù)域(即RAW域),,在RAW域處理,能有效避免信息損失,,實現(xiàn)無損處理,,根據(jù)OPPO提供的測試結(jié)果,相比傳統(tǒng)方法,,馬里亞納 X在RAW域處理能帶來額外8dB信噪比提升,;在圖像傳感器處理環(huán)節(jié),馬里亞納 X支持RGBW Pro模式,,實現(xiàn)了對RGB和W通道的分隔處理,,最大化每一種像素特性,釋放了RGBW矩陣的潛力,,在圖像傳感器尺寸不變的情況下,,與傳統(tǒng)方法相比,可以提升8.6dB信噪比,,解析力也提升1.7倍,。
具體到計算能力,采用自研AI計算單元的馬里亞納 X,,最高算力達到18TOPS,,移動設(shè)備對于功耗的要求其實比性能還要嚴(yán)苛,因此OPPO芯片研發(fā)團隊對該芯片的功耗做了大量優(yōu)化工作,,使其能效比達到11.6 TOPS/W,,同樣也是業(yè)界領(lǐng)先。
OPPO透露,,馬里亞納 X采用臺積電6納米工藝,,已經(jīng)完成量產(chǎn)準(zhǔn)備工作,將于2022年一季度首發(fā)于OPPO新一代Find X系列手機中,。
從三年百億開始
近年來,,手機功能創(chuàng)新主導(dǎo)權(quán)已經(jīng)從主芯片公司向整機廠轉(zhuǎn)移,只有具備與大規(guī)模終端用戶的直接溝通渠道,才能了解市場上真正需要什么,,主芯片公司在這方面劣勢越加明顯,,而整機廠自己開發(fā)芯片的需求也越強烈,有蘋果和華為的成功案例在前,,國內(nèi)手機大廠不乏躍躍欲試者,。
但隨著手機功能越來越復(fù)雜,作為最核心元器件的手機主處理器(SoC)開發(fā)難度越來越高,。目前旗艦手機處理器均采用當(dāng)前可用到的最先進工藝,,集成晶體管數(shù)量超過百億個,要數(shù)千名工程師通力協(xié)作兩年以上時間才能完成,,僅把設(shè)計文件提交給晶圓代工廠去制造的流片費用就高達數(shù)千萬美元,,再加上IP購買、工具設(shè)備投入,、專利授權(quán)等費用,,從概念提出到正式量產(chǎn),一款旗艦手機處理器芯片研發(fā)成本不低于造車,,沒有百億投入最好不要想,。
在2019年的未來科技大會上,OPPO創(chuàng)始人兼首席執(zhí)行官陳明永宣布“未來3年將投入500億元研發(fā)資金打造技術(shù)護城河”,,構(gòu)建最核心的底層硬件技術(shù)以及軟件工程和系統(tǒng)架構(gòu)能力,。當(dāng)時OPPO并未公開自研芯片計劃,但隨著子公司哲庫科技成立,,外界對OPPO自研芯片進展日益關(guān)注,。2020年OPPO發(fā)布的內(nèi)部文章《對打造核心技術(shù)的一些思考》一文,提到三大計劃,,涉及軟件開發(fā)和扶持全球開發(fā)者的“潘塔納爾計劃”,,打造云服務(wù)的“亞馬遜計劃”,以及關(guān)于芯片的“馬里亞納計劃”,,對外正式公布自研芯片計劃,。
OPPO表示投入的3年500億并不完全是花在芯片領(lǐng)域,但假設(shè)三分之一投入到芯片自研上,,至少這個投入量級是對的,,旗艦手機芯片研發(fā)是碎鈔機,三年沒有百億投入,,研發(fā)出來的產(chǎn)品基本不能用,,這樣的投入還不如不投入。
在本次發(fā)布會上,,陳明永表示:“馬里亞納 MariSilicon X只是OPPO自研芯片的一小步,,OPPO未來會持續(xù)投入資源,用幾千人的團隊,去腳踏實地做自研芯片,?!?/p>
OPPO自研芯片的冒險之旅
在馬里亞納 X發(fā)布環(huán)節(jié)和受訪時,,OPPO 芯片產(chǎn)品高級總監(jiān)姜波一度接近哽咽,,非常激動?!拔覀兊慕▓F的時間非常短,,切入點又很陡峭,坦白說難度非常高,,團隊每個成員從一開始就承擔(dān)了極大壓力,,”姜波說,“我們招的都是經(jīng)驗豐富的人才,,如果現(xiàn)做一顆平庸的產(chǎn)品練手整合團隊,,相對還比較容易。但MariSilicon X,,從核心IP到整個芯片前端,、后端,包括軟件,、硬件,,全部采用自研方式開發(fā),這是非常大的挑戰(zhàn),,理念上又追求極致,,2019年我們?nèi)ザㄒ?guī)格設(shè)的目標(biāo)非常高,哪怕到今天最頂級的SOC還做不到(注:指ISP位寬),?!?/p>
姜波表示,OPPO芯片工程團隊非常辛苦,,每天承受著巨大的壓力,,等到芯片點亮那一刻,自然激動異常,。而且自2019年才開始建隊,,第一顆就采用6納米工藝,馬里亞納 X卻一次流片成功,,后續(xù)連一道金屬層修改(metal fix)都不需要即可量產(chǎn),,這其中研發(fā)人員付出的心血與決策者承擔(dān)的風(fēng)險可想而知。
姜波舉了一個例子,,2019年市場上能買到的MIPI(移動影像傳輸接口)接口IP最高速度只能支持到3.5Gbps,,但由于馬里亞納 X指標(biāo)定的高,需要至少做到4.5Gbps才能適配處理速度,由于沒有成熟的商用第三方IP,,OPPO團隊只能靠自研來實現(xiàn)6納米工藝下的4.5Gbps MIPI接口,。模擬接口模塊的性能對于工藝適配要求較多,而仿真通常不能覆蓋全部場景,,如果以前沒有做過6納米工藝,,那么業(yè)內(nèi)通行做法是先采用試車機會(Shuttle,即與多人拼盤購買晶圓廠測試性工程樣品流片機會)把設(shè)計交給晶圓廠流片來測試設(shè)計與工藝的匹配度,,測試樣片拿回來測試以后,,根據(jù)測試結(jié)果調(diào)整設(shè)計,設(shè)計與工藝匹配有把握以后,,再正式流片,,即所謂全光罩(full mask)流片。
“由于時間壓力,,我們把迭代流程完全取消了,,這意味著做IP的同事面臨非常大的壓力?!苯ū硎?,由于模擬設(shè)計工程師超高的能力、經(jīng)驗和責(zé)任心,,馬里亞納 X中集成的MIPI IP在未做工藝驗證的情況下一次性成功,,承受了巨大的壓力,也體現(xiàn)了強大的能力,。
馬里亞納 X首戰(zhàn)告捷,,確實體現(xiàn)了OPPO芯片軍團的戰(zhàn)斗力,但正如陳明永所說,,這只是OPPO自研芯片的一小步,。畢竟,NPU相比手機主處理器還是簡化了很多,,以海思的實力,,也是在迭代數(shù)代之后才開始翻身,之前芯片都被視作華為手機的短板,。OPPO起點更高,,初期投入強度更大,迭代周期可能不需要海思那么長,,但如何將這幾千人的團隊打造成如臂使指,、信念統(tǒng)一的真正鐵軍,將這批芯片人的戰(zhàn)斗力真正發(fā)揮出來,,將是OPPO高管面臨的考驗,。
對待芯片這樣基礎(chǔ)性技術(shù)的研發(fā),,一定要有耐心,要做好迭代三五代都可能做不出成功產(chǎn)品的心理準(zhǔn)備,。好在,,從陳明永的話來看,他做好了心理準(zhǔn)備,。陳明永說:“馬里亞納是世界上最深的海溝,,代表著自研芯片之艱難。無論前路多少挑戰(zhàn),,我們都將堅持不懈,,咬定青山不放松?!?/p>
手機創(chuàng)新主導(dǎo)權(quán)歸于整機廠
前有蘋果、華為,,后特斯拉,、OPPO,整機廠自己開發(fā)芯片又成潮流,,其實復(fù)雜功能的產(chǎn)品定義主導(dǎo)權(quán)一直在芯片公司和整機廠商之間搖擺,。
在半導(dǎo)體技術(shù)剛剛產(chǎn)業(yè)化時,獨立半導(dǎo)體公司極少,,多數(shù)是系統(tǒng)廠商(即整機廠)內(nèi)部設(shè)置半導(dǎo)體部門,,典型代表如摩托羅拉(后分出飛思卡爾)、飛利浦(后分出恩智浦)和西門子(后分出英飛凌)等,,這些公司的半導(dǎo)體部門生成的芯片只供自用,,理論上也可以為自家產(chǎn)品提供最優(yōu)化設(shè)計。
但隨著半導(dǎo)體產(chǎn)業(yè)逐漸成熟,,更新迭代技術(shù)所需投入不斷加大,,靠單一公司難以維持相應(yīng)投入,于是這些系統(tǒng)公司的半導(dǎo)體部門紛紛獨立出來,,開始向市場上所有潛在客戶兜售其產(chǎn)品,,這樣就需要增加芯片的通用性,代價即成本增加,,也難以對單一客戶應(yīng)用做到性能最優(yōu)化——除非為該客戶做定制化開發(fā),。但這些代價對當(dāng)時而言都可以接受,所以在1990年代至2010年代,,主流電子產(chǎn)品研發(fā)模式為芯片公司定義主要參與與指標(biāo),,整機廠在芯片公司提供的芯片功能與性能基礎(chǔ)上去做二次開發(fā),整機需求通過與芯片公司產(chǎn)品經(jīng)理溝通來實現(xiàn),。
但隨著智能手機出現(xiàn),,情況出現(xiàn)了變化,。首先是單一廠商出貨量滿足了復(fù)雜芯片開發(fā)的規(guī)模要求,從Canalys給出的數(shù)據(jù)來看,,前五大手機廠商2020年出貨量均超過一億部,,只有年出貨量達到數(shù)千萬或上億才能符合用先進工藝開發(fā)手機處理器的先決條件——手機芯片產(chǎn)出利潤能夠覆蓋百數(shù)十億計的年研發(fā)成本。
再者,,以手機為代表的現(xiàn)代智能設(shè)備,,整機功能拓展方向既廣又深,只有一線整機大廠才能積累足夠的用戶反饋與技術(shù)預(yù)研,,芯片設(shè)計公司即便養(yǎng)再多的系統(tǒng)設(shè)計人員,,也無法建立起類似一線整機大廠那樣足夠多出貨量才能實現(xiàn)的設(shè)計反饋機制。這也就是姜波在接受探索科技(techsugar)等媒體采訪時,,反復(fù)強調(diào)的系統(tǒng)優(yōu)勢,。
“OPPO是終端廠商,更明白用戶痛點在哪里,,用戶場景的價值點在何處,,我們會根據(jù)應(yīng)用場景來調(diào)整相應(yīng)的硬件架構(gòu),提升能效比,,提升有效算力,。”姜波說,,在手機上堆NPU算力其實不難,,只要把面積放大就行,但芯片能效比要做到馬里亞納 X的水平,,需要克服非常大的挑戰(zhàn),,更離不開整機端同事的密切配合。
馬里亞納 X是OPPO自研芯片的第一步,,是非常成功的一步,,但確實只是萬里長征的第一步,要挑戰(zhàn)手機主處理器芯片還有很多難關(guān)要翻越,。但只要OPPO堅定做好核心技術(shù)要有“咬定青山不放松”的恒心,,勿忘勿助,給自己團隊留出足夠長的時間去迭代去成熟,,芯片技術(shù)加終端能力,,無疑將在以后的市場競爭中發(fā)揮巨大的威力。
最后,,用我在個人社交媒體賬號上的一段話作為結(jié)尾:
從藍圖到交付,,每一個取舍,背后都有大量的工作要做,。尤其是面向大眾的終端產(chǎn)品,,看得到的外觀與功能,,看不到的性能與可靠性,很多看起來差異不大的選擇,,都可能讓研發(fā)人員大傷腦筋,。
還是以手機和平板舉例,兩個形態(tài)很相似的產(chǎn)品,,因為尺寸不同,,其實開發(fā)過程中的選擇差異非常大,平板由于尺寸大,,在續(xù)航,、性能和功能實現(xiàn)上的限制小多了。
OPPO這款智能眼鏡也一樣,,可以吸附在普通眼鏡上的設(shè)備與頭戴式眼鏡也幾乎是兩個不同的產(chǎn)品,,尺寸縮小帶來的硬件選擇限制和性能平衡難度會大幅上升。
而且,,相對而言,,芯片等整機內(nèi)部器件,只需要對性能參數(shù)下功夫,,外觀不重要,當(dāng)然ISP是18位還是20位,,開發(fā)者很焦慮,,但多數(shù)用戶可能并不理解這其中的區(qū)別,也不想了解這些區(qū)別,,他們只想知道你費勁力氣增加的參數(shù)指標(biāo),,對于實際應(yīng)用有沒有好處,哪怕只是滿足終端用戶顯擺的心態(tài),,那也就是有價值的,。
但作為面向個人用戶的產(chǎn)品,除了性能硬指標(biāo),,還必須考慮外觀,、易用性和趣味性,一款好用的個人終端產(chǎn)品,,要有顛倒眾生的能力,,要有溫情與人文情懷,當(dāng)然也要求產(chǎn)品推介者也具備類似魅力,,才能打破市場信息過載帶來的傳播障礙,。