在各種各樣需求的推動下,,系統(tǒng)廠商自研芯片已經(jīng)不是什么新鮮事了,。
埃森哲全球半導體主管 Syed Alam在接受媒體采訪的時候指出:“越來越多的公司希望定制芯片以滿足其應用程序的特定要求,,而不是使用與競爭對手相同的通用芯片,。”“這使他們能夠更好地控制軟件和硬件的集成,,同時將他們與競爭對手區(qū)分開來,,”Alam 補充道。
此外,,在分析人士看來,,自研芯片甚至在功耗和成本上,也能給系統(tǒng)廠商帶來競爭對手所不具備的優(yōu)勢,。
正是因為擁有如此多的優(yōu)勢,,越來越多的系統(tǒng)廠商投入了自研芯片的陣營。同樣的情況也發(fā)生在了為半導體市場貢獻了半壁江山的智能手機市場,。以蘋果為例,,他們也正在通過越來越多的自研芯片打造自己的差異化競爭優(yōu)勢。
本土手機巨頭vivo也正在通過自研芯片,向技術深水區(qū)前進,。近日,vivo在影像戰(zhàn)略發(fā)布會上宣布要在下一代自研芯片設計中升級全新的架構——從傳統(tǒng)ISP架構升級為AI ISP架構,。這是一次跨越式的技術革新,。
自研芯片背后的邏輯
對vivo而言,現(xiàn)在也的確到了他們開始深入思考未來如何突破了,,因為單純從手機出貨量來說,,他們已經(jīng)稱霸國內市場。根據(jù)市場分析機構canalys的數(shù)據(jù)顯示,,今年第三季度,,vivo以1410萬臺的出貨量數(shù)據(jù)蟬聯(lián)國內市場出貨量首位,市場份額高達20%,,進一步拉開與第二名的差距,。
從他們的表現(xiàn)看來,能獲得如此優(yōu)異的市場成績,,和vivo以及iQOO在今年第二季度主推的優(yōu)質產(chǎn)品有著莫大的關系,。除了選用了領先的主芯片外,公司在外觀,、拍照和軟件優(yōu)化方面的投入也不遺余力,。此外,vivo在自研芯片上的持續(xù)發(fā)力,,也讓公司在競爭激烈的智能手機市場屢創(chuàng)新高,。
2021年九月,vivo首次對外披露了公司的首顆自研專業(yè)影像芯片,。
如vivo影像算法總監(jiān)杜元甲在產(chǎn)品介紹會上所說,,公司之所以會在這方面發(fā)力,是因為看到了消費者不但要手機能夠在常規(guī)場景下拍出好照片,,同時還希望它們能夠在暗光和運動場景等一些高挑戰(zhàn)性場景中拍出好照片,,這無疑就給手機芯片的圖像處理能力和運算能力提出了更高需求。而作為一個移動設備,,功耗限制又是一個不能避免的話題,。
正是基于這樣的思考,vivo投入超 300人,,耗時24 個月研發(fā)出了獨立影像ISP vivo V1,。
所謂ISP,是Image Signal Processor 的簡稱,,也就是大家所熟悉的圖像信號處理器,。據(jù)介紹,ISP的主要作用一般是用來處理Image Sensor(圖像傳感器)的輸出數(shù)據(jù),如做AEC(自動曝光控制),、AGC(自動增益控制),、AWB(自動白平衡)、色彩校正,、Lens Shading,、Gamma 校正、祛除壞點,、Auto Black Level,、Auto White Level等等功能的處理。
回顧智能手機上ISP的發(fā)展,,在經(jīng)過產(chǎn)業(yè)的整合之后,,基本上這個功能都被高通、聯(lián)發(fā)科和展銳這樣的手機主控廠商集成到其SoC上去,。但近年來,,因為對圖像處理要求的提升,廠商又有了將其拆分出來的趨勢,,這正是vivo選擇從這條路切入的原因,。
“V1 是由 vivo 主導開發(fā)的,服務高速計算成像的專業(yè)影像芯片,,是一顆全定制的特殊規(guī)格集成電路芯片,。”杜元甲強調,。
據(jù)vivo介紹,,V1 芯片擁有高算力、低時延,、低功耗的特性,,其創(chuàng)新之處在于優(yōu)化了數(shù)據(jù)在芯片內部的儲存架構和高度讀寫電路,實現(xiàn)等效 32MB 的超大緩存,,而當時旗艦級桌面電腦處理器的緩存數(shù)量級為 16MB 和 24MB,。V1 的讀寫速度高到 35.84Gbps,擁有1080P 60PFS 的實時降噪插幀能力,。
得益于這樣的硬件設計,,再配合vivo的自研算法,加上與全球頂尖影像大廠蔡司等行業(yè)領先巨頭的攜手,,搭配自研影像芯片V1的旗艦手機 X70在影像方面獲得了市場的高度認可,。
時隔7個月后,vivo第二款自研芯片V1+發(fā)布,,進一步拓展了包括游戲插幀在內的更多應用場景,,并在夜景成像質量方面有著大幅提升,。搭載V1+的X80系列截至目前仍然是國產(chǎn)旗艦影像手機的標桿產(chǎn)品。
如今,,vivo基于全新的AI ISP架構打造下一代芯片已經(jīng)就位,,這也將成為vivo自研芯片的又一個里程碑。
AI ISP帶來的跨越式革新
如果從過去幾年的科技界評選幾個熱詞,,人工智能必然要占有一席之地,。因為其多方面的優(yōu)勢,人工智能在過去幾年已經(jīng)改變了多個行業(yè),,就連ISP領域也不例外。
據(jù)相關資料顯示,,為了“看得清”圖像傳感器輸入的原始數(shù)據(jù),,傳統(tǒng)ISP中需要集成近百種的數(shù)字信號算法。而為了適配不同的攝像頭和鏡頭,,則需要對數(shù)千個參數(shù)進行調整,,這樣才能保證其通用性。與此同時,,我們還需要做不同算法的協(xié)同調試,,才能保證ISP能夠高效地工作。這種復雜的流程無疑會給開發(fā)者帶來巨大的挑戰(zhàn),。
于是,,擁有“學習”能力的人工智能就成為了ISP開發(fā)者關注的方向,AI ISP也就應運而生,。
正如半導體行業(yè)觀察在日前發(fā)布的文章《ISP的新方向,!》中所說,將AI引入ISP,,是夜視,、場景識別、人臉檢測,、超分辨等的最佳解決方案,。文章進一步指出,為了在ISP中加入人工智能的元素,,就需要對ISP做相應的調整,,來和人工智能做整合。例如,,為了滿足ISP的相關需求,,需要有一個能高效處理人工智能計算的相應模塊(AI引擎)來滿足ISP的需求。當然,,延遲和功耗也要同步關注,。
vivo新一代的AI ISP 架構也正是在這樣的思路指導下誕生,。這一跨越式的技術創(chuàng)新首先體現(xiàn)在其自研的AI計算單元上。據(jù)vivo介紹,,在這個AI ISP上集成了vivo自研的AI計算單元,,帶來了超高的能效比;
不同于行業(yè)常用的NPU,,vivo在AI計算單元上選擇了更適合做復雜成像運算的DLA加速器,,AI算法是由數(shù)據(jù)驅動的。因為在運算過程中,,需要大量的數(shù)據(jù)比較,、擬合,因此要想進?步突破能效比,,就要解決延遲和功耗兩方面的問題,。
針對這個問題,vivo為其DLA加速器內嵌了專用的片上SRAM,,這是AI ISP架構設計上的另一個亮點,。并且,又因為搭載了共享自研內存單元上的系統(tǒng)緩存,,這就大幅減少了數(shù)據(jù)訪問延遲,。
按照vivo所說,行業(yè)常用的DDR架構內存單元是采用片外存儲形式,,這種設計存在延遲高,、功耗高的弊端,限制了數(shù)據(jù)吞吐速率,,進而限制了視頻類數(shù)據(jù)的推理運算效率,。但vivo在內存單元設計中堅持使用昂貴的DDR-Less片內近存運算架構,配合硬化在片上的超大SRAM,,實現(xiàn)了運算快,、延時低的特征,其峰值數(shù)據(jù)吞吐速率達到了不可思議的每秒1.3萬億比特(bit/s),。
通過將算法和DLA聯(lián)合定制設計,,vivo實現(xiàn)了軟硬協(xié)同優(yōu)化,在解決了功耗和延遲的同時,,還讓DLA加速器的峰值能效比達到每瓦16.3 萬億次運算(Tops/w),,這個數(shù)據(jù)也讓vivo的AI ISP架構達到了行業(yè)的天花板水平。
得益于vivo在自研圖像處理單元上的升級,,將為其下一代自研芯片帶來全新的算法效果,。
據(jù)介紹,結合新的硬件能力,,vivo把V1+的NR算法升級,,帶來了AI-NR 更好的夜景畫面細節(jié),,提升了20%的夜景降噪效果;通過HDR影調融合(Tone mapping)算法,,配合電影級的3DLUTs色彩風格,,vivo可以滿足專業(yè)用戶的?級整體調色、?級局部調色的需求,。在城市夜景下,,動態(tài)范圍較之前,理論最大提升4EV,;基于新硬件的MEMC插幀算法則進?步改善了延遲問題,,提升了效果。
發(fā)布會上,,vivo介紹,,從實際的視頻拍攝效果來看,基于新一代自研芯片拍攝的1080p 60幀(fps)夜景視頻,,對比上一代機型,在感光能力和動態(tài)范圍方面都有全新驚喜,。在極夜環(huán)境,,得益于軟硬件升級和調試優(yōu)化,視頻的畫質和亮度上都較上?代大幅提升,。vivo透露,,基于全新的硬件,vivo下一代旗艦影像產(chǎn)品(或許是傳聞中的X90系列)甚至可以在露營的燈光下,,拍到天空中的星點,。
從上面的描述我們可以看到vivo自研芯片的實力,再疊加過去在雙芯聯(lián)調上積累的經(jīng)驗,,必然讓vivo在智能手機新旗艦的打造上帶來更多的可能,,這也勢必能讓vivo繼續(xù)在雙芯聯(lián)調和自研芯片領域仍然保持著領導者地位。
往技術深水區(qū)走去
在V1發(fā)布之后,,vivo在芯片方面實現(xiàn)了零的突破,;從V1到V1+,夯實了vivo在芯片領域的實力?,F(xiàn)在,,基于全新AI ISP架構的下一代自研專業(yè)影像芯片——或許就是V2,讓vivo完成了在芯片領域的又一次蛻變,。這也讓他們在芯片行業(yè)扎下了根,,擁有了繼續(xù)往技術深水區(qū)前進的底氣。
從國內幾大手機的布局看來,,發(fā)力自研芯片是vivo要走的必經(jīng)之路,。因為如果在競爭對手都在打造自己的差異化優(yōu)勢的同時,,企業(yè)緊靠品牌是很難贏得下一輪的技術競賽。尤其是在智能手機同質化已經(jīng)高度同化的當下,,vivo在這條自研賽道持續(xù)投入,,并協(xié)同發(fā)展企業(yè)旗下的各項業(yè)務,是確保企業(yè)能夠繼續(xù)勝出的保證,。
vivo X系列產(chǎn)品經(jīng)理楊青在今年四月接受媒體采訪的時候也表示:“目前vivo的資源主要布局在算法,、IP轉化和芯片架構的設計上,而比如在IC線路設計,、流片,、生產(chǎn)等流程,會交托給合作伙伴,,雙方利用各自的專業(yè)和優(yōu)勢,,合理分工協(xié)作?!?/p>
vivo執(zhí)行副總裁,、首席運營官胡柏山則強調,從整體來看,,vivo對于研發(fā)的邏輯基于四個賽道:設計(包括外觀,、交互等)、影像(拍攝,、視頻等),、系統(tǒng)(包含底層系統(tǒng)和AI技術使用等)、性能(游戲等場景),。其中,,與芯片能力捆綁比較緊密的就屬影像和性能。這也是vivo在一開始把芯片定義放在這兩個賽道的原因,。
不過,,在筆者看來,AI ISP也許僅僅是vivo下一代自研專業(yè)影像芯片V2的“開胃菜”,,vivo必然能夠在芯片方面帶來更多的創(chuàng)新,,這也勢必給其旗下的智能手機帶來一些獨特的領先優(yōu)勢。在智能手機缺乏吸引力的當下,,vivo的這些投入值得消費者們期待,。
更多信息可以來這里獲取==>>電子技術應用-AET<<