Mobileye 或者說英特爾的 EyeQ5 第一次宣布是在 2016 年 5 月,當(dāng)時宣稱 2018 年有工程樣片,2019 年量產(chǎn)。2017 年 12 月,英特爾收購 Mobileye 后宣布 2020 年量產(chǎn)。
而英偉達(dá)的 Xavier 在 2016 年 9 月透露,2017 年 3 月宣布與博世合作開發(fā)自動駕駛控制器盒子,2018 年 1 月 CES 大會上正式宣布,2018 年 6 月即量產(chǎn)。 顯然,在 2016 年底,應(yīng)該就有了 Xavier 的工程樣片。
2019 年英特爾宣布 EyeQ5 在 2021 年 3 月量產(chǎn),而采用 Xavier 的量產(chǎn)車小鵬 P7 已經(jīng)上市了,即便一切順利,采用 EyeQ5 的量產(chǎn)車也要到 2022 年上市了。第一輛采用 EyeQ5 的車是寶馬的 iNext。
英偉達(dá)主要合作伙伴是博世、ZF、沃爾沃、奔馳、奧迪、豐田。英特爾主要合作伙伴是寶馬、蔚來。
在 2019 年中期,安波福、奧迪、百度、寶馬、大陸集團、戴姆勒、菲亞特克萊斯勒、Here、英飛凌、英特爾和大眾這 11 家企業(yè)組成的聯(lián)盟發(fā)表了一份白皮書(自動駕駛安全為先,Safety First For Automated Driving,SaFAD)。
在 2020 年 2 月,日本豐田、電裝、法雷奧、馬自達(dá)和日產(chǎn)與 SaFAD 聯(lián)盟也舉行了聯(lián)合會議。 SaFAD 聯(lián)盟正在主導(dǎo)一項 ISO 標(biāo)準(zhǔn),即 ISO Draft Technology Report(DTR) 4804。試圖打造一個取代 ISO26262 的自動駕駛行業(yè)標(biāo)準(zhǔn)。
ISO 4804 標(biāo)準(zhǔn)的主席是寶馬自動駕駛最重要(Principal)的專家 Simon Fürst,4 月底,EE 時代對 Simon Fürst 進行了采訪,https://www.eetimes.com/unveiled-bmws-scalable-av-architecture/,透露了眾多有關(guān)寶馬自動駕駛計算系統(tǒng)的信息。
上圖為寶馬智能駕駛硬件系統(tǒng)路線圖,實際這個路線圖早在 2017 年初就已經(jīng)制定,寶馬當(dāng)時已決定和英特爾(Mobileye)合作。寶馬的邏輯是盡可能最大化復(fù)用研究成果,降低研發(fā)成本,模塊化設(shè)計,可靈活添加或刪除。
按照這副圖,我們可以看出寶馬的基本模塊是 L1 級使用 EyeQ4 加英飛凌的 Aurix MCU。L2 使用英特爾的 denverton 雙核 CPU 加 EyeQ5 加兩片英飛凌的 Aurix MCU。一般來說 L3 系統(tǒng)不設(shè) Fallback,但寶馬還是增加了一套 Fallback(完全獨立,包括電源和線控執(zhí)行系統(tǒng)),寶馬的 L3 的 Fallback 系統(tǒng)就是 L2 系統(tǒng)。L4 系統(tǒng)也是如此。而 L3 的主系統(tǒng)是一片 CV 版的 EyeQ5 和一片開放版高端 EyeQ5,加兩片英特爾 denverton 的 8 核 CPU。英飛凌的 Aurix MCU 當(dāng)然還在。
傳感器方面則增加一個前向激光雷達(dá),應(yīng)該是法雷奧 Scala 二代。L4 用一個 24 核的至強處理器代替 L3 的兩片 8 核處理器,又增加一片開放版高端 EyeQ5。傳感器方面增加側(cè)方和后方激光雷達(dá)。 L2 系統(tǒng)稱之為 mPAD,L3 為 hPAD,L4 為 uPAD。在 2018 年底寶馬曾經(jīng)公開展示過這些控制器盒子。L3 和 L4 系統(tǒng)都是水冷。
上圖為安波福為寶馬打造的 mPAD
上圖為 mPAD 內(nèi)部拆解圖,英特爾 CPU 在背面
不過按照采訪 Simon Fürst 的文章,則和寶馬提供的路線圖大相徑庭。Theplatform’s baseline uses Infineon’s Aurix and Renesas’ R-CAR SoCs to optimize its application in stereo front cameras. 按照文章里所說的,寶馬智能駕駛的基本系統(tǒng)是瑞薩的 H3 加 V3H 構(gòu)成的前向立體雙目系統(tǒng)。而在路線圖里瑞薩的 H3 加 V3H 只是自動泊車部分。
眾所周知,寶馬自 2018 年似乎放棄了立體雙目,全面轉(zhuǎn)向三目系統(tǒng)。這讓人非常疑惑。有幾種可能,第一種,采訪文章完全是錯的,路線圖是對的。第二種,采訪文章是對的,路線圖錯了,但錯誤不多,寶馬結(jié)合了 EyeQ5 的三目和瑞薩的立體雙目,寶馬又重走立體雙目的回頭路了。第三種,采訪文章和路線圖都是錯的,寶馬沒說實話。
感覺第二種的可能性大一點,寶馬在立體雙目上雖不如奔馳那樣技術(shù)深厚,但也算有不錯的積累。不過第一種的可能性也存在,Mobileye 一直強調(diào)單目也可以做到立體雙目的深度計算,完全可以取代雙目,Mobileye 系統(tǒng)里使用雙目可能性很低。
寶馬 L3/L4 智能駕駛軟件架構(gòu)
寶馬 L3/L4 主系統(tǒng)計算路徑,F(xiàn)allback 系統(tǒng)監(jiān)督主系統(tǒng),當(dāng)?shù)弥飨到y(tǒng)計算的路徑會發(fā)生事故或碰撞時,F(xiàn)allback 系統(tǒng)會切換為主系統(tǒng),主系統(tǒng)使用人工智能的非確定性算法,F(xiàn)allback 系統(tǒng)使用經(jīng)典的確定性算法來保證安全。Simon Fürst 認(rèn)為大部分地方 ASIL B 級即可,D 級只用在極少地方。對于感知,寶馬認(rèn)為關(guān)鍵不是探測目標(biāo),而是預(yù)測目標(biāo)的移動軌跡并根據(jù)軌跡計算出可行使空間。
這些恰恰是激光雷達(dá)和雙目最擅長的(光流法)。 對于軌跡規(guī)劃,寶馬主要依靠激光雷達(dá)估算道路曲率,激光雷達(dá)制作的地圖也可以提供曲率,卡迪拉克的超級巡航就是如此,激光雷達(dá)高精度地圖也有助于定位,Simon Fürst 對 Mobileye 推崇的視覺定位 REM 只字未提。 對于傳感器融合,Simon Fürst 不以為然,他認(rèn)為傳感器融合目前只是科研階段,遠(yuǎn)未到實用階段,這與特斯拉觀點一致,特斯拉就是純視覺系統(tǒng),沒有傳感器融合。The industry still needs to build a fundamental understanding on howdifferent algorithms should apply to different sensor modalities. 傳感器融合目前對性能提升微乎其微,有時可能更多漏報,安全性反而降低,但成本和復(fù)雜度都大幅度增加。
寶馬智能駕駛安全等級
拋開是否雙目的難題,我們來看英特爾的 CPU,denverton 是英特爾在 2016 年下半年推出的邊緣計算 Atom C3XXX 系列 CPU,采用 14 納米工藝,代號為“Denverton”和“Denverton-NS”。C3XXX 系列分三個目標(biāo)市場,一個是服務(wù)器和云存儲,一個是網(wǎng)絡(luò)與企業(yè)存儲,最后一個是 IoT。C3XXX 系列沒有針對車載的產(chǎn)品,英特爾車載 Atom 是 A39X0 系列。不過 IoT 系列最高運行溫度 85 度,勉強可算車規(guī)。所以寶馬使用水冷而不敢用自然冷卻。
自從特斯拉對車規(guī)不屑一顧后,傳統(tǒng)車廠也有所動搖,EyeQ5 未通過功能安全認(rèn)證,Xavier 申請功能安全認(rèn)證已經(jīng)超過兩年,但目前官方還只能說 Target。所以用 C3XXX 系列也不奇怪。顯然雙核 Denverton 是 C3308,8 核是 C3708。
C3XXX 系列平臺內(nèi)部框架圖
寶馬為何要采用非車載應(yīng)用的 C3XXX 系列芯片,主要是看重 C3XXX 的以太網(wǎng) MAC 和交換功能,C3XXX 系列針對的目標(biāo)市場主要就是 CPE。
圖為 C3XXX 系列的 LAN 控制器部分,雙核也有 4 個 2.5G 的 AMC,8 核則有 4 個 10G 的 MAC。在 L3/L4 計算系統(tǒng)里,除了主芯片,最貴的就是以太網(wǎng)絡(luò)交換芯片,如果端口較多且多 10G 級別,性能強大,以太網(wǎng)絡(luò)交換芯片價格可能超過 EyeQ5 這樣的主芯片。C3XXX 系列 CPU 用的好的話,傳感器不多的話,可以不用昂貴的以太網(wǎng)絡(luò)交換芯片。
當(dāng)然 Phy 物理層還是少不了的,英特爾產(chǎn)品線齊全,以太網(wǎng)絡(luò)交換和物理層芯片都有,但都沒有車規(guī)版的。 至于 24 核的至強處理器選擇范圍很窄,大部分 24 核至強處理器功耗都在 160 瓦以上,標(biāo)準(zhǔn)零售價都在 4500 美元以上,寶馬只能選擇至強金牌 6262V,功耗是 24 核至強里最低的,只有 135 瓦,標(biāo)準(zhǔn)零售價 2900 美元。不過英特爾在 2020 年 4 月剛剛推出的針對 5G 服務(wù)器的 Atom P5962B 也可以,這是首款基于 10nm 制程和新的 Tremont 架構(gòu)的 Atom 處理器,最高運行溫度為 85 度,勉強達(dá)到最低級車規(guī)級別。功耗參數(shù)未提供,預(yù)計 80 瓦左右。 R-CAR V3H 推出于 2018 年 2 月,2019 年 3 季度量產(chǎn)。內(nèi)含 4 個 A53 內(nèi)核,一個 [email protected] 內(nèi)核,也達(dá)到了 ASIL B 級別。
瑞薩使用三種加速器,一種是基于管線引擎的 IMP-X5 加速器,它擁有用于固定功能的流水線計算,近似于 GPU。也有電腦視覺引擎 CVE,采用可編程的電腦視覺引擎將浮點運算降至最低。另一種是硬核加速器,包括針對雙目的立體視差和光流。還有一個聚類器。最后是一種類似多核 DSP 的 CNN 加速器。
總性能達(dá)到 426GMAC,也就是每秒 4260 億次乘積累加,功耗僅為 0.3 瓦。 瑞薩產(chǎn)品規(guī)劃第四代 R-CAR 大約在 2023 年量產(chǎn),而 V3U 也是第四代產(chǎn)品,預(yù)計將在 2022 年量產(chǎn),這是一款 12 納米芯片。瑞薩表示 12nm 工藝 R-Car SoC V3U 的 AI 性能可以達(dá)到 6.0TOPs/W,遠(yuǎn)高于英偉達(dá)的 Xavier 平臺和 Mobileye 的 EyeQ5 平臺。 瑞薩 V3H 已經(jīng)慢慢建立了自己的生態(tài)系統(tǒng)。在初創(chuàng)公司領(lǐng)域有韓國的 Stradvision、以色列 Cortica 和加拿大的 Leddar tech 合作伙伴。
Stradvision 是韓國現(xiàn)代和 LG 投資的初創(chuàng)企業(yè),早在瑞薩開發(fā) V2H 時已經(jīng)和瑞薩合作,順便提一下,日產(chǎn)號稱 L3 的用于天籟(北美型號是 Skyline)的 ProPILOT 2.0 就使用了瑞薩的 RH 850 和 V2H,當(dāng)然主芯片還是 Mobileye 的 EyeQ4。
系統(tǒng)由日立提供。 初創(chuàng)公司外,瑞薩主要與博世和海拉合作。同時 V3H 也有望取代日立的雙目 ASIC。
博世寄予厚望的下一代主前視覺系統(tǒng) MPC3 內(nèi)置了瑞薩的 V3H。于 2019 年底量產(chǎn),已經(jīng)獲得大眾和奧迪的訂單。除傳統(tǒng)深度學(xué)習(xí)外,還有基于光流的非模型算法,能夠預(yù)測目標(biāo)運動軌跡。對運動目標(biāo)敏感度高,260 萬像素,幀率達(dá)每秒 45 幀,比 30 幀更安全可靠,能夠適應(yīng) LED 燈的閃爍現(xiàn)象,能夠適應(yīng)復(fù)雜的環(huán)境。
明確表示達(dá)到 ASIL-B 級,是使用深度學(xué)習(xí)系統(tǒng)中唯一能夠達(dá)到 ASIL-B 級的攝像頭。因為 V3H 是唯二已經(jīng)拿到 ASIL-B 級認(rèn)證的芯片,而不是正在申請功能安全認(rèn)證(大部分都是寫 Target),Mobileye 是沒有功能安全認(rèn)證的。 寶馬的自動駕駛安全性遠(yuǎn)超特斯拉 FSD。
但馬斯克搞 SpaceX,全球星鏈,移民火星,儼然一位科技教主,在全球范圍內(nèi)贏得眾多鐵桿粉絲,公眾對其自動駕駛安全性寬容度極高,即使事故頻發(fā)、頻繁降價、減配等也絲毫無損特斯拉和馬斯克神一般的地位。可以說除特斯拉外的車廠安全性需要高特斯拉 10 倍才能被認(rèn)同。