作者:Brooke Williams,、Zoran Nikolic 及 Gaganjot Maur,,德州儀器
汽車已成為現(xiàn)代社會不可缺少的一部分,為全球貨物及人員運輸提供了一種低成本的交通方式,。不幸的是,,每天都會因車輛駕駛而出現(xiàn)大量的事故與傷亡事件。據世界衛(wèi)生組織統(tǒng)計:1998 年,,全球交通事故死亡人數(shù)高達 120 萬,。1990 年,交通事故是全球導致人類死亡的第九大原因,,預計到 2020 年它將進一步上升為第三大致死原因,。
鑒于上述原因,汽車原始設備制造商 (OEM) 及其供應商合作伙伴,,以及全球政府機構一直在努力開發(fā)并推廣主動安全與高級駕駛員輔助系統(tǒng) (ADAS),,其設計旨在降低事故發(fā)生率并減少碰撞的嚴重度。汽車產業(yè)界分析師認為到 2010 年,, ADAS 將成為頂級新技術,,其不僅可以幫助駕駛員提前意識到潛在的危險,而且還可通過車道偏離警告系統(tǒng) (LDWS),、睡意檢測及夜視系統(tǒng)等技術潛在地延長駕駛員的反應時間,。
隨著消費者對 ADAS 的深入了解,得知其能夠提供更高的安全性,,預計他們將更容易接受該技術,,從而推動市場對這一需求的增長。ADAS 已應用于豪華轎車,,隨著技術的成熟,,其將逐漸進入大眾市場,應用到普通車輛中,,同時產量的提高將大幅降低產品成本,。就汽車 OEM 廠商而言,鑒于目前被動安全系統(tǒng)快速成為汽車的標準技術,,主動安全與 ADAS 技術還將有助于實現(xiàn)與眾不同的特色化產品,。
ADAS 概覽
ADAS 的設計方案并不是要控制車輛,而是向駕駛員提供車輛周圍環(huán)境及車輛運行狀況等相關信息,,提醒駕駛員注意潛在危險,,從而提高行車安全性。
ADAS 應用采用多種傳感器來收集有關車輛及車輛周圍環(huán)境的物理數(shù)據,。收集相關數(shù)據后,,ADAS 系統(tǒng)將采用目標檢測、識別與跟蹤等處理技術來評估危險性。我們不妨舉兩個應用實例來說明,,一是車道偏離警告系統(tǒng)(檢測到車道無意偏離,,立即提醒駕駛員),二是交通標志識別,。啟用車道偏離警告系統(tǒng)時,,系統(tǒng)會根據車輛位置檢測并跟蹤車道情況,在車輛越線進入相鄰車道時通知駕駛員,。就交通標志識別而言,,系統(tǒng)能識別交通標志并告訴駕駛員當前最高限速,或通知駕駛員目前行駛的具體區(qū)段,。
不同系統(tǒng)通常要求采用不同類型的傳感器來收集環(huán)境信息,。我們不妨舉幾個實例,如車道偏離警告系統(tǒng)采用 CMOS 攝像頭傳感器,,夜視系統(tǒng)采用紅外傳感器,,自適應巡航控制系統(tǒng) (ACC) 通常采用雷達技術,而停車輔助系統(tǒng)則采用超聲波技術,。盡管不同應用的技術細節(jié)各有差異,但技術處理過程通常都包括數(shù)據采集,、預處理及后處理等三個階段,。預處理階段執(zhí)行全影像 (full image) 處理功能,數(shù)據工作強度較大,,結構也較為常規(guī)化,,具體包括圖像的變換、穩(wěn)定性,、特征信號增強,、噪聲降低、顏色轉換,、運動分析等,。后處理階段則進行特征跟蹤、場景解釋,、系統(tǒng)控制及決策制定等工作(見圖 1),。
圖 1. 用于收集環(huán)境信息的傳感器,不管其類型如何,,均可獲得生成基本圖像的數(shù)據集,。主動安全系統(tǒng)的整個處理過程依次為:1)采集數(shù)據,2) 根據運行狀態(tài)及環(huán)境狀況預處理采集到的數(shù)據,,3) 處理安全算法,,4) 評估結果, 5) 做出決策。
識別,、跟蹤并評估駕駛相關的對象是一項復雜的工作,。駕駛風格與條件會影響傳感器收集的原始數(shù)據的質量,并會使識別和跟蹤對象所需的重要細節(jié)變模糊,。在不同的天氣條件(如較強的陽光,、下雨、起霧及下雪等)下,,駕駛員駕駛車輛這一過程的動態(tài)化程度極高,,而且操作具不可預見性。當面對更為復雜的情況,,必須對所有數(shù)據進行實時處理,,且處理時延不得超過 30ms。警告延遲半秒鐘,,就很可能導致事故發(fā)生,,而不能讓駕駛員及時對警告做出反應。
從數(shù)據采集到采取行動的每一步都要求強大的信號處理能力,,因此,,及時、準確地執(zhí)行主動安全與 ADAS系統(tǒng)必須要求高性能產品提供支持,。專為汽車安全應用設計并優(yōu)化的數(shù)字信號處理器 (DSP),,如德州儀器 (TI) 推出的 TMS320DM643x 達芬奇處理器就能提供所需的性能,從而使 OEM 廠商能夠向市場推出主動安全與 ADAS 技術,。
動態(tài)靈活性
除了高性能之外,,ADAS 應用還要求靈活的架構來滿足多種功能要求。例如,,各國的交通標志從語言,、文字字體、形狀到顏色等各不相同,。我們必須提供足夠的靈活性,,這樣才能在不同的產品線間盡可能地重復使用該技術,并根據新興市場的要求以正常速度低成本地推進技術創(chuàng)新,。軟件創(chuàng)新是效率最高的方式,。達芬奇處理器采用軟件可編程的架構,因此能為開發(fā)人員提供足夠的靈活性,,以便支持不斷變化的算法,。
我們不妨設想一下在不考慮駕駛條件(如較強的陽光等)這一因素情況下的預處理算法。有些汽車供應商采用一種算法,,有些則在白天采用一種算法,,在夜間駕駛又采用另一種算法,。實際上,針對多種不同的駕駛條件,,我們將需要各種不同的預處理與后處理算法,。系統(tǒng)還必須具備快速適應能力,比方說車輛進入遂道時,,就會瞬間從白天駕駛模式切換到夜間駕駛模式,。
請注意,車輛的不同傳感器應執(zhí)行不同的功能(見圖 2),。如側向傳感器進行盲點檢測,;前向傳感器負責車輛、車道,、交通標志及行人識別工作,;車內傳感器則檢測車內是否有人,駕駛員是否出現(xiàn)睡意及想做些什么等,。
此外,,不同傳感器應處理不同類型的數(shù)據。一些交通標志識別算法的執(zhí)行主要依靠標志顏色進行,,在此情況下,,正向傳感器應支持寬泛的顏色范圍。另一方面,,灰度傳感器對亮度的變化更敏感,,其空間分辨率幾乎是色彩傳感器的兩倍。大多數(shù) ADAS 功能的實現(xiàn)主要依賴于傳感器的敏感性,,因此灰度攝像頭更合適,。我們還要注意到,,針對 ADAS 應用的影像傳感器通常具有較高的動態(tài)范圍,,一般每像素多于 8 位,這也十分重要,。
圖 2. 車輛安裝的多種傳感器執(zhí)行各種具體任務,,其中包括行人檢測、夜視,、車道偏離警告,、停車輔助、盲點檢測,、睡意檢測以及自適應巡航控制等,。
解決技術難題最有效的方法就是在單個 DSP 上執(zhí)行多種算法。舉例來說,,正向影像傳感器能同時提供車道偏離警告與交通標志識別所需的視頻信息,。
從理想的角度說,單個 DSP 能在所有駕駛條件下執(zhí)行預處理與多種識別任務,如車道偏離警報與交通標志識別等,,這有助于精簡芯片數(shù)量,,從而減少故障點,提高系統(tǒng)可靠性,,并降低系統(tǒng)成本,,這些對汽車應用的發(fā)展都是至關重要的。
為了提高 ADAS 的穩(wěn)健性,,我們還要在車輛內部所有主動安全子系統(tǒng)間進行協(xié)調,。舉例來說,駕駛員的關注方向及關注點會直接影響到交通標志警告的有效性,。比方說,,駕駛員正常駕駛本應該可以注意到前方的標志并減速,但系統(tǒng)卻過早發(fā)出警告,,這樣做不但不利于駕駛,,反而會給駕駛員制造麻煩。因此,,在發(fā)出警告信號前,,我們要從交通標志識別系統(tǒng)及車內駕駛員監(jiān)控系統(tǒng)同時收集信息。如果駕駛員監(jiān)控系統(tǒng)反映駕駛員正面向道路方向,,那么我們不必馬上發(fā)出前方有停車標志的警告,。
穩(wěn)健性能較高的 ADAS 系統(tǒng)甚至還能評估復雜的駕駛環(huán)境。舉例來說,,如果汽車快速靠近停止或減速的車輛,,那么很可能需要快速并線 (lane change)。在這種情況下,,我們應當暫停車道離線警告,,避免駕駛員在并線時分神。當然,,如果盲點監(jiān)控系統(tǒng)檢測到汽車旁邊還有別的車輛,,那么系統(tǒng)就應發(fā)出警告。
片上系統(tǒng)架構提高設計效率
目前的片上系統(tǒng) (SoC) 架構在單芯片上集成了整個視頻/影像處理系統(tǒng)所需的全部外設,,從而進一步提高了設計效率,。由于支持多種外設,目前高度集成的器件還能方便地連接至車輛系統(tǒng)的其他部分,。舉例來說,,SoC 可為停車輔助后視儀等應用提供直接視頻輸出,也可通過 CAN,、LIN 或 FlexRay 等適當總線直接連接至車輛的主控系統(tǒng),。
SoC 架構在無需增加 ASIC 成本的基礎上就能提供專用功能,。經過適當處理,SoC 能保持可編程軟件架構的靈活性,,而不像 ASIC 那樣固定,。例如,TI 的達芬奇處理器采用了功能強大的視頻前端,,從而使主 CPU 從關鍵而繁重的預處理任務中解脫出來(見圖 3),。具體而言,視頻前端提供了縮放功能塊,,可根據適當分辨率對圖像進行重采樣(放大或縮小圖像),,同時又不會占用 DSP 周期??s放圖像是必要的,,因為對象在視頻幀中的尺寸會隨汽車接近對象而變化。
圖 3. TMS320DM6437數(shù)字媒體處理器結構圖,。
達芬奇視頻前端還提供柱狀圖,,以顯示不同視頻幀的像素熒光強度分布情況。從像素熒光強度分布圖,,我們可以看出捕獲到的影像質量,。舉例來說,如果影像太暗,,那么 DSP 可調節(jié)對比度,,從而提高處理的精確度。前端還能在不占用主 CPU 的情況下完成色域轉換工作,。這些集成模塊結合使用可以顯著減輕 CPU 的負載,,從而使開發(fā)人員能夠在單個 DSP 上集成更多 ADAS 增值功能。
SoC 架構的設計應確保數(shù)據傳輸?shù)母咝?。與任何視頻應用一樣,,數(shù)據傳輸?shù)迷筋l繁,處理時延就越長,。為了提高系統(tǒng)性能并最大化一級存儲器資源的使用,,開發(fā)人員通常應將處理工作限于其感興趣的特定領域,,這樣才能確保待處理的影像塊明顯小于整個影像在處理與評估時的尺寸,。比如在車道識別與跟蹤過程中,由于路面上空不含相應數(shù)據,,因此幀中這一部分可以刪除,。
為了支持這種類型的數(shù)據傳輸,SoC 需要多通道,、多線程的直接存儲器存取(DMA) 引擎,。DMA 控制器應支持多種傳輸幾何與傳輸序列,。前代 DMA 控制器的傳輸技術(如前代 TI 芯片上的 EDMA2 控制器)僅限于二維功能,且數(shù)據來源與目的地共享索引參數(shù),。與此不同的是,,達芬奇處理器上的 EDMA3 控制器支持獨立的來源與目的地索引以及三維傳輸。
除視頻輸入及處理功能,,停車輔助等應用還要求具備視頻輸出功能,。即便沒有針對生產進行視頻輸出設計,視頻輸出功能在研發(fā)與系統(tǒng)調試階段也相當有用,。為了支持視頻輸出,,達芬奇處理器采用了視頻處理后端技術,其包括屏幕菜單式調節(jié)引擎 (OSD) 與視頻編碼器 (VENC),。OSD 引擎能處理兩個獨立的視頻窗口與兩個獨立的 OSD 窗口,。VENC可提供 4 個模擬視頻輸出,就多種格式而言,,最高可支持 24 位的數(shù)字輸出,。
簡化設計
ADAS 應用是發(fā)展快速的尖端技術,開發(fā)人員應采用能夠簡化開發(fā)工作并有助于加速原型設計的工具,,所以 ADAS 算法開發(fā)過程借助C 或 Simulink,、MATLAB 等建模軟件可以達到最佳效果。當然,,運行良好的系統(tǒng)所需要的不僅僅是算法,。因此,擁有實時內核與外設驅動器等現(xiàn)成可用的軟件組件是至關重要的,。當然,,現(xiàn)成可用的專用開發(fā)工具及算法庫也同等重要。這些組件不僅能夠縮短數(shù)月的 ADAS 開發(fā)時間,,而且還能夠得到達芬奇處理器的支持,。
總之,供應商要想其產品適用于汽車應用的話,,就必須通過業(yè)界集成電路質量標準 AEC-Q100 認證,。但要想通過該認證是非常困難的,除非相關解決方案的設計從一開始就考慮到認證的要求,。供應商可以選擇 DM643x 達芬奇處理器等設計本身符合 AEC-Q100 標準的組件,,從而能夠確保他們成功地滿足產品汽車質量認證要求。
目前,,工程師與業(yè)界領導者都應通過主動安全與 ADAS 技術進一步降低交通事故死亡率,。憑借基于 DSP 靈活架構的高性能 SoC、專用開發(fā)工具與軟件庫以及創(chuàng)新算法,,汽車供應商與 OEM 廠商能夠為市場帶來穩(wěn)定,、可靠的 ADAS 應用,。
關于作者
Zoran Nikolic,首席車載與機器視覺系統(tǒng)架構師 ([email protected]),。
Zoran Nikolic博士是 TI 首席車載與機器視覺系統(tǒng)設計師,,其主要從事嵌入式系統(tǒng)的工程設計工作。他在影像處理,、車載與機器視覺及影像識別等領域具備精湛的專業(yè)技能,。Nikolic 博士負責開發(fā)了首款采用 TI C6000 DSP 架構的影像平臺 IDK(影像開發(fā)者套件)。此外,,他不僅協(xié)同設計了 DM642 媒體處理器視頻端口模塊的架構,,而且還參與了該架構功能與性能標準的制定。目前,,他正致力于汽車與機器視覺應用的 DSP 架構的優(yōu)化工作,。
Brooke Williams,負責車載與機器視覺系統(tǒng)的市場營銷經理 ([email protected])
Brooke Williams于 1989 年加盟 TI,,自 2005 年起一直在 DSP 產品部工作,。他曾從事過工程設計、產品市場營銷與管理等多種不同崗位的工作,,目前主要負責汽車駕駛員輔助與機器視覺系統(tǒng)市場的 DSP市場營銷與產品發(fā)展戰(zhàn)略的制定,。加入 DSP 產品部之前, Williams 曾在 DLP 產品部擔任業(yè)務開發(fā)與產品市場營銷經理,,負責協(xié)助開發(fā)大屏幕與數(shù)字影院投影儀兩個領域的業(yè)務,。他曾出席眾多業(yè)界活動并發(fā)言,還在眾多技術刊物上發(fā)表過著作,。他自馬克特大學 (Marquette University) 獲得機械工程設計學士學位后,,繼而又在得克薩斯大學達拉斯分校 (University of Texas at Dallas) 獲得工商管理碩士學位。
Gaganjot S. Maur,,汽車與機器視覺應用工程師 ([email protected])
Gaganjot S. Maur于 1999 年加入 TI,,一直從事基于 TI 高性能 DSP 的 DSP 系統(tǒng)設計工作。目前他主要擔任 DSP 標準應用組的應用工程師,,并負責汽車視覺應用系統(tǒng)的軟件開發(fā),。Maur畢業(yè)于印度浦那大學 (Pune University) 并榮獲了電子與通信專業(yè)的工程學學士學位。