徐弘揚

　?。ê戏使I(yè)大學 計算機與信息學院，安徽 合肥 230009）

　　摘要：系統(tǒng)以三星處理器S3C6410為硬件平臺,，Linux操作系統(tǒng)為軟件平臺,，利用OpenCV視覺算法庫和交叉編譯環(huán)境，在ARM平臺上進行圖像處理與車牌識別,，并完成了SD卡模塊,、網(wǎng)絡模塊和圖像采集模塊的驅(qū)動開發(fā)。針對在ARM平臺上處理數(shù)字圖像數(shù)據(jù)量大,、耗時長的情況,，提出了多線程處理模式和中斷線程化方法，極大地提高了系統(tǒng)的實時性,。

　　關鍵詞：嵌入式Linux,；OpenCV；車牌識別,；多線程,；中斷線程化

0引言

　　與基于X86平臺的傳統(tǒng)圖像處理系統(tǒng)相比,，嵌入式系統(tǒng)具有專用性強、處理速度快,、軟硬件可裁剪等優(yōu)點［1］,。本文基于ARM平臺和OpenCV視覺算法庫，采用多線程處理模式和中斷線程化方法,，實現(xiàn)對車牌圖像的快速處理與識別,。

1系統(tǒng)總體設計

　　本系統(tǒng)主要由S3C6410處理器、圖像采集模塊,、紅外對射模塊,、SD卡模塊和網(wǎng)絡通信模塊組成?？傮w結構框圖如圖1所示?！　?/p>

　　紅外對射模塊檢測等待區(qū)是否有車輛,，如有車輛停放，發(fā)送信號給處理器,，并啟動攝像頭采集圖像［2］,；SD卡模塊用于存放車牌字符的模板庫，處理器識別出車牌號并與SD卡中的字符模板進行匹配,；網(wǎng)絡通信模塊將車輛圖像信息直接上傳給服務器,。

2Linux平臺搭建

　　2.1OpenCV移植

　　考慮到圖像處理算法設計難度大、開發(fā)周期長,、代碼效率低等問題,，本系統(tǒng)在Linux開發(fā)環(huán)境下，調(diào)用成熟高效的OpenCV函數(shù)庫,，利用交叉編譯,，生成在目標機上可運行的代碼。

　?。?）安裝OpenCV依賴庫

　　OpenCV依賴于libpng,、libjpeg、libstdcpp,、libpthread等庫,，而這些庫又依賴于其他一些庫文件，所有需依賴的庫都要編譯安裝,。

　?。?）配置OpenCV

　　進入OpenCV根目錄，運行./config,，對OpenCV進行配置：--host=arm-linux指定交叉編譯為ARM平臺,；--enablestatic表示生成靜態(tài)庫,。

　　2.2-Uboot移植

　　Bootloader是系統(tǒng)上電/復位后，內(nèi)核啟動程序之前的一小段代碼,，其功能是初始化硬件設備,，并將操作系統(tǒng)內(nèi)核裝載到RAM中運行。U-boot作為一個主流,、通用的Bootloader,，被成功移植到包括PowerPC、ARM,、X86,、MIPS等多種體系結構的處理器上。

　　2.2.1網(wǎng)卡驅(qū)動移植

　　系統(tǒng)采用DM9000網(wǎng)卡控制器進行網(wǎng)絡通信,，所以需要在板級配置文件My6410.h中屏蔽掉原有的cs8900配置,，并添加對DM9000的支持。

　　要使掛接在BANK1上的DM9000正常工作,，需要配置SROM控制器相關的寄存器,。在板級初始化文件My6410.c中，添加DM9000初始化函數(shù)dm9000_init(),，并修改寄存器SROM_BCn相應位值,。

　　#define DM9000_Tacs0x2/*2clk

　　#define DM9000_Tcos0x1/*0clk

　　#define DM9000_Tacc0x1/*2clk

　　#define DM9000_Tcoh0x0/*0clk

　　#define DM9000_Tcah0x2/*2clk

　　#define DM9000_Tacp0x2/*2clk

　　#define DM9000_PMC0x0/*1data

　　2.2.2SD卡驅(qū)動移植

　　U-boot中并沒有實現(xiàn)針對S3C6410 SD/MMC控制器的驅(qū)動程序，需要自行添加代碼,，實現(xiàn)SD卡的初始化,、命令處理、塊設備讀等操作,。

　　驅(qū)動文件sd_driver.c中,，函數(shù)sd_init()實現(xiàn)SD卡初始化，它首先對SD/MMC主控制器時鐘,、中斷等進行初始化,，然后通過主控制器向SD卡發(fā)送命令，命令操作通過函數(shù)sd_cmd()實現(xiàn),。SD卡讀操作函數(shù)sd_read用于從SD卡中將源地址從src開始,，大小為size的數(shù)據(jù)讀取到dst指定的地址中。sd_read函數(shù)原型為：

　　sd_read(src,dst,blkcnt *sd_block_size)

　　2.2.3USB驅(qū)動移植

　　本系統(tǒng)采用USB接口的圖像采集模塊,，為使該模塊正常工作,，需要移植USB驅(qū)動。U-boot中已經(jīng)實現(xiàn)了較完整的主機OHCI驅(qū)動,，但沒有USB設備驅(qū)動的代碼,，所以需要添加這部分代碼。

　　在板級配置文件My6410.h中進行相應配置,，使U-boot支持USB設備驅(qū)動,、USB主機驅(qū)動及命令和USB存儲設備,，并在include/s3c6410.h中完善對S3C6410 USB OTG控制器寄存器的定義。

3車輛圖像處理

　　對于攝像頭采集的車輛圖像處理主要分為3個步驟：車牌定位,、字符分割和字符識別,。其中，車牌定位是整個處理過程的基礎,，其定位的準確與否直接影響到車牌的字符分割和識別效果,。圖2給出車牌定位的一般流程?！　?/p>

　　從OpenCV函數(shù)庫角度來說,，調(diào)用cvCvtColor函數(shù)對彩色圖像進行灰度化處理；利用Soble算子對圖像進行垂直方向的邊緣檢測,；再對圖像進行閾值分割,，取合適的閾值，將圖像轉(zhuǎn)換為二值圖像,；為了消除圖像噪聲,，還要對其進行濾波操作，本系統(tǒng)采用的是形態(tài)學濾波方法,，先使用閉運算操作再使用開運算操作，兩種運算都包含腐蝕與膨脹,；形態(tài)學運算后得到少部分矩形區(qū)域,，即為車牌的候選區(qū)域，可以使用cvFindContours函數(shù)來實現(xiàn)輪廓檢測,，然后根據(jù)我國車牌長寬比的特征,，即44:14，定位車牌區(qū)域,。

　　車牌區(qū)域提取出來后,，要將車牌字符分割，由于可能存在車牌傾斜的情況,，導致字符分割與識別不準確,，因此要先使用Hough算法［3］對車牌進行傾斜校正，然后將車牌字符在垂直方向上投影,，字符之間的間隙會在投影上產(chǎn)生低谷,，從而實現(xiàn)字符分割。分割完成后,，對各個字符進行識別,，采用基于模板匹配的ORC算法，將字符尺寸縮放至與SD卡中存儲的模板大小一致并匹配,，得出最佳的匹配結果,。

4系統(tǒng)實時性改進

　　本系統(tǒng)采用三星S3C6410處理器,，該CPU基于ARM1176JZF-S內(nèi)核，由8級流水線組成,，主頻可達522 MHz,，最高可達667 MHz，但由于在ARM平臺上處理數(shù)字圖像數(shù)據(jù)量大,、過程復雜的特點,，系統(tǒng)實時性還有待提高。

　　4.1多線程處理

　　線程是進程的一個實體,，是CPU調(diào)度和分配的基本單元,，它不擁有系統(tǒng)資源，但可與同一進程中的其他線程共享該進程的所有資源,。本系統(tǒng)采用多線程處理方法,，主程序中創(chuàng)建4個線程，分別用于圖像采集,、圖像解壓,、灰度化和網(wǎng)絡通信。圖像采集線程從圖像傳感器中讀取圖像信息,，圖像解壓線程利用libjpeg庫將讀取到的JPEG圖像轉(zhuǎn)換為BMP圖像,，灰度化線程對得到的BMP圖像進行灰度化處理，網(wǎng)絡通信線程用于將讀取到的圖像發(fā)送給服務器,。為此,，還要創(chuàng)建兩個FIFO，用于線程間的資源共享,，第一個FIFO用來存放圖像采集線程讀取到的圖像信息,，可被圖像解壓線程和網(wǎng)絡通信線程共享；第二個FIFO用來存放解壓后的圖像數(shù)據(jù),，用于灰度化線程的處理,。這4個線程并發(fā)執(zhí)行，大大提高了CPU的利用率和處理速度,，便于實時控制,。

　　得到灰度化圖像之后，還需對圖像進行進一步處理,，如果按照“邊緣檢測—二值化—形態(tài)學濾波”的步驟執(zhí)行,，則耗時太長，不利于提高系統(tǒng)實時性,。這里開啟3個線程,，分別用于邊緣檢測、二值化和形態(tài)學濾波。由于這3個線程執(zhí)行過程中有依賴關系,，因此還要創(chuàng)建兩個FIFO,，分別用于存放邊緣檢測后的圖像數(shù)據(jù)和二值化后的圖像數(shù)據(jù)。改進后的車牌定位流程圖如圖3所示,?！　?/p>

　　4.2中斷線程化

　　在Linux標準內(nèi)核中，中斷是最高優(yōu)先級的執(zhí)行單元,，當中斷觸發(fā)時,，內(nèi)核必須立即響應中斷并執(zhí)行響應的中斷處理程序，且不會被其他任何程序打斷,，這會導致實時任務得不到及時處理,，如果系統(tǒng)IO負載嚴重，中斷會非常頻繁,，實時任務很難有機會運行［4］,。本系統(tǒng)采用中斷線程化方式，為中斷創(chuàng)建線程,，中斷作為內(nèi)核線程被賦予相應的優(yōu)先級,，該優(yōu)先級可以低于對實時性要求更高的任務，確保實時任務被優(yōu)先快速執(zhí)行,，提高系統(tǒng)實時性［5］,。

　　具體實現(xiàn)方法為：在內(nèi)核初始化函數(shù)init()中調(diào)用init_hardirqs（）函數(shù)，為相應中斷創(chuàng)建一個內(nèi)核線程,，并分配優(yōu)先級,。本系統(tǒng)中主要有3種中斷：SD卡傳輸中斷、網(wǎng)絡傳輸中斷和OTG中斷,。

　　創(chuàng)建中斷線程函數(shù)：desc->thread = kthread_create(do_irqd,，desc,，“IRQ %d”,，irq)，irq為相應中斷的中斷號,。

　　當中斷發(fā)生時,，系統(tǒng)調(diào)用do_IRQ()函數(shù)，處理與架構相關的部分,，然后調(diào)用_do_IRQ()函數(shù)判斷中斷描述符的狀態(tài)字段是否包含SA_NODELAY標志,，若包含則該中斷已被線程化，喚醒相應的中斷處理線程,；反之則調(diào)用handle_IRQ_event()函數(shù)直接轉(zhuǎn)入中斷服務程序處理,。

5結論

　　本系統(tǒng)基于Linux軟件平臺和ARM硬件平臺，利用OpenCV視覺算法庫,，在嵌入式系統(tǒng)上實現(xiàn)車牌識別,。該系統(tǒng)與基于X86平臺的系統(tǒng)相比,，實現(xiàn)了系統(tǒng)專用性、便攜性等特點,；與基于DSP平臺的系統(tǒng)相比,，大大降低了成本。針對ARM平臺處理數(shù)字圖像系統(tǒng)實時性不足問題,，提出多線程處理和中斷線程化方法,，極大地提高了系統(tǒng)的實時性。實驗結果表明,，采用這種方法,，從采集圖像到完成識別所用時間大大減少，系統(tǒng)執(zhí)行效率極大提高,，完全能夠滿足實時處理數(shù)字圖像的需求,。

參考文獻

　　［1］ 田紅鵬,，焦鑫. 基于嵌入式Linux和OpenCV的車牌定位方法［J］. 計算機工程與設計,，2014，35（11）：39083911.

　?。?］ 郭建,，孫青，黃霞. 基于圖像引導的自動導引小車系統(tǒng)設計［J］. 測控技術,，2012,31（7）：3841.

　?。?］ MUKHOPADHYAY P，CHAUDHURI B B. A survey of Hough transform［J］.Pattern Recognition,，2015,，48（3）：9931010.

　　［4］ 孫首昌,，韓紅芳,，孟煜. 嵌入式Linux實時技術改進與實現(xiàn)［J］. 微計算機信息，2007,，23（122）：6768.

　?。?］ 單承剛. 嵌入式Linux下的實時性增強方案［J］. 電子技術應用，2010,，36（7）：137139.