《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 可編程邏輯 > 設(shè)計應(yīng)用 > 基于SoPC的實時視頻處理與顯示設(shè)計
基于SoPC的實時視頻處理與顯示設(shè)計
來源:微型機與應(yīng)用2011年第7期
王水魚,,景聰莉
(西安理工大學(xué) 自動化與信息工程學(xué)院,,陜西 西安 710048)
摘要: 介紹了一種采用SoPC技術(shù),適用于光照度不夠均勻造成圖像灰度過于集中環(huán)境下的視頻處理與顯示設(shè)計,。該系統(tǒng)基于FPGA技術(shù),,通過將NiosⅡ軟核處理器,、用戶自定義邏輯模塊、存儲器,、I/O等集成到單塊低成本的FPGA上,,實現(xiàn)對解碼芯片SAA7113H的初始化及配置、視頻圖像灰度信號直方圖統(tǒng)計以及灰度均衡化的實時處理與顯示,。其設(shè)計靈活,、可靠性高,并且降低了成本和功耗,。
Abstract:
Key words :

摘  要: 介紹了一種采用SoPC技術(shù),,適用于光照度不夠均勻造成圖像灰度過于集中環(huán)境下的視頻處理與顯示設(shè)計。該系統(tǒng)基于FPGA技術(shù),,通過將NiosⅡ軟核處理器,、用戶自定義邏輯模塊、存儲器,、I/O等集成到單塊低成本的FPGA上,,實現(xiàn)對解碼芯片SAA7113H的初始化及配置、視頻圖像灰度信號直方圖統(tǒng)計以及灰度均衡化的實時處理與顯示,。其設(shè)計靈活,、可靠性高,并且降低了成本和功耗,。
關(guān)鍵詞: SoPC,;I2C灰度直方圖統(tǒng)計,;灰度均衡化

 當前基于軟核處理器的圖像系統(tǒng)已成為研究的熱點,,使用FPGA來構(gòu)建基于片上可編程系統(tǒng)(SoPC)的圖像處理系統(tǒng),已成為一種趨勢[1],。因此,,本文采用SoPC技術(shù),在Altera公司單片Cyclone系列FPGA上使用IP資源復(fù)用技術(shù)集成了NiosII軟核處理器及各種輸入輸出接口,完成了對視頻圖像的采集,、預(yù)處理,、存儲和顯示幾大功能。本系統(tǒng)對圖像進行了灰度均衡化處理,,使系統(tǒng)應(yīng)用更廣,。由于直方圖均衡能直接從已知的圖像中提取信息,不需要額外的參數(shù)說明,,所以在軍用,、航空、商業(yè)等領(lǐng)域,,特別是紅外圖像增強領(lǐng)域[2]有實際的意義,。SoPC是Altera公司提出來的一種靈活、高效的柔性設(shè)計,,不需要修改硬件[3],,就可方便地擴展和修改嵌入式視頻采集功能。同時,,由于融入眾多的IP核,,保證了設(shè)計的高效、快速,。
1 系統(tǒng)總體結(jié)構(gòu)及工作原理
 系統(tǒng)框圖如圖1所示,。系統(tǒng)上電后,Nios II軟核中的I2C控制總線對視頻采集模塊SAA7113H進行配置,,F(xiàn)PGA依靠像素時鐘和行,、場信號同步采集SAA7113H芯片輸出的視頻信號中的灰度視頻數(shù)據(jù),把采集到的灰度數(shù)據(jù)進行灰度直方圖統(tǒng)計和灰度分布均衡化處理,。Nios II軟核外部加一個延遲模塊,,與灰度轉(zhuǎn)換模塊輸出的信號同步之后,視頻輸入模塊開始工作,,通過存儲控制、DMA控制器傳輸視頻信號,,LCD顯示控制等模塊顯示所采集的信號,。所有處理都采用流水線操作,大大節(jié)省了系統(tǒng)的處理時間,。

2 系統(tǒng)硬件設(shè)計
2.1 視頻解碼芯片SAA7113H初始化

 本系統(tǒng)中視頻解碼器的初始化配置由Nios II軟核處理器通過I2C總線完成,,主要包括對視頻解碼器的工作模式,輸出行,、場同步參考信號的時序關(guān)系以及輸出數(shù)字信號的格式等進行設(shè)置,。I2C總線是由Philips公司開發(fā)的一種兩線制總線,由一條串行數(shù)據(jù)線SDA和一條串行時鐘線SCL組成,,可以實現(xiàn)數(shù)據(jù)通信,,完成芯片配置,。首先,I2C總線控制器發(fā)出一個數(shù)據(jù)傳輸?shù)钠鹗紬l件:SCL信號保持高電平,、而SDA信號由高電平變?yōu)榈碗娖綍r,,開始傳輸?shù)刂窋?shù)據(jù)流。起始條件滿足后,,發(fā)出一個8 bit的設(shè)備從地址,,所有的外圍設(shè)備開始響應(yīng)起始條件并轉(zhuǎn)換下一個8 bit寄存器地址(7 bit地址+1 bit讀寫位),由高位到低位依次傳輸,。外圍設(shè)備識別出傳輸?shù)刂泛?,在?個時鐘脈沖(確認位)把數(shù)據(jù)線變?yōu)榈碗娖剑缓箝_始將8 bit數(shù)據(jù)寫入或者讀出寄存器(讀寫位決定了數(shù)據(jù)的傳輸方向),。當時鐘線SCLK為高電平,、而數(shù)據(jù)線SDA由低電平變?yōu)楦唠娖綍r,表示一次數(shù)據(jù)傳輸完成,,停止I2C總線,,等待下一次的傳輸開始。圖2為I2C總線的數(shù)據(jù)傳輸時序圖,。

 

 

 從SAA7113H的4個模擬輸入端AI11,、AI12、AI21,、AI22輸入的視頻圖像信號,,經(jīng)A/D轉(zhuǎn)換后產(chǎn)生數(shù)字色度信號和亮度信號,分別進行亮度信號處理和色度信號處理,。亮度信號處理的結(jié)果送到色度信號處理器,,進行綜合處理,產(chǎn)生YUV信號,,經(jīng)格式轉(zhuǎn)化后從VPO(8位)輸出,。所有這些功能均是在I2C總線控制下完成。SAA7113的寄存器配置通過I2C總線來進行,,遵從I2C總線協(xié)議,。表1是SAA7113H寄存器的“寫”操作格式。

 其中,,S為起始位,,條件是SCL為高電平、SDA有下降沿,、ACK-s為從動設(shè)備應(yīng)答位,,P為終止位。在初始化過程中要注意:SAA7113H的節(jié)點地址(Slave Address)上電、RTS0為高電平時,,其I2C寫地址為48H,,讀地址為49H;RTS0為低電平時,,其I2C寫地址為4AH,,讀地址為4BH。
2.2 灰度直方圖統(tǒng)計及其均衡化
 通過輸入系統(tǒng)獲取的圖像信息中含有各種各樣的噪聲與畸變,,例如,,光照度不夠均勻會造成圖像灰度過于集中,由CCD獲得的圖像經(jīng)過A/D轉(zhuǎn)換,、線路傳送都會產(chǎn)生噪聲污染等,,不可避免地會影響系統(tǒng)圖像的清晰程度,降低圖像質(zhì)量,。但通過圖像增強可以改善圖像質(zhì)量,。直方圖均衡化算法是空域圖像增強技術(shù)的重要算法,是圖像壓縮,、圖像分割和圖像識別等后續(xù)圖像處理的基礎(chǔ)[2,,4],在圖像預(yù)處理技術(shù)中有廣泛的應(yīng)用,。
2.2.1 直方圖均衡化原理
 直方圖均衡是以概率論為基礎(chǔ),,運用灰度點運算來實現(xiàn)直方圖變換。原始圖像的直方圖包含了豐富的圖像信息,,描述了圖像的灰度級內(nèi)容,,反映了圖像的灰度分布情況。直方圖統(tǒng)計及均衡化的基本思想是對在圖像中像素個數(shù)多的灰度級進行展寬,,而對像素個數(shù)少的灰度級進行縮減,,從而達到清晰圖像的目的[5]。通過點運算使輸入圖像轉(zhuǎn)換為在每一灰度級上都有相同的像素點的數(shù)目,。在圖像增強處理中運用如下公式:

 (3)用累積分布函數(shù)作變換函數(shù)進行圖像灰度變換,。
2.2.2 基于FPGA的算法優(yōu)化及實現(xiàn)
 算法的關(guān)鍵是在FPGA中實現(xiàn)直方圖統(tǒng)計和均衡后的映射關(guān)系表,本設(shè)計采用FPGA器件提供的Block RAM來存放直方圖和均衡后映射關(guān)系表,。以雙端口RAM的數(shù)組結(jié)構(gòu)為核心,,把整個算法分為兩個部分執(zhí)行:(1)統(tǒng)計原始圖像的各級灰度值,并存入灰度計數(shù)表RAM中,;(2)對得到的灰度值做灰度映射,把映射后的結(jié)果存入到映射表RAM中,,即生成均衡映射表,。根據(jù)映射表就可以知道原始圖像某一灰度級經(jīng)過變換后的灰度級。經(jīng)過這樣的處理,就可以把原始圖像中密集分布的灰度值映射到經(jīng)過直方圖均衡化后的新的灰度級上,。圖3為該算法的邏輯框圖,。

 考慮到FPGA的硬件特點,在接收圖像數(shù)據(jù),、計算此場的直方圖時,,在FPGA內(nèi)實現(xiàn)浮點型數(shù)據(jù)運算相對復(fù)雜且消耗較多邏輯資源,因此在對圖像進行直方圖統(tǒng)計時將各灰度級像素點的個數(shù)作為直方圖數(shù)據(jù):pu(uk)=nk,,以避免使用浮點型數(shù)據(jù)運算,。對直方圖進行均衡化處理,得到原灰度到均衡化后灰度映射關(guān)系表,。本設(shè)計中的直方圖均衡化的算法具體的狀態(tài)轉(zhuǎn)移圖如圖4所示,。其具體的轉(zhuǎn)移條件:啟動信號有效時,由st1轉(zhuǎn)向st2,;當計數(shù)器1計數(shù)到255時,,跳轉(zhuǎn)到st3;當計數(shù)器1沒有計數(shù)到圖像高度減1或者計數(shù)器2沒有計數(shù)到圖像寬度減1時,,跳轉(zhuǎn)到st3,;當計數(shù)器1計數(shù)到圖像高度減1且計數(shù)器2計數(shù)到圖像寬度減1時,跳轉(zhuǎn)到st5,;當計數(shù)器1沒有計數(shù)到255時,,跳轉(zhuǎn)到st6;當計數(shù)器計數(shù)到255時,,跳轉(zhuǎn)到st7,;當計數(shù)器1計數(shù)到圖像高度減1且計數(shù)器2計數(shù)到圖像寬度減1時,跳轉(zhuǎn)到st1狀態(tài),;當計數(shù)器1沒有計數(shù)到圖像高度減1或者計數(shù)器2沒有計數(shù)到圖像寬度減1時,,跳轉(zhuǎn)到st6。在進行計數(shù)統(tǒng)計時,,計數(shù)器在檢測得到一個像素點的灰度之后,,不僅要相應(yīng)地將計數(shù)器加1,而且對應(yīng)灰度值大于當前灰度值的所有計數(shù)器都加1,,這樣就能同時完成原始圖像各像素灰度值的統(tǒng)計和累積,,減少了統(tǒng)計時間。

 因為在灰度均衡處理過程中是以場為單位進行的,,在灰度均衡化處理完之后,,要將場合并為幀。其操作是由Nios II軟核中的SDRAM控制器來完成奇偶場的合并,?;叶染饣姆抡娼Y(jié)果圖如圖5所示,。

3 視頻輸入模塊
 視頻輸入模塊的結(jié)構(gòu)示意圖如圖6所示。經(jīng)過灰度變換YcrCb4:2:2格式視頻信號在像素時鐘控制下輸入FIFO緩沖器,。彩條測試信號模塊在系統(tǒng)測試時,,給出一個非常簡單的測試信號,可以模擬為信號源,,以方便系統(tǒng)的調(diào)試,。色度轉(zhuǎn)換模塊將YCrCb格式轉(zhuǎn)換為RGB格式,并把其值寫到FIFO緩沖器中,。Avalon DMA把圖像數(shù)據(jù)寫到系統(tǒng)存儲器(SDRAM)中,,當完成一幀圖像需寫操作時,給Nios II處理器一個中斷信號,。

 在色度空間的轉(zhuǎn)換模塊中,,采用FPGA片內(nèi)的資源,利用MegaCore構(gòu)造一個乘加器件完成運算,。根據(jù)轉(zhuǎn)換矩陣中YUV的比例關(guān)系,,將信號放大一定的倍數(shù),使其接近一個整數(shù)值,。YUV信號的最大值為255,,但是10 bit DATA可以接收1 023亮度等級的調(diào)節(jié),所以這個比例可以放大4倍左右(如果超出1 023就按1 023的等級計算),。根據(jù)反復(fù)實驗最后得出,,按照如下的運算規(guī)則最接近轉(zhuǎn)換矩陣:
  
4 Nios II系統(tǒng)的生成
 用SoPC Builder可以進行系統(tǒng)模塊硬件設(shè)計和底層軟件生成。進行硬件模塊設(shè)計時,,SoPC Builder提供了圖形化配置界面,,備有一些常用外設(shè)的IP模塊,如SDRAM,、Flash RAM,、UART、Interval timer,、Parallel I/O等,。Nios II軟核所含的組件如圖7所示。

 在SoPC Builder自帶的IP核庫中并沒有I2C配置模塊,、視頻輸入模塊和LCD controller模塊的IP核,,這些模塊是根據(jù)寄存器特點以及功能要求自行設(shè)計的,并以IP核的形式通過Avalon總線連接到SoPC系統(tǒng)上,。在建立了基于Nios II處理器的SoPC系統(tǒng)后,,需要進行一些系統(tǒng)設(shè)置才能生成最終的Nios II系統(tǒng)。因此,,系統(tǒng)配置除了對外設(shè)設(shè)置外,,還包括啟動程序,、中斷向量表、系統(tǒng)啟動地址等的設(shè)置,。
 本文介紹了基于SoPC技術(shù)的視頻采集方案以及對視頻信號進行灰度直方圖統(tǒng)計及灰度均衡化的實現(xiàn)。該方案結(jié)合SoPC技術(shù)在軟硬件可裁剪,、可升級,、可擴充等優(yōu)點,大大縮短了系統(tǒng)整體設(shè)計周期,,有很好的應(yīng)用前景和科研價值,。
參考文獻
[1] 王剛,張瀲.基于FPGA的SoPC嵌入式系統(tǒng)設(shè)計與典型實例[M].北京:電子工業(yè)出版社,,2009.
[2] 劉延,,任永杰,李群偉,,等.基于FPGA的直方圖均衡實時并行算法及新架構(gòu)實現(xiàn)[J].紅外技術(shù),,2010(3).
[3] 李蘭英.NiosII嵌入式軟核SOPC設(shè)計原理及應(yīng)用[M].北京:北京航空航天大學(xué)出版社,2006.
[4] 唐崇武,,李會方,,何俊婷,等.改進的直方圖均衡圖像增強算法及實現(xiàn)[J].信息安全與通信保密,,2009(12).
[5] 魯恒.基于FPGA的實時圖像直方圖均衡增強設(shè)計[J].電子應(yīng)用技術(shù),,2006,32(11).

此內(nèi)容為AET網(wǎng)站原創(chuàng),,未經(jīng)授權(quán)禁止轉(zhuǎn)載,。