《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 顯示光電 > 設(shè)計(jì)應(yīng)用 > 基于雙目立體視覺(jué)的圖像增強(qiáng)
基于雙目立體視覺(jué)的圖像增強(qiáng)
2015年微型機(jī)與應(yīng)用第19期
宋菲菲1,,趙宏宇2
(1.內(nèi)蒙古電子信息職業(yè)技術(shù)學(xué)院,,內(nèi)蒙古 呼和浩特 010070; 2.北京工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院,,北京 100124)
摘要: 戶外視覺(jué)系統(tǒng)采集圖像時(shí),,容易受到低照度等因素的影響,,導(dǎo)致捕獲的圖像退化,,視見(jiàn)度降低。本文提出了一種基于雙目立體視覺(jué)的圖像增強(qiáng)算法,。該算法首先通過(guò)立體匹配處理求解場(chǎng)景視差圖像,,然后構(gòu)建廣義雙邊濾波估計(jì)圖像照度分量,根據(jù)Retinex原理求解圖像反射分量,,實(shí)現(xiàn)圖像的增強(qiáng),。實(shí)驗(yàn)證明,該算法能夠有效地改善圖像質(zhì)量,,提高雙目視覺(jué)系統(tǒng)工作的魯棒性和可靠性,。
Abstract:
Key words :

  摘  要: 戶外視覺(jué)系統(tǒng)采集圖像時(shí),容易受到低照度等因素的影響,,導(dǎo)致捕獲的圖像退化,,視見(jiàn)度降低。本文提出了一種基于雙目立體視覺(jué)圖像增強(qiáng)算法,。該算法首先通過(guò)立體匹配處理求解場(chǎng)景視差圖像,然后構(gòu)建廣義雙邊濾波估計(jì)圖像照度分量,,根據(jù)Retinex原理求解圖像反射分量,,實(shí)現(xiàn)圖像的增強(qiáng)。實(shí)驗(yàn)證明,,該算法能夠有效地改善圖像質(zhì)量,,提高雙目視覺(jué)系統(tǒng)工作的魯棒性和可靠性。

  關(guān)鍵詞: 圖像增強(qiáng),;Retinex,;雙目立體視覺(jué);立體匹配

0 引言

  雙目立體視覺(jué)直接模擬人類雙眼處理景物的方式,,可靠簡(jiǎn)便,,在許多領(lǐng)域均極具應(yīng)用價(jià)值,如人機(jī)交互,、視頻監(jiān)控,、智能控制、三維測(cè)量,、機(jī)器人導(dǎo)航與航測(cè)以及虛擬現(xiàn)實(shí)等,。雙目立體視覺(jué)是計(jì)算機(jī)視覺(jué)的一個(gè)重要分支,其原理是由不同位置的兩臺(tái)攝像機(jī)或者一臺(tái)攝像機(jī)(CCD)經(jīng)過(guò)移動(dòng)或旋轉(zhuǎn)拍攝同一幅場(chǎng)景,,通過(guò)計(jì)算機(jī)空間點(diǎn)在兩幅圖像中的視差,,獲得該點(diǎn)的三維坐標(biāo)值。

  目前,,對(duì)于雙目立體視覺(jué)的研究主要集中在特征匹配[1-2],、攝像機(jī)標(biāo)定,、三維重建[3]等方面,對(duì)于圖像增強(qiáng)領(lǐng)域卻鮮有研究,。在實(shí)際應(yīng)用中,,普遍采用單幅圖像的圖像增強(qiáng)算法,這類方法對(duì)圖像全局進(jìn)行統(tǒng)一處理,,由于沒(méi)有考慮場(chǎng)景的景深情況,,不能充分校正不同景深區(qū)域的對(duì)比度和顏色。

  針對(duì)這個(gè)問(wèn)題,,本文提出了一種基于雙目立體視覺(jué)的圖像增強(qiáng)算法,,主要針對(duì)低照度圖像進(jìn)行處理。該算法首先進(jìn)行立體匹配操作求解視差圖像,,通過(guò)視差圖像反映場(chǎng)景的深度信息,。根據(jù)Retinex原理[4],將視差圖像作為反映場(chǎng)景深度的先驗(yàn)信息,,構(gòu)建廣義雙邊濾波估計(jì)圖像的照度分量,,從而獲得含物體本身特性的反射分量,即增強(qiáng)后的清晰圖像,。本文算法假設(shè)場(chǎng)景深度變化主要在于邊緣區(qū)域,,而非邊緣區(qū)域深度變化平緩。最后通過(guò)實(shí)驗(yàn)證明該算法能夠利用估計(jì)的視差信息,,充分恢復(fù)不同景深的場(chǎng)景顏色與細(xì)節(jié)信息,。

1 本文算法

  1.1 雙目立體視覺(jué)系統(tǒng)

  雙目立體視覺(jué)的基本原理是從兩個(gè)視點(diǎn)觀察同一景物,獲取兩幅同一場(chǎng)景的圖像,,根據(jù)像素點(diǎn)的相似性計(jì)算求解圖像像素間的位置偏差(視差),,從而根據(jù)三角形法原理確定三維空間點(diǎn)的深度信息,進(jìn)而重建景物,,這一過(guò)程與人類視覺(jué)的立體感知過(guò)程相類似,。

001.jpg

  雙目視覺(jué)系統(tǒng)如圖1所示,焦點(diǎn)分別為O1和O2的兩臺(tái)攝像機(jī)具有相同的參數(shù)性能,,同時(shí)光軸互相平行,、X軸互相重合、Z軸與左攝像機(jī)的光軸重合,,兩個(gè)攝像機(jī)焦距均為f,,它們之間的距離為B,I1和I2為左右攝像機(jī)的像平面,,P1和P2分別是空間點(diǎn)在左右像平面上的成像點(diǎn),。由相似三角形關(guān)系可導(dǎo)出深度信息方程:

  U{_V(XVNQ(%YYU]HH4R(GZ0.png

  式中,d=pl-pr為兩幅圖的視差,,焦距f通過(guò)攝像機(jī)標(biāo)定求得,。

  在雙目立體視覺(jué)系統(tǒng)中,,立體匹配與三維重建等方面的研究最多,而對(duì)于圖像增強(qiáng)方面的研究也具有重要的理論與實(shí)際意義,,它直接影響到匹配操作的精度和速度,,同時(shí),通過(guò)削弱場(chǎng)景中諸多因素的干擾,,如光照條件,,能夠?yàn)樽罱K的三維重建打下堅(jiān)實(shí)的基礎(chǔ)。

  由公式(1)可知,,通過(guò)對(duì)左右圖像進(jìn)行特征匹配,,就可以得到其視差信息,結(jié)合已知信息B和f,,即可獲得場(chǎng)景中目標(biāo)的深度,。因此,本文假設(shè)圖像包含的視差信息能夠較好地反應(yīng)場(chǎng)景深度,,將視差信息作為反映場(chǎng)景深度的先驗(yàn)信息施加到圖像增強(qiáng)處理過(guò)程中,。

  1.2 立體匹配

  立體匹配是尋找同一空間景物在不同視點(diǎn)下投影圖像中像素間的一一對(duì)應(yīng)關(guān)系,一般包括匹配代價(jià)計(jì)算,、代價(jià)值聚集,、視差計(jì)算等步驟[5-6]。本文采用自適應(yīng)的方法,,結(jié)合SAD(Sum of Absolute Differences)和梯度特征的相似性測(cè)度因子[6]進(jìn)行匹配代價(jià)計(jì)算,即:

  23.png

  式中,,x表示圖像像素,,N(x)是在x處的3×3的包圍窗口,NH(x)是不包含最左一列的包圍窗口,,NV(x)是不包含最下一行的包圍窗口,。WNOV12LSTGEGH[DUW9(2Q8S.jpgH表示水平梯度,WNOV12LSTGEGH[DUW9(2Q8S.jpgV表示垂直梯度,。此時(shí),,匹配代價(jià)函數(shù)可以表示為:

  KH}UYH%918LKMK9_)`AYXFU.png

  其中,WNOV12LSTGEGH[DUW9(2Q8S.jpg是最優(yōu)權(quán)值,,由最大化可靠對(duì)應(yīng)像素的數(shù)量來(lái)決定,,可靠像素是通過(guò)勝者為王(Winner-Takes-All,WTA)準(zhǔn)則來(lái)過(guò)濾的,,公式(4)經(jīng)過(guò)閾值法[6]處理之后最終得到初始視差圖像為OG~FK{()`WC%1D$KL{(0AO4.jpg,。在視差圖像計(jì)算方面,為了優(yōu)化其結(jié)果,,需要對(duì)視差圖像進(jìn)行平滑操作,,下面采用的是選擇性模式濾波器(Selective Mode Filter)[7],,從而獲得理想的視差圖像結(jié)果D。本文將視差圖像D引入到圖像增強(qiáng)操作中來(lái),。

  1.3 基于Retinex原理的圖像增強(qiáng)處理

  基于Retinex理論提出來(lái)的圖像增強(qiáng)方法具有高動(dòng)態(tài)范圍壓縮,、局部對(duì)比度增強(qiáng)、保持圖像顏色恒常性等優(yōu)點(diǎn)[4],。

  Retinex理論認(rèn)為一幅圖像可分為兩部分,,即一幅圖像I可由反射分量R和照度分量L的乘積表示,即:

  I(x)=R(x)L(x)(5)

  其中,,照度分量的性質(zhì)取決于光源,,決定了圖像的動(dòng)態(tài)范圍;反射分量的性質(zhì)則取決于成像物體的特性,,主要反映了圖像的細(xì)節(jié)信息,。Retinex原理的思想實(shí)際上就是去除或減少照度分量的影響,獲得包含較多細(xì)節(jié)信息的反射分量,。其計(jì)算過(guò)程在對(duì)數(shù)域上進(jìn)行:

  logR(x)=logI(x)-logL(x)(6)

  上述反射分量的求解在數(shù)學(xué)上是一個(gè)奇異問(wèn)題,,因此需要把求解問(wèn)題變成約束最優(yōu)化問(wèn)題,通過(guò)對(duì)照度分量的準(zhǔn)確估計(jì)進(jìn)行反射分量的求解,。由于照度分量具有局部平滑的性質(zhì),,因此對(duì)它的估計(jì)可以看作為平滑問(wèn)題,本文采用廣義雙邊濾波求解照度分量,。

  雙邊濾波的理論是Tomasi和Manduchi[8]于1998年提出的,,該理論同時(shí)考慮了空間鄰近度與像素值相似度,是一種邊緣保持的非迭代平滑濾波方法,。本文采用的廣義雙邊濾波則是結(jié)合了視差值相似度與像素值相似度進(jìn)行平滑操作,,其形式定義為:

  1.png

  式中,PL4WB6`K~%ZIUMO1~I`IUWD.png為高斯函數(shù),,表示隨著視差值差異以及灰度差值的增大,,圖像像素的權(quán)重逐漸減小。

  公式(6),、(7)的計(jì)算需要將圖像由RGB顏色空間轉(zhuǎn)換到HSV(Hue,,Saturation,Value)顏色空間下,,僅對(duì)亮度分量進(jìn)行處理,,而獲得的飽和分量與色調(diào)分量保持不變,在獲得反射分量后,,再將圖像由HSV顏色空間轉(zhuǎn)換到RGB顏色空間,,即可獲得增強(qiáng)后的圖像。

2 實(shí)驗(yàn)仿真與分析

002.jpg


  為驗(yàn)證本文算法的有效性,,在MATLAB平臺(tái)上進(jìn)行圖像處理實(shí)驗(yàn),,主要針對(duì)低照度圖像進(jìn)行處理,。圖2(a)、(b)為存在視差的參考圖像,;(c)為獲得的初始視差圖像,;(d)為優(yōu)化后的視差圖像;(e)為圖(b)的照度分量,;(f)為圖(b)的圖像增強(qiáng)結(jié)果,。通過(guò)實(shí)驗(yàn)可知,本文算法能夠根據(jù)場(chǎng)景深度的差異,,再現(xiàn)場(chǎng)景的真實(shí)顏色,,以及增強(qiáng)低照度區(qū)域的細(xì)節(jié)信息。

3 結(jié)論

  本文將雙目立體視覺(jué)原理應(yīng)用于低照度圖像的增強(qiáng)上,,將視差圖像作為場(chǎng)景深度的先驗(yàn)信息,,在估計(jì)圖像照度分量的時(shí)候,提供了約束條件,,構(gòu)建了廣義雙邊濾波,,更加充分地恢復(fù)了圖像細(xì)節(jié)信息。該算法具有較高的魯棒性,,能夠較好地改善雙目視覺(jué)系統(tǒng)的工作能力,,具有廣泛的應(yīng)用前景。

參考文獻(xiàn)

  [1] 岳陳平,,孟麗婭.基于SAD算法的立體匹配的實(shí)現(xiàn)[J].微型機(jī)與應(yīng)用,,2013,32(6):41-43.

  [2] 歐陽(yáng)鑫玉,,張娟娟,,趙楠楠,等.基于NCC的改進(jìn)立體匹配算法[J].微型機(jī)與應(yīng)用,,2015,34(3):54-57.

  [3] 趙宏宇,,李燕華,,侯振杰,等.基于魯棒估計(jì)滅點(diǎn)分層重建的研究[J].微型機(jī)與應(yīng)用,,2011,,30(9):31-35.

  [4] 肖創(chuàng)柏,趙宏宇,,禹晶.基于引導(dǎo)濾波的Retinex快速夜間彩色圖像增強(qiáng)技術(shù)[J].北京工業(yè)大學(xué)學(xué)報(bào),,2013,39(12):1868-1873.

  [5] SCHARSTEIN D,, SZELISKI R. Stereo matching with nonlinear diffusion[J]. International Journal of Computer Vision,, 1998,,28(2):155-174.

  [6] KLAUS A, SORMANN M,, KARNER K. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure[C]. 18th International Conference on Pattern Recognition,, 2006:15-18.

  [7] LANKTON S. Selective mode filter in Matlab[EB/OL]. (2008-04-12)[2015-05-13]. Http://www.shawnlankton.com, 2008-04-12.

  [8] TOMASI C,, MANDUCHI R. Bilateral filtering for gray and color images[C]. In: Proceedings of the 6th International Conference on Computer Vision Bombay,, India: IEEE, 1998: 839-846.


此內(nèi)容為AET網(wǎng)站原創(chuàng),,未經(jīng)授權(quán)禁止轉(zhuǎn)載,。