文獻(xiàn)標(biāo)識(shí)碼: A
文章編號(hào): 0258-7998(2015)04-0069-04
0 引言
在圖像處理領(lǐng)域中,,變焦技術(shù)發(fā)揮著非常重要的作用,,此技術(shù)已被廣泛應(yīng)用于公共生活、社會(huì)安全,、醫(yī)療設(shè)備以及生活的各個(gè)領(lǐng)域,。目前有很多科研工作者開展了這方面的工作:Seung Hwan Lee等設(shè)計(jì)了一種基于色度、色差、強(qiáng)度模型的電子變焦算法,,這種顏色模型可以改善輸出圖像的色彩,,提高圖像的清晰度和圖像質(zhì)量[1]。Lukac等提出了在Bayer模式上進(jìn)行電子變焦,,采用了一種彩色濾波陣列,,可以去除圖像的馬賽克和塊效應(yīng)[2]。本文針對(duì)相機(jī),、手機(jī)等移動(dòng)設(shè)備的特點(diǎn),,在研究了光學(xué)變焦和傳統(tǒng)電子變焦缺陷的基礎(chǔ)上,提出一種基于FPGA的高分辨率傳感器無損電子變焦的系統(tǒng)設(shè)計(jì)方案,,在不降低分辨率的前提下,,對(duì)圖像進(jìn)行縮放。該方案可以通過電子變焦的模式實(shí)現(xiàn)光學(xué)變焦的效果,,克服了光學(xué)變焦結(jié)構(gòu)復(fù)雜,、價(jià)格昂貴的不足,具有很大的現(xiàn)實(shí)意義,。
縮放算法是本文基于FPGA的電子變焦系統(tǒng)設(shè)計(jì)的核心,,目前應(yīng)用于圖像縮放的傳統(tǒng)算法有:最近鄰域法、雙線性插值,、雙三次插值等,。最近鄰域法得到的圖像質(zhì)量較差,雙三次插值實(shí)現(xiàn)復(fù)雜,,雙線性插值算法為一般縮放引擎使用的算法,,但是當(dāng)縮放系數(shù)較大時(shí),該算法也會(huì)出現(xiàn)由頻譜混疊帶來的鋸齒狀效果,?;趥鹘y(tǒng)縮放算法的不足,本文提出一種基于抗混疊濾波的圖像縮放算法,。該算法根據(jù)縮放系數(shù)不同先進(jìn)行濾波然后再做插值運(yùn)算,,克服了圖像尺寸變化帶來的混疊效應(yīng),即使針對(duì)較大縮放系數(shù)的情況下仍可以得到高質(zhì)量的圖像[3-5],。
1 變焦成像模型
光學(xué)變焦是相機(jī)通過移動(dòng)光學(xué)鏡頭來放大或縮小拍攝的對(duì)象,,光學(xué)變焦倍數(shù)越大,能拍攝的景物就越遠(yuǎn),。光學(xué)變焦示意圖如圖1所示,。當(dāng)感光器件在水平方向運(yùn)動(dòng)時(shí),視角和焦距就會(huì)發(fā)生相應(yīng)變化,,較遠(yuǎn)的景物變得清晰,,讓人產(chǎn)生物體被拉近的感覺[6],。
傳統(tǒng)電子變焦是采用插值處理方式把影像照片內(nèi)某一區(qū)域的像素面積擴(kuò)大到整個(gè)顯示窗口,從而達(dá)到放大目的,,傳統(tǒng)電子變焦示意圖如圖2所示。這種方法如同用圖像處理軟件把圖片的像素放大一樣,,由于焦距沒有發(fā)生改變,,圖像的清晰度會(huì)有一定程度的下降[6]。
本文提出的無損電子變焦模型采用大尺寸圖像傳感器采集圖像,,確保采集較大視場(chǎng)角的圖像,,提高變焦倍數(shù)。該模型的核心部分就是將全景圖像“濃縮”到顯示圖像,,即過采樣過程,。無損電子變焦示意圖如圖3所示,正常顯示時(shí),,將全景圖像縮小到顯示圖像輸出,,此時(shí)輸出的圖像為最大視場(chǎng)角圖像;當(dāng)放大圖像時(shí),,過采樣程度就會(huì)減小,,將較小的圖像縮小到顯示圖像輸出;直到放大到最大時(shí),,不需要過采樣,,直接將原圖中心顯示圖像大小的圖像輸出。這個(gè)過程不同于傳統(tǒng)電子變焦的插值計(jì)算法,,不會(huì)損失圖像精度和清晰度,。
2 變焦系統(tǒng)基本結(jié)構(gòu)
電子變焦系統(tǒng)功能框圖如圖4所示。根據(jù)設(shè)計(jì)要求,,系統(tǒng)被劃分為5個(gè)組成模塊:視頻圖像輸入模塊,、預(yù)濾波模塊、雙線性插值模塊,、縮放控制模塊,、視頻圖像輸出模塊。
FPGA作為系統(tǒng)的核心控制芯片,,采用預(yù)濾波和雙線性插值相結(jié)合的方法進(jìn)行圖像縮小,,通過縮放系數(shù)的變化控制預(yù)濾波方式和插值位置。外部設(shè)備采集2 560×1 440分辨率的視頻圖像,,縮放控制模塊根據(jù)縮放系數(shù)控制預(yù)濾波模塊選擇合適的濾波模板,,以及為雙線性插值模塊提供插值坐標(biāo)和插值系數(shù)。最終視頻圖像經(jīng)VGA輸出320×240分辨率的視頻圖像,,從而實(shí)現(xiàn)6倍光學(xué)變焦的效果,。預(yù)濾波模塊根據(jù)縮放系數(shù)選擇不同的濾波器進(jìn)行濾波,,從而消除圖像縮小帶來的頻譜混疊。插值模塊采用雙線性插值法實(shí)現(xiàn)圖像的縮放,??刂颇K根據(jù)縮放系數(shù)的變化,為預(yù)濾波模塊選擇合適的濾波器,,同時(shí)控制插值模塊生成合適的插值坐標(biāo)和插值系數(shù),,實(shí)現(xiàn)全局控制。
3 縮放算法分析
3.1 頻譜混疊
式(1)中x(t)為連續(xù)信號(hào),,x(n)為抽樣信號(hào),抽樣間隔為T,,若將抽樣頻率fs減小到(1/M)fs,,最簡(jiǎn)單的方法是將x(n)中每M個(gè)點(diǎn)抽取一個(gè),組成一個(gè)新的序列x′(n):
x′(n)=x(Mn),,n=-∞~+∞(2)
上述過程為減采樣過程,,圖5所示為抽樣頻率減小2倍的結(jié)果。
下面討論x(n)和x′(n)的頻域關(guān)系,,現(xiàn)定義一個(gè)中間序列x1(n):
式中p(n)是一脈沖串序列,,它在M的整數(shù)倍處值為1,其余為0,。
顯然:
而
所以:
式中X′(ejw)和X(ejw)分別是x′(n)和x(n)的DTFT,。從式(6)中可以看出,X′(ejw)是原信號(hào)頻譜X(ejw)先做M倍的擴(kuò)展再在w軸上每隔2/M的移位疊加,。由抽樣定理可知,,在第一次對(duì)x(t)抽樣時(shí)要保證fs≥2fc(fc為x(n)的最高頻率,fs為抽樣頻率),,則抽樣結(jié)果不會(huì)發(fā)生頻譜混疊[7],。當(dāng)對(duì)x(n)作M倍抽取后,若保證x′(n)重建x(n),,則X′(ejw)的一個(gè)周期(-/M~/M)也應(yīng)等于X(ejw),,這樣要求抽樣頻率fs≥2Mfc,如果不滿足將發(fā)生頻譜混疊,。因此理想的抗混疊濾波器為:
3.2 頻譜混疊仿真
數(shù)字圖像是通過對(duì)模擬圖像進(jìn)行等間隔采樣得到的,,需滿足采樣定理,即最高頻率在采樣頻率的1/2附近,,因此一幅數(shù)字圖像中不同區(qū)域交界處的頻率在頻譜的附近[8],。本文采用環(huán)形圖像進(jìn)行仿真,如圖6所示,,該圖像為同心圓環(huán),,并且圓環(huán)從內(nèi)到外的頻率在慢慢增加,。通過對(duì)該圖像進(jìn)行頻率分析,可以獲得該圖像的頻譜特性,。首先進(jìn)行一維數(shù)據(jù)的頻譜混疊分析,,然后推廣到二維圖像。
對(duì)于一維頻譜,,抽取該圖像的中間一行進(jìn)行分析,圖像的大小為301×301像素,,抽取第150行數(shù)據(jù)進(jìn)行分析,記為x(k),,對(duì)其進(jìn)行一維離散傅里葉變換記為X(K),,時(shí)域及頻域顯示如圖7所示,其中時(shí)域和頻域都進(jìn)行了歸一化處理,。
從頻域可以看出,,圖像的信息集中在低頻區(qū)域,主要在[-0.5,,0.5]之間,高頻區(qū)域信息較少,。首先,,直接對(duì)該數(shù)據(jù)進(jìn)行3倍減采樣,,求其DTFT并觀察其頻譜,,直接減采樣頻譜圖如圖8所示,;其次,,用凱賽窗設(shè)計(jì)一個(gè)FIR低通濾波器,截止頻率為0.3,,階數(shù)為30,,對(duì)該數(shù)據(jù)進(jìn)行濾波后再求其DTFT,,觀察濾波后減采樣頻譜如圖9所示,。從頻譜圖中可以發(fā)現(xiàn)直接減采樣的數(shù)據(jù)發(fā)生了嚴(yán)重的頻譜混疊現(xiàn)象,而經(jīng)過低通濾波再減采樣的數(shù)據(jù)沒有發(fā)生頻譜混疊,,只是頻譜有所擴(kuò)展,。
同樣推廣到二維圖像,對(duì)上述圖像縮小3倍,。首先,,直接采用最鄰近插值的方法將圖像縮小3倍,,直接減采樣如圖10所示;其次,,使用窗函數(shù)法設(shè)計(jì)一個(gè)低通濾波器,,階數(shù)為21階,截止頻率0.3,,對(duì)圖像進(jìn)行低通濾波,,然后再使用最鄰近插值縮小圖像,濾波后減采樣效果如圖11所示,。對(duì)比兩幅圖可知,直接減采樣圖像產(chǎn)生了混疊,,有明顯的鋸齒現(xiàn)象,,濾波后減采樣圖像沒有發(fā)生混疊,圖像平滑,,但是因?yàn)槭褂昧说屯V波器使高頻信息受損,,因此需要設(shè)計(jì)合適的濾波器,既要抑制混疊又要保留適當(dāng)?shù)母哳l信息,。
3.3 濾波器設(shè)計(jì)
本文的縮放模塊是采用先濾波,、后采樣的方式,對(duì)每種縮放系數(shù)采用合適的抗混疊濾波器,。根據(jù)FPGA的內(nèi)部結(jié)構(gòu)以及輸入輸出圖像的大小,,縮放模塊的縮放系數(shù)選取1~1/6(約64/64~11/64),這樣可分為53級(jí)縮放,?;贔PGA硬件存儲(chǔ)資源的考慮,不可能每種縮放系數(shù)都采用不同的濾波器,,因此當(dāng)縮放系數(shù)在一定范圍變化時(shí)采用同一種濾波器,。本文設(shè)計(jì)使用兩級(jí)濾波的形式,產(chǎn)生多種不同的濾波器,,根據(jù)縮放系數(shù)的大小選擇濾波系數(shù)和濾波級(jí)數(shù),。濾波器結(jié)構(gòu)如圖12所示。具體分為5個(gè)系數(shù)范圍,,在這5個(gè)系數(shù)范圍分別采用合適的濾波器,,使用預(yù)濾波與雙線性插值相結(jié)合的方法進(jìn)行圖像縮放。
采用兩個(gè)濾波器模板,,實(shí)現(xiàn)多種組合,,可以應(yīng)對(duì)不同的縮放系數(shù)。本文選用圖13所示的兩個(gè)濾波器模板進(jìn)行濾波,,實(shí)現(xiàn)5種不同組合,,分別對(duì)應(yīng)5種縮放范圍,。
通過理論分析和仿真研究得到以下結(jié)論(代表卷積):
4 圖像評(píng)價(jià)
本文研究的是圖像縮小,首先將原圖縮小到目標(biāo)圖像,,其次在PC機(jī)上使用Lanczos插值算法縮放到相同尺寸,,以該圖像作為參照?qǐng)D像,進(jìn)行客觀的比較,。Lanczos插值算法是比較好的圖像處理算法,,既可以抑制圖像混疊又可以保護(hù)圖像的邊緣,在混疊和銳化之間進(jìn)行了權(quán)衡,,通過實(shí)驗(yàn)發(fā)現(xiàn)采用該算法進(jìn)行圖像縮放可以得到較好的效果[9],。本文選取6幅有代表性的圖像,如:風(fēng)景,、人物,、房屋等進(jìn)行綜合評(píng)價(jià),比較圖像質(zhì)量,。對(duì)選取的圖像分別采用最鄰近插值、雙線性插值和三次立方插值以及抗混疊濾波縮放算法進(jìn)行縮放,,從主觀和客觀角度上進(jìn)行評(píng)價(jià),。
4.1 主觀評(píng)價(jià)
圖14是將原圖縮小3倍的部分圖像,可以發(fā)現(xiàn)最鄰近插值得到的圖像鋸齒現(xiàn)象加重,,圖像變得更加銳利,,雙線性插值算法也會(huì)出現(xiàn)輕微的鋸齒現(xiàn)象,圖像較模糊,;抗混疊濾波縮放算法得到的圖像在直觀上要優(yōu)于前兩種算法,,圖像較清晰。
4.2 客觀評(píng)價(jià)
分別對(duì)上述6幅圖像進(jìn)行縮放,,比較在各種算法下的峰值信噪比,,結(jié)果如表1、表2所示,。
當(dāng)縮放系數(shù)不是很大時(shí),,由于縮放前進(jìn)行了預(yù)濾波,在客觀比較上峰值信噪比可能不如雙線性和立方插值,,但是由于算法插值前進(jìn)行了預(yù)濾波,,這樣有效抑制了頻譜混疊的發(fā)生,從直觀上看優(yōu)于最鄰近插值和雙線性插值,,隨著縮放系數(shù)的增大抗混疊濾波縮放算法得到的峰值信噪比提高,,明顯優(yōu)于雙線性和立方插值算法。
5 小結(jié)
本文提出了一種基于高分辨率傳感器的無損電子變焦模型,,該技術(shù)區(qū)別于傳統(tǒng)的電子變焦模型,,變焦過程不損失圖像精度和清晰度,,進(jìn)而實(shí)現(xiàn)通過電子變焦達(dá)到光學(xué)變焦的效果??s放算法使用一種抗混疊濾波器和雙線性插值相結(jié)合的圖像縮放算法,,該算法有效避免了圖像縮小帶來的混疊現(xiàn)象。從仿真中可以發(fā)現(xiàn),,當(dāng)縮放系數(shù)較小時(shí),,由于雙線性插值存在低通濾波的效果,因此不需要再進(jìn)行濾波,,雙線性插值適應(yīng)的縮放范圍為1~1/2,。當(dāng)縮放進(jìn)一步擴(kuò)大時(shí),雙線性濾波已經(jīng)不能滿足要求,,這樣需要在插值前進(jìn)行預(yù)濾波,,本文使用兩級(jí)濾波結(jié)構(gòu)產(chǎn)生多種濾波器,根據(jù)不同的縮放系數(shù)使用不同的濾波器,。通過仿真比較,,當(dāng)縮放兩倍以上時(shí),該算法優(yōu)于雙線性和立方插值,,同時(shí)硬件實(shí)現(xiàn)簡(jiǎn)單,。
參考文獻(xiàn)
[1] Seung Hwan Lee,Dong Hwan Koh,,Yang Wang,,et al.DigitalZoom based on HCI ColorModel(Hue-Chroma-Intensity)[C].Intelligent Systems Modelling & Simulation (ISMS),2013 4thInternational Conference on,,29-31 Jan.2013.
[2] LUKAC R,,MARTIN K,PLATANOITIS K N.Digital camera zooming based on unified CFA image processing steps[J].Consumer Electronics,,IEEE Transactions on,,2004,50(1):15-24.
[3] 譚亮,,孫俊喜,,顧播宇,等.基于FPGA局部視頻圖像任意比例縮放系統(tǒng)[J].電視技術(shù),,2013(9):42-44.
[4] 嚴(yán)利民,,田鋒,顧裕燦.圖像縮放算法的研究及FPGA實(shí)現(xiàn)[J].儀表技術(shù),,2012(7).
[5] Alakarhu Juha,,Salmelin Eero.Partinen Nokia PureView oversampling technology proceedings of SPIE-The International Society for Optical Engineering,v8667,2013.
[6] 王金華,,嚴(yán)衛(wèi)生,,劉旭琳,等.基于視景通道的透鏡成像過程仿真技術(shù)研究[J].系統(tǒng)仿真學(xué)報(bào)ISTIC PKU,,2010(9).
[7] 賈中云.一種利用采樣率轉(zhuǎn)換方法的灰度圖像放大算法[J].杭州師范學(xué)院學(xué)報(bào):自然科學(xué)版,,2005(5):360-363.
[8] 李秀英,楊杰,,王麗平.用于改變圖像大小的M帶插值濾波器設(shè)計(jì)[J].現(xiàn)代電子技術(shù),,2005(9):28-29.
[9] 張善文,戎蒙恬,,李萍.基于非均勻采樣重構(gòu)的圖像插值算法[J].信息技術(shù),,2011(3):1-4.