文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.2016.11.033
中文引用格式: 張文康,,朱倩,,陳瀟君. 擬人視覺系統(tǒng)的顯著性檢測(cè)方法[J].電子技術(shù)應(yīng)用,2016,,42(11):122-125.
英文引用格式: Zhang Wenkang,,Zhu Qian,Chen Xiaojun. The saliency detection based on mimic human visual systems[J].Application of Electronic Technique,,2016,,42(11):122-125.
0 引言
顯著性可以描述為場(chǎng)景中的某一元素相對(duì)于同場(chǎng)景其他元素更加能吸引人的注意力,,是人類在視覺感知的過程中總結(jié)出來的,由于人的視覺共性,,使得有些元素對(duì)于不同的人來講吸引力是共同的,,這些區(qū)域往往集中了最重要的信息,因此顯著性檢測(cè)在圖像處理領(lǐng)域顯得十分重要,,主要的應(yīng)用領(lǐng)域包括:圖像的檢索,、數(shù)據(jù)壓縮、目標(biāo)識(shí)別,、導(dǎo)航定位等,。目前國內(nèi)外學(xué)者對(duì)這一領(lǐng)域進(jìn)行了廣泛深入的研究,主要的研究方法有:ITTI L和KOCH C[1]提出跨尺度周邊算子模型來進(jìn)行顯著區(qū)域的檢測(cè),,主要原理是通過計(jì)算小尺度和大尺度特征差別來計(jì)算顯著性,。但是該方法計(jì)算過程復(fù)雜,并且精確性不高,。HARBEL J[2]提出使用馬爾科夫鏈計(jì)算中心周邊概率,,并用基于圖論的概率模型得到顯著圖,此方法的提取精度有提升,但是計(jì)算仍然復(fù)雜,。GAO D[3]通過最大值法提取中心和周邊區(qū)域中特征分布的相互信息,,提取的效果較好。
1 圖像量化
圖像的顯著性計(jì)算需要對(duì)每個(gè)像素點(diǎn)進(jìn)行計(jì)算,,那么在計(jì)算時(shí)就有2563種顏色,。顏色變化范圍很小時(shí)人眼是無法準(zhǔn)確區(qū)分的。如圖1所示,,每個(gè)通道的顏色小范圍變化時(shí),所得到的最終顏色圖的差異是不大的,。每個(gè)通道的顏色變化較大時(shí),,最終所得到的圖的顏色可以觀察到明顯的變化。所以,,在小范圍減少圖像中顏色數(shù)目,,圖像質(zhì)量會(huì)下降,但是對(duì)最終圖像的顯示影響很小,,所以可以將相似的顏色量化為相同的顏色,。
定義如下:
經(jīng)過量化后的RGB空間有1 728中顏色,也就是123,,很顯然自然圖像的色彩只屬于這1 728種顏色的一小部分,,同時(shí)人眼也無法精確辨別這些顏色。所以就需要對(duì)圖像進(jìn)行篩選,,為了不影響圖片的質(zhì)量,,就要確保篩選出的色值能夠覆蓋大多數(shù)的像素點(diǎn),對(duì)于少部分沒有覆蓋到的像素點(diǎn)可以用距離其最近的色值替代,。
根據(jù)式(9),、式(10)可把出現(xiàn)頻率比較低的顏色用最相似的顏色代替。
經(jīng)過量化后大大降低了顏色的數(shù)目,,以圖2為例,,量化前顏色數(shù)目為58 921,量化后的顏色數(shù)目為100,,這樣就加快了圖像處理的速度,。
量化后的數(shù)據(jù)集定義為:
2 顏色空間轉(zhuǎn)換
將圖像從RGB空間轉(zhuǎn)換到XYZ空間,轉(zhuǎn)換矩陣如下:
轉(zhuǎn)化后得到像素帶點(diǎn)在XYZ空間下每個(gè)通道的色值,,接著再轉(zhuǎn)換到Lab顏色空間,,經(jīng)過一系列的顏色空間轉(zhuǎn)換之后,顏色數(shù)據(jù)集定義為:
3 擬人視覺系統(tǒng)的顯著性計(jì)算
使用GB分割算法對(duì)圖像進(jìn)行分割,,得到每一個(gè)小的圖像塊,,相同的圖像塊可認(rèn)為是一個(gè)整體,則可認(rèn)為一個(gè)圖像塊中的像素點(diǎn)具有相同的顯著性,。當(dāng)兩個(gè)圖像塊距離較遠(yuǎn)時(shí),,對(duì)人的視覺影響比較大,,同理,較近時(shí)對(duì)人眼的視覺影響較小,。則顯著性計(jì)算公式如下:
其中,,f(ck,j)表示圖像塊sk中第j種顏色出現(xiàn)的次數(shù),。
視覺角度來講,,人眼在觀察圖像的時(shí)候首先是會(huì)集中在圖像的中心,然后再移動(dòng)到顯著性區(qū)域,,所以本文提出一種擬人視覺系統(tǒng)的顯著性計(jì)算方法,,顯著性計(jì)算公式改寫如下:
其中,Ds(sk,,VFn)表示圖像塊sk和視覺點(diǎn)VFn之間的距離,。
分割后不同的圖像塊對(duì)人眼的吸引是不同的,人在觀察圖像時(shí)最先會(huì)被中心吸引,,然后才會(huì)被顯著性區(qū)域吸引,,這種吸引稱為視覺引力。視覺引力的大小與像素點(diǎn)的顯著性和視覺點(diǎn)之間的距離有關(guān),,這里定義每個(gè)像素對(duì)視覺點(diǎn)的引力如下:
想要獲得最終視覺點(diǎn)的位置,,就需要計(jì)算初始的視覺點(diǎn)的位移偏量,由式(18)得出每個(gè)像素點(diǎn)在水平和垂直方向上的分力:
其中,,px和py表示像素點(diǎn)在水平和垂直方向的坐標(biāo),,VFx、VFy表示視覺點(diǎn)在水平和垂直方向的坐標(biāo),。
這里參考力學(xué)模型,,所以可以理解,視覺點(diǎn)在視覺引力的作用下,,移動(dòng)的規(guī)則與力學(xué)中的規(guī)則是一致的,。
例如,如圖3 F2的值比F1的值大,,但是他們的方向是相反的,,因此視覺點(diǎn)就從L1移到L2。
所有像素點(diǎn)在水平和垂直方向上分力的合力為:
則根據(jù)式(16)可得最終的視覺點(diǎn),。
算法流程如下:(1)輸入圖像,,并分割得到其圖像塊集;(2)計(jì)算圖像塊集中每一個(gè)圖像塊的顯著值,;(3)計(jì)算每一個(gè)像素對(duì)上一個(gè)視覺點(diǎn)的引力,;(4)計(jì)算引力在橫坐標(biāo)和縱坐標(biāo)上的分力;(5)計(jì)算所有像素在橫坐標(biāo)和縱坐標(biāo)上分力的合力;(6)計(jì)算出視覺點(diǎn)移動(dòng)的距離,;(7)計(jì)算出新視覺點(diǎn)的位置,;(8)重復(fù)步驟(2~7),直到兩個(gè)視覺點(diǎn)的距離小于一個(gè)閾值,,則可認(rèn)為最終計(jì)算的視覺點(diǎn)為顯著性區(qū)域,。
4 實(shí)驗(yàn)與分析
采用achanta圖像集,選用該圖像集的好處就是每一張圖像都對(duì)顯著區(qū)域進(jìn)行了標(biāo)注,,有利于確認(rèn)算法最終結(jié)果的準(zhǔn)確性,。對(duì)其中的圖像進(jìn)行分類,選取200張顯著區(qū)域在中心的圖片,,記為數(shù)據(jù)集A,;選取200張顯著區(qū)域不在中心的圖片,記為數(shù)據(jù)集B,。
評(píng)價(jià)指標(biāo)選用準(zhǔn)確率和召回率,并選用目前常用的區(qū)域?qū)Ρ蕊@著性檢測(cè)方法[4]和多尺度顯著性檢測(cè)方法[5]同時(shí)來處理圖片,,與本文方法進(jìn)行對(duì)比,。實(shí)驗(yàn)中分別檢測(cè)數(shù)據(jù)集A和數(shù)據(jù)集B中的顯著性區(qū)域,并與人工標(biāo)準(zhǔn)的結(jié)果進(jìn)行對(duì)比計(jì)算,,獲得每一副圖像的準(zhǔn)確率和召回率,。
使用實(shí)驗(yàn)集A去評(píng)估3種方法的顯著性檢測(cè)結(jié)果,并計(jì)算出準(zhǔn)確率和召回率的平均值,,繪制出直方圖進(jìn)行對(duì)比,。
如圖4所示,使用本文方法和區(qū)域?qū)Ρ确ㄓ?jì)算出的準(zhǔn)確率和召回率要高于多尺度法,,這是由于選取的數(shù)據(jù)集A中的圖片顯著性區(qū)域都位于圖片的中心,,使用本文算法和區(qū)域?qū)Ρ确ǚ椒ㄟM(jìn)行視覺焦點(diǎn)加權(quán)時(shí),顯著性檢測(cè)的效果會(huì)更好,,使得圖片中的顯著性區(qū)域會(huì)被準(zhǔn)確地檢測(cè)出來,。
再使用實(shí)驗(yàn)集B來評(píng)估本文算法、區(qū)域?qū)Ρ确?、多尺度法?duì)于顯著性區(qū)域的檢測(cè)效果,。
如圖5所示,本文算法和多尺度法的準(zhǔn)確率和召回率比區(qū)域?qū)Ρ确ǜ?,這是由于數(shù)據(jù)集B中的圖片的顯著區(qū)域沒有位于圖像的中心,。區(qū)域?qū)Ρ确椒ǖ男Ч^差是因?yàn)榧訌?qiáng)了中心區(qū)域,也就是非顯著性區(qū)域,,而使用本文算法,,由于是模擬人眼的視覺機(jī)制,可以正確找到視覺顯著區(qū)域,所以在數(shù)據(jù)集B上使用本文算法方法可以更加準(zhǔn)確地檢測(cè)出顯著性區(qū)域,。
圖6分別表示顯著性區(qū)域在中心和不在中心的檢測(cè)結(jié)果,。可以看出,,區(qū)域?qū)Ρ确椒▽?duì)顯著區(qū)域不在中心的檢測(cè)效果不理想,,因?yàn)槠鋾?huì)分割出不屬于顯著區(qū)域的部分并對(duì)其效果進(jìn)行增強(qiáng)。多尺度法對(duì)于顯著區(qū)域在中心的圖片檢測(cè)效果不理想,,是因?yàn)槠鋾?huì)導(dǎo)致周圍的區(qū)域顯著值過大,,從而影響中心區(qū)域的顯著值。
5 結(jié)束語
本文從人眼視覺機(jī)制角度提出了擬人視覺系統(tǒng)的顯著性檢測(cè)方法,,首先概述了目前常見的顯著性檢測(cè)的研究方法,,然后詳細(xì)闡述了本文所提算法的前提條件,也就是圖像量化和顏色篩選,。從人眼視覺機(jī)制出發(fā),,提出了視覺引力的概念,并給出了詳細(xì)的計(jì)算方法,,通過視覺引力計(jì)算出人眼對(duì)于圖像中的視覺點(diǎn),,并最終獲取到顯著性區(qū)域。通過實(shí)驗(yàn)構(gòu)建了兩個(gè)不同類型的數(shù)據(jù)集,,通過與其他常見算法的對(duì)比證明本文所提算法的準(zhǔn)確性要高,,并證明了算法的可行性。
參考文獻(xiàn)
[1] ITTI L,,KOCH C,,NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transaction on Pattern Analysis and Machined Intelligence,1998,,20(11):1254-1259.
[2] HAREL J,,KOCH C,PERONA P.Graph-based visual saliency[C].Advances in Neural Information Processing Systems,,2006:545-552.
[3] GAO D,,MAHADEVAN V,VASCONCELOS N.The discriminant center-surround hypothesis for bottom-up saliency[C].Advances in Neural Information Processing Systems,,2007:497-504.
[4] 敖歡歡.視覺顯著性應(yīng)用研究[D].合肥:中國科學(xué)技術(shù)大學(xué),,2013.
[5] 李勇.多尺度特征檢測(cè):方法和應(yīng)用研究[D].合肥:中國科學(xué)技術(shù)大學(xué),2010.