文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.2015.10.040
中文引用格式: 李如春,,李林,常麗萍. 基于變采樣率壓縮感知的視頻壓縮研究[J].電子技術(shù)應(yīng)用,,2015,,41(10):147-149,153.
英文引用格式: Li Ruchun,,Li Lin,,Chang Liping. Block compressed sensing of video based on variable sampling rates[J].Application of Electronic Technique,2015,,41(10):147-149,,153.
0 引言
壓縮感知理論(Compressed Sensing,CS)于2004年由Candès,,Donoho和Tao等人提出,,2006年Candès等人從數(shù)學(xué)上證明壓縮傳感可以從部分傅里葉變換系數(shù)中精確重構(gòu)出原始信號(hào), 奠定了壓縮感知的理論基礎(chǔ)[1-2]。壓縮感知理論的基本思想為,,如果某個(gè)變換域下信號(hào)是稀疏的,那么使用與該變換算子不相關(guān)的測(cè)量矩陣對(duì)原始信號(hào)投影,就可以通過(guò)稀疏優(yōu)化算法從少量測(cè)量值中高概率地重構(gòu)出原始信號(hào),。
基于壓縮感知的視頻壓縮,通常把整幀圖像作為一個(gè)整體進(jìn)行處理,,由此使得測(cè)量矩陣需要非常大的存儲(chǔ)空間,,并且增加了重構(gòu)過(guò)程的復(fù)雜度。為此,Gan于2007年提出一種分塊采樣模式,,將單幀圖像分塊并對(duì)每一塊采用相同的測(cè)量矩陣采樣[3],,但這種采用相同采樣率的分塊模式忽略了每個(gè)塊具有不同復(fù)雜度的事實(shí),為了克服這一缺陷,,文獻(xiàn)[4-5]提出了率失真優(yōu)化法,、像素熵方法對(duì)塊進(jìn)行分類并分配不同的采樣率的方法,文獻(xiàn)[6]又提出一種易于用硬件實(shí)現(xiàn)的自適應(yīng)測(cè)量率方法,。但這些方法在處理過(guò)程中需要獲取圖像原始數(shù)據(jù),,違背了壓縮感知中采樣與壓縮同步進(jìn)行的基本精神。
綜上,,本文提出一種簡(jiǎn)便且有效的基于變采樣率的分塊視頻壓縮感知方法,,使用全變差(Total Variation,TV)算法重構(gòu)壓縮視頻,,并且不區(qū)分關(guān)鍵幀與非關(guān)鍵幀,,避免因網(wǎng)絡(luò)環(huán)境不穩(wěn)定造成參考幀的丟失,造成無(wú)法重構(gòu)視頻的后果,。
1 分塊自適應(yīng)測(cè)量率壓縮感知算法
由于視頻的不同區(qū)域具有不同場(chǎng)景復(fù)雜度和變化強(qiáng)度,,據(jù)此,本文根據(jù)分塊視頻幀間的變化程度合理分配采樣率,,即變化程度較小的塊分配較低的采樣率,,變化程度較大的塊分配較高的采樣率,并將視頻塊分成近似靜止塊,、緩慢變化塊和快速變化塊3類,這樣保證了在較低的總采樣率下仍能較高質(zhì)量地重構(gòu)視頻圖像[7],。具體處理流程如圖1所示,。
進(jìn)行自適應(yīng)測(cè)量率設(shè)定時(shí),首先選取合適的塊大小B,,將視頻幀不重疊分塊得到K個(gè)B×B大小的塊,,然后利用相同的測(cè)量矩陣進(jìn)行預(yù)采樣,得到每個(gè)圖像塊的測(cè)量向量,。由于視頻場(chǎng)景復(fù)雜度和變化強(qiáng)度與幀間像素的差值直接相關(guān),,因此,可以根據(jù)殘差能量進(jìn)行視頻塊的分類,,即分類判別標(biāo)準(zhǔn)設(shè)定為:
式中,,表示第i(i=1,2,,…,,K)個(gè)圖像塊某一幀與上一幀對(duì)應(yīng)位置上的像素值[8]。在實(shí)際應(yīng)用中,由于把單幀圖像劃分為不同大小的塊,,不同大小的塊兩幀之間具有不同的殘差能量,,所以,選擇使用殘差能量密度作為判別標(biāo)準(zhǔn),,即
上述方法需要在采集端獲得原始數(shù)字圖像,,這在實(shí)際的壓縮成像設(shè)備中無(wú)法實(shí)現(xiàn)。為了克服這一缺陷,,采用測(cè)量域的殘差能量密度作為判別標(biāo)準(zhǔn),,具體如式(3)所示。
為確保式(3)能夠準(zhǔn)確分類,,需要對(duì)塊進(jìn)行預(yù)采樣得到測(cè)量向量,,保證測(cè)量向量能夠提供足夠的信息量,使得其能夠正確反映當(dāng)前塊的變化程度,,但預(yù)采樣率太高會(huì)影響采樣速度,,加大存儲(chǔ)硬件的實(shí)現(xiàn)難度[9]以及采樣時(shí)間。因此,,要選擇合適的預(yù)采樣率,,保證能夠?qū)崿F(xiàn)準(zhǔn)確分類,并且避免影響采樣速度,。
2 重構(gòu)算法
壓縮感知的重構(gòu)算法很多,,主要有貪婪迭代算法和凸優(yōu)化算法兩大類,其中全變差(TV)算法[10]是凸優(yōu)化算法中較為典型的一種,,雖然重構(gòu)速度較慢,,但重構(gòu)效果好,其基本思想是基于梯度的二維信號(hào)重構(gòu),。TV算法以信號(hào)的稀疏性為基礎(chǔ),,對(duì)粗糙的初值圖像進(jìn)行連續(xù)迭代,逐步減小誤差直至恢復(fù)出最小誤差信號(hào),。定義大小為n×n的圖像數(shù)據(jù)用U表示,,i和j分別表示圖像的行坐標(biāo)與列坐標(biāo),則可以用Ui,,j表示坐標(biāo)點(diǎn)的像素值,,圖像的水平與垂直一階微分算子表示如下:
由于TV算法是以梯度算法為基礎(chǔ),圖像中的導(dǎo)數(shù)可以用相鄰像素間的差值表示,,因此要求出圖像在水平與豎直方向的導(dǎo)數(shù),,并以這兩個(gè)方向的導(dǎo)數(shù)判斷圖像的最快變化方向,并以最快變化的反方向作為梯度的搜索方向,,從而最快逼近原始圖像,,結(jié)束迭代過(guò)程。
由式(4)、(5)得出離散梯度向量,,可表示如下:
由全變差的定義以及以上3個(gè)公式,,可得知全變差值為所有像素離散梯度向量模的總和,如下式:
迭代過(guò)程中,,迭代閾值可以設(shè)為全變差的值,,當(dāng)?shù)档陀陂撝禃r(shí)可認(rèn)為重構(gòu)出原始圖像[11-12]。
基于上述TV重構(gòu)算法的思想,,利用其進(jìn)行圖像重構(gòu)時(shí),,像素梯度即為幀間殘差,可以無(wú)需選取關(guān)鍵幀,,對(duì)每一幀做相同的處理,,更適合無(wú)線視頻的壓縮處理。
3 實(shí)驗(yàn)結(jié)果
本文基于MATLAB軟件平臺(tái),,在傅里葉域下測(cè)試提出基于自適應(yīng)采樣率的壓縮感知方法,,采用TV重構(gòu)算法,對(duì)視頻序列進(jìn)行壓縮,。使用4組標(biāo)準(zhǔn)視頻序列測(cè)試文中提出的方法性能:Football,、Foreman、News,、Suzie,。Foreman的分辨率為176×144,其余3個(gè)序列的分辨率都為352×288,。其中Football序列的場(chǎng)景變化較劇烈,,其余3個(gè)序列變化較緩慢,并且選取每個(gè)序列的前50幀圖像作為測(cè)試對(duì)象,。
?。?)預(yù)采樣率設(shè)定
采用32×32大小的塊,由于變采樣率方法中需要進(jìn)行預(yù)采樣,,下面對(duì)預(yù)采樣率的選取進(jìn)行試驗(yàn)。選用上述4種視頻序列作為測(cè)試對(duì)象,,分別設(shè)置預(yù)采樣率從10%~30%,,計(jì)算視頻幀的峰值信噪比PSNR和重構(gòu)得平均時(shí)間,測(cè)試結(jié)果如表1~表4所示,。
從表1中可以看出,,采用的預(yù)采樣率越高,重建效果越好,,但是重建所用時(shí)間也越多,,綜合圖像PSNR以及編碼時(shí)間,本文選取預(yù)采樣率25%。
?。?)變采樣率視頻壓縮
視頻幀的塊大小設(shè)置為32×32,,固定采樣率取45%;關(guān)于自適應(yīng)采樣率大小,,通過(guò)對(duì)視頻序列進(jìn)行多次試驗(yàn)選擇了一組通用性較強(qiáng)的參數(shù),,既可以保證采樣率較低,又可以保證重構(gòu)質(zhì)量較好,,3種類別的塊采樣率分別設(shè)為S1=10%,,S2=20%,S3=45%,。針對(duì)表1~表4所列的測(cè)試序列,,對(duì)固定采樣率和變采樣率分別基于壓縮感知進(jìn)行視頻壓縮測(cè)試,其迭代次數(shù)及PSNR變化結(jié)果如圖2所示,。
觀察圖2可知,,本文提出的自適應(yīng)采樣率方法比固定采樣率處理的圖像PSNR值提高約3~4 dB,而趨于收斂的重構(gòu)迭代次數(shù)并沒(méi)有增加,。
關(guān)于兩種方法處理視頻圖像所消耗的時(shí)間,,以Foreman前50幀圖像為例,使用固定采樣率方法處理所用的平均時(shí)間為264.2 s,,自適應(yīng)采樣率方法所需時(shí)間略低,,約為253.4 s。這是由于自適應(yīng)變采樣率雖然增加了計(jì)算能量殘差的步驟,,但是可以根據(jù)不同場(chǎng)景的變化程度和結(jié)構(gòu)復(fù)雜度,,自適應(yīng)分配采樣率,減少了運(yùn)算時(shí)間,。由此可見(jiàn),,在重構(gòu)質(zhì)量和時(shí)間上,自適應(yīng)采樣率方法性能均較優(yōu),。
對(duì)于內(nèi)容變化較簡(jiǎn)單的測(cè)試序列,,如Foreman序列,自適應(yīng)采樣率方法可以降低采樣率,,獲得較好的重構(gòu)效果,。而對(duì)于內(nèi)容變化較復(fù)雜的測(cè)試序列,如Football序列,,自適應(yīng)采樣率方法可以提高采樣率,,在所用時(shí)間不會(huì)大幅增加的前提下,使得重構(gòu)效果可以接受,??傊?,本文提出的自適應(yīng)采樣率方法可以根據(jù)視頻內(nèi)容與變化程度自適應(yīng)地調(diào)整采樣率,使本文方法應(yīng)用于不同視頻時(shí)可以獲得較好的重構(gòu)質(zhì)量,。
4 結(jié)論
本文基于壓縮感知思想提出一種自適應(yīng)分配測(cè)量采樣率的視頻壓縮方法,。在編碼端,選取合適的塊大小,,將圖像分成不重疊的相同大小塊,,按照幀間相關(guān)性對(duì)圖像塊進(jìn)行分類并分配不同的采樣率。在解碼端采用全變差算法以充分利用幀間相關(guān)性,,使得視頻壓縮時(shí)不需要參考幀與非參考幀,,更適合于無(wú)線網(wǎng)絡(luò)的傳輸。實(shí)驗(yàn)結(jié)果表明,,本文提出的方法能夠在總采樣率較低的情況下,,重構(gòu)出較高質(zhì)量的視頻圖像,而且重構(gòu)時(shí)間縮短,。
參考文獻(xiàn)
[1] CANDES E J,,ROMBERG J,TAO T.Robust uncertainty principles:exact signal reconstruction from highly incompletefrequency information[J].IEEE Transactions on Information Theory,,2006,,52(2):489-509.
[2] DONOHO D L.Compressed sensing[J].IEEE Transaction on Information Theory,2006,,52(4):1289-1306.
[3] GAN L.Block compressed sensing of natural images[C].Proceedings of the 15th International Conference on Digital Signal Processing,,Cardiff,UK,,2007:403-406.
[4] VIJAYANAGAR K R,,LIU Y,KIM J.Adaptive measurementrate allocation for block-based compressed sensing of depthmaps[C].Image Processing(ICIP),,2014 IEEE International Conference on.IEEE,,2014:1307-1311.
[5] BAI H,ZHANG M,,LIU M,,et al.Depth image coding using entropy-based adaptive measurement allocation[J].Entropy,2014,,16(12):6590-6601.
[6] 李然,,干宗良,崔子冠,,等.圖像分塊壓縮感知中的自適應(yīng)測(cè)量率設(shè)定方法[J].通信學(xué)報(bào),2014,,35(7):77-85.
[7] 張秋余,,孫媛,,晏燕.基于分塊自適應(yīng)壓縮感知的可逆水印算法[J].電子與信息學(xué)報(bào),2013,,35(4):797-804.
[8] 田天.基于幀間相關(guān)性的視頻壓縮感知算法[D].秦皇島:燕山大學(xué),,2013.
[9] 練秋生,田天,,陳書貞,,等.基于變采樣率的多假設(shè)預(yù)測(cè)分塊視頻壓縮感知[J].電子與信息學(xué)報(bào),2013,,35(1):203-208.
[10] LI C,,JIANG H,ZHANG Y.Video coding using compres-sive sensing for wireless communications[C].IEEE WirelessCommunications and Networking Conference.2011:2077-2082.
[11] 王田川.壓縮感知算法改進(jìn)及其在圖像和視頻編碼中的應(yīng)用[D].南京:南京郵電大學(xué),,2013.
[12] 趙彥孟,,宋建新.一種基于壓縮感知全變差算法的圖像去噪方法[J].電視技術(shù),2014,,38(5):5-8.