摘 ?要： 在無(wú)線(xiàn)網(wǎng)絡(luò)環(huán)境下的視頻通信過(guò)程中,，錯(cuò)誤隱蔽是一種提高解碼圖像質(zhì)量的重要手段,。提出了一種針對(duì)實(shí)時(shí)視頻應(yīng)用的自適應(yīng)時(shí)域運(yùn)動(dòng)補(bǔ)償處理方法，不僅考慮了受損視頻在時(shí)間上的相關(guān)性，而且針對(duì)補(bǔ)償圖像中的塊效應(yīng)進(jìn)行自適應(yīng)處理,，能夠有效地提高解碼圖像質(zhì)量,。
??? 關(guān)鍵詞： 視頻通信；錯(cuò)誤隱蔽,；塊效應(yīng)
?
?? 3G無(wú)線(xiàn)網(wǎng)絡(luò)提供了更大的網(wǎng)絡(luò)帶寬,，但是無(wú)線(xiàn)網(wǎng)絡(luò)不能保證傳輸質(zhì)量，使傳輸誤碼或者丟包不可避免,，因此如何提高傳輸視頻對(duì)誤碼或者丟包的抗干擾和恢復(fù)能力一直是無(wú)線(xiàn)多媒體通信領(lǐng)域的研究熱點(diǎn),。在視頻解碼器端進(jìn)行錯(cuò)誤隱蔽的方法[1]，可以在不增加傳輸帶寬和傳輸時(shí)延的情況下改善接收到的圖像質(zhì)量,，因此在出錯(cuò)環(huán)境下的視頻傳輸中得到廣泛關(guān)注,。目前的錯(cuò)誤隱蔽方法有二類(lèi)：基于運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)域方法和基于空域或頻域插值的方法。
??? 最簡(jiǎn)單的基于空域或頻域插值的錯(cuò)誤隱蔽(例如雙線(xiàn)性?xún)?nèi)插),，很難恢復(fù)出紋理和邊界信息豐富的區(qū)域的丟失信息,。基于邊界或者內(nèi)容的空域和頻域插值方法[2]計(jì)算量很大,，很難在實(shí)際中應(yīng)用,，而且在整幀圖像丟失的情況下，由于缺少空間相鄰信息,，基于空域或頻域插值的方法無(wú)法恢復(fù)出受損數(shù)據(jù),。
??? 基于運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)域錯(cuò)誤隱蔽方法是通過(guò)估計(jì)丟失幀的宏塊運(yùn)動(dòng)信息來(lái)恢復(fù)丟失信息的，例如邊界匹配方法[3],。但該方法存在一個(gè)明顯缺點(diǎn)：在出現(xiàn)整幀丟失的情況下無(wú)法獲取空間相鄰宏塊的MV,，因此也不能估計(jì)丟失宏塊的MV。
1 圖像幀錯(cuò)誤隱蔽方法回顧
??? 傳統(tǒng)的空域或者時(shí)域視頻錯(cuò)誤隱蔽方法都是在單個(gè)或者多個(gè)連續(xù)的宏塊丟失的假設(shè)條件下實(shí)現(xiàn)的,。但是在低碼率的無(wú)線(xiàn)視頻通信中,，傳輸錯(cuò)誤往往導(dǎo)致整幀圖像的丟失。一方面,，在低碼率的情況下,，1幀圖像的數(shù)據(jù)量通常小于1個(gè)基本網(wǎng)絡(luò)傳輸單元，而網(wǎng)絡(luò)傳輸中的數(shù)據(jù)包丟失通常對(duì)應(yīng)于一整幀圖像內(nèi)容的丟失,；另一方面,，3G無(wú)線(xiàn)網(wǎng)絡(luò)的傳輸誤碼一般為連續(xù)的突發(fā)性誤碼，這將導(dǎo)致連續(xù)的數(shù)據(jù)受損,，表現(xiàn)為整幀圖像的丟失,。
??? 針對(duì)整幀圖像丟失的錯(cuò)誤隱蔽方法分為二類(lèi)：一類(lèi)是利用光流方法來(lái)估計(jì)丟失圖像幀的運(yùn)動(dòng)矢量場(chǎng)[4-5]，并對(duì)每個(gè)像素的MV進(jìn)行濾波或者插值,，然后逐個(gè)像素采取時(shí)域運(yùn)動(dòng)補(bǔ)償方法恢復(fù)出受損圖像幀,。但是這種方法計(jì)算量非常大，不適合無(wú)線(xiàn)視頻通信應(yīng)用中的手持終端應(yīng)用；第二類(lèi)是運(yùn)動(dòng)矢量外推方法(MVE)[6],，快速預(yù)測(cè)丟失幀圖像塊的MV,，但是估計(jì)精度有限，恢復(fù)的丟失幀圖像會(huì)出現(xiàn)明顯的塊效應(yīng),。
??? 本文提出了一種改進(jìn)的塊運(yùn)動(dòng)矢量外推方法,，通過(guò)基于瑕疵塊的圖像質(zhì)量評(píng)測(cè)尺度來(lái)修正丟失圖像幀的塊運(yùn)動(dòng)矢量信息，既能夠提高恢復(fù)的丟失圖像幀質(zhì)量,，又能夠適應(yīng)手持終端的實(shí)時(shí)應(yīng)用,。
2 算法框架
??? 錯(cuò)誤隱蔽的目的是恢復(fù)出丟失的壓縮視頻中的內(nèi)容。雖然丟失的視頻數(shù)據(jù)不可能完全恢復(fù),，但是視頻信息總是存在相關(guān)性,，因此可以利用丟失數(shù)據(jù)時(shí)間相關(guān)性恢復(fù)出丟失部分的視頻數(shù)據(jù)。本文提出了一種自適應(yīng)的時(shí)域錯(cuò)誤隱蔽算法,，其執(zhí)行過(guò)程如圖1所示,。
?
??? 對(duì)輸入的視頻碼流進(jìn)行錯(cuò)誤檢測(cè)，若沒(méi)有圖像幀丟失,，則按照正常解碼過(guò)程輸出解碼圖像,。若發(fā)現(xiàn)圖像幀丟失，標(biāo)記出受損圖像幀,，t-1幀的第i個(gè)4×4子塊的運(yùn)動(dòng)矢量記為
,；接著按照運(yùn)動(dòng)矢量外推方法計(jì)算前向外推運(yùn)動(dòng)矢量場(chǎng)，每個(gè)4×4子塊的前向外推運(yùn)動(dòng)矢量記為
,，從而可以按照前向運(yùn)動(dòng)補(bǔ)償方法得到預(yù)估計(jì)的丟失幀圖像,，詳細(xì)方法見(jiàn)2.1節(jié)。
??? 對(duì)預(yù)估計(jì)的丟失幀圖像進(jìn)行修正,，按照8×8塊大小計(jì)算邊界系數(shù),，判斷是否有錯(cuò)誤圖像塊，若有,，對(duì)錯(cuò)誤圖像塊重新估計(jì)運(yùn)動(dòng)矢量，并重新進(jìn)行運(yùn)動(dòng)補(bǔ)償,，得到修正的圖像塊數(shù)據(jù),，具體方法見(jiàn)2.2節(jié)。
2．1 時(shí)域運(yùn)動(dòng)補(bǔ)償
??? 為了能夠更有效地利用視頻數(shù)據(jù)在時(shí)域上的相關(guān)性,，本文采用了參考文獻(xiàn)[6]的MVE方法作為時(shí)域錯(cuò)誤隱蔽算法的基礎(chǔ),，即利用運(yùn)動(dòng)矢量外推方法恢復(fù)出受損圖像塊的MV，然后通過(guò)運(yùn)動(dòng)補(bǔ)償恢復(fù)受損圖像,。
?
式中,，W1，…WN表示權(quán)值，正比于各個(gè)子塊在第j塊中所占的像素區(qū)域,，WN+1是當(dāng)前子塊中沒(méi)有被疊加塊覆蓋的像素區(qū)域在整個(gè)子塊中所占的比例,。
??? 在進(jìn)行運(yùn)動(dòng)矢量外推時(shí)，第t幀的部分子塊可能沒(méi)有外推的運(yùn)動(dòng)矢量,，此時(shí)該子塊的外推運(yùn)動(dòng)矢量記為0,。
??? 在第t幀的每個(gè)子塊都得到1個(gè)外推運(yùn)動(dòng)矢量后，對(duì)應(yīng)子塊的圖像數(shù)據(jù)為：
??? 
2．2 基于瑕疵塊的圖像塊修正
??? 在完成時(shí)域運(yùn)動(dòng)補(bǔ)償后,，部分區(qū)域可能存在瑕疵塊,，原因在于運(yùn)動(dòng)矢量外推方法假設(shè)物體是剛體運(yùn)動(dòng)，但是運(yùn)動(dòng)目標(biāo)的局部運(yùn)動(dòng)特性不能通過(guò)剛體運(yùn)動(dòng)來(lái)模擬,。因此根據(jù)剛體運(yùn)動(dòng)模型得到的運(yùn)動(dòng)矢量場(chǎng)會(huì)產(chǎn)生錯(cuò)誤的預(yù)測(cè),，造成明顯的塊效應(yīng)。
??? 針對(duì)這個(gè)問(wèn)題,，本文提出了一種基于瑕疵塊判斷的局部區(qū)域進(jìn)行修正的方法,。具體如下：對(duì)預(yù)估計(jì)圖像提取子塊(8×8)的水平邊界和垂直邊界位置處于塊邊界內(nèi)部和外部的2個(gè)像素區(qū)域，記為BlockIn[2]和BlockOut[2],，其中數(shù)組序號(hào)表示距離邊界位置的距離,。計(jì)算這2個(gè)區(qū)域的：
? 
?
??? 式中，SAD( )表示計(jì)算2組數(shù)據(jù)的絕對(duì)差值和,。塊邊界系數(shù)S3=S1/S2,，對(duì)于未壓縮的圖像，S3接近1,；但是對(duì)于分塊壓縮的圖像而言,，S3必定大于1。因此,，當(dāng)S3大于1個(gè)給定閾值T時(shí),，則表示存在瑕疵塊。當(dāng)圖像壓縮率越高時(shí),，圖像上的塊效應(yīng)也比較多,。為了找出最明顯的瑕疵塊，T的取值也要增大,，在此根據(jù)經(jīng)驗(yàn)取T=2.5,。
??? 確定了瑕疵塊后，可以采用BMA方法進(jìn)行重新估計(jì)瑕疵塊的運(yùn)動(dòng)矢量,。具體就是用瑕疵塊8個(gè)相鄰的4×4塊的運(yùn)動(dòng)矢量加上1個(gè)0運(yùn)動(dòng)矢量作為候選的運(yùn)動(dòng)矢量集,，然后根據(jù)BMA方法在這9個(gè)候選運(yùn)動(dòng)矢量中選擇1個(gè)最佳運(yùn)動(dòng)矢量作為錯(cuò)誤子塊的運(yùn)動(dòng)矢量估計(jì)值。最后根據(jù)這個(gè)估計(jì)值計(jì)算出瑕疵塊的補(bǔ)償數(shù)據(jù),。
3 實(shí)驗(yàn)結(jié)果
??? 為了驗(yàn)證本文提出的算法的有效性,，以H.264為平臺(tái),，選用了Akiyo和Foreman序列進(jìn)行實(shí)驗(yàn)；傳輸誤碼模擬采取隨機(jī)丟包方式進(jìn)行,，每次丟棄1幀數(shù)據(jù),；圖像大小為CIF，編碼速率分別為64,、128,、256、320,、384(Kb/s),，IPPP編碼模式。
??? 為了比較不同錯(cuò)誤隱蔽算法的性能,，本方法選取了參考文獻(xiàn)[6]的MVE進(jìn)行對(duì)比,，在實(shí)驗(yàn)中，丟包率都設(shè)置為3 ％,，其實(shí)驗(yàn)結(jié)果分別如表1及圖3所示,。可以看出,，本文提出的方法(Proposed)相對(duì)于MVE,，Y分量大，PSNR提高0.4～2.3 dB左右,，而且主觀質(zhì)量有明顯改善,。
??? 由于現(xiàn)有的多媒體視頻傳輸信道不能保證QoS，為了提高在出錯(cuò)環(huán)境下的視頻圖像質(zhì)量,，視頻解碼端的錯(cuò)誤隱蔽是現(xiàn)有的視頻通信系統(tǒng)中一個(gè)非常重要的部分,。特別是在無(wú)線(xiàn)通信環(huán)境下，視頻碼流的丟包和誤碼更為嚴(yán)重,，常常會(huì)出現(xiàn)整幀圖像的丟失,。
??? 本文提出了整幀圖像丟失的錯(cuò)誤隱蔽算法，針對(duì)無(wú)線(xiàn)視頻通信過(guò)程中數(shù)據(jù)丟包的特點(diǎn),，采取了自適應(yīng)的基于瑕疵塊判斷策略進(jìn)行時(shí)域運(yùn)動(dòng)補(bǔ)償,，既能夠消除運(yùn)動(dòng)矢量外推方法中的瑕疵塊，又不會(huì)大幅度增加視頻解碼的復(fù)雜度,，適合于無(wú)線(xiàn)視頻通信應(yīng)用,。今后的思路應(yīng)該在空域和時(shí)域結(jié)合方向上，針對(duì)某些不適合時(shí)域補(bǔ)償?shù)膱D像塊進(jìn)行空域插值方法來(lái)提高圖像質(zhì)量,。
參考文獻(xiàn)
[1] WANG Y， ZHU Q F. Error control and concealment for video communication: a review[J]. Proceedings of the IEEE,， 1998,，86(5)：974-997.
[2] CHEN M,， ZHENG Y F， WU M. Classification-based spatial error concealment for visual communications[J]. EURASIP Journal on Applied Signal Processing,， 2006(1)：257-257.
[3] YAN B,， WING NG K. A novel selective motion vector matching algorithm for error concealment in MPEG-4 video transmission over error-prone channels[J].IEEE Trans. Consum. Electron.， 2003,，49(4):1416-1423.
[4] BELFIORE S,， GRANGETTO M. Concealment of whole-frame losses for wireless low bit-rate video based on multiframe optical flow estimation[J]. IEEE Transactions on Multimedia， 2005,，7(2):316-329.
[5] 陳建樂(lè),，劉濟(jì)林，陳國(guó)斌,，等.一種針對(duì)整幀圖像丟失的錯(cuò)誤隱藏算法[J].中國(guó)圖像圖形學(xué)報(bào),，2007，12(1):37-42.
[6] PENG Q,， YANG T W,， ZHU C Q. Block-based temporal error concealment for video packet using motion vector extrapolation[C]. in：Proceeding of ICCCAS'02.Chengdu，China:2002：10-14.