概覽

    數(shù)字聲頻與音頻為消費(fèi)者提供了立體聲且高清晰度的聲頻體驗(yàn)，而相關(guān)測試則從傳統(tǒng)的靜態(tài),、單幀像分析,，轉(zhuǎn)換為動(dòng)態(tài)測試、質(zhì)量" title="圖像質(zhì)量">圖像質(zhì)量分析,。雖然單幀像分析可提供信號(hào)定時(shí),、色深、線條同步化,，以及更多有用信息,，但壓縮/解壓縮算法與緩沖錯(cuò)誤的數(shù)字影像也常造成瑕疵,，且無法通過單幀像所察覺。常見錯(cuò)誤則包含宏區(qū)塊,、幀像停滯,、聲頻遺失與截?cái)啵蛳袼鼗?。此篇教學(xué)指南概述了圖像質(zhì)量分析,，并說明NI Picture Quality Analysis軟件應(yīng)如何搭配NI Digital Video Analyzer使用，偵測數(shù)字聲頻與視頻的瑕疵或假影,。

    HDMI串流的常見瑕疵

    首先應(yīng)了解圖像質(zhì)量分析,，從而知道數(shù)字視頻系統(tǒng)可能產(chǎn)生的瑕疵類型。而用戶自己就能發(fā)覺最常見,、最重要的瑕疵,，如宏區(qū)塊、像素化,、幀像模糊,、停滯、遺失,、聲頻截?cái)嗪蚅ipSync,。

    宏區(qū)塊–數(shù)字影像往往是通過MPEG4或H.264壓縮成多個(gè)8x8色塊。若壓縮/解壓縮算法之間并無高度相關(guān),，則可能產(chǎn)生多個(gè)定義邊緣的區(qū)域,。 這就是宏區(qū)塊。

    .

    圖1.若原始圖像的解壓縮效果不佳,，宏區(qū)塊就可能在解壓縮后的像素之間形成定義邊緣,。

    若傳輸期間遺失數(shù)據(jù)，則解碼器將無法正確讀取數(shù)據(jù)區(qū)塊從而檢索原始的像素?cái)?shù)據(jù),這樣會(huì)造成明顯的掉色區(qū)塊錯(cuò)誤,。與宏色塊相比,，雖然這些錯(cuò)誤均較為少見，但仍極為明顯,。

    圖2. 因數(shù)據(jù)遺失與錯(cuò)誤解碼而產(chǎn)生的像素化錯(cuò)誤,。

    –在解碼或調(diào)整期間，可能遺失高頻率的組件,，進(jìn)而在邊緣之間遺失定義,，或出現(xiàn)模糊的情況。視頻信號(hào)將因此丟失清晰度或鮮明度,。

    圖3. 模糊將使視頻信號(hào)產(chǎn)生不清晰的邊緣,。 圖左在黑、白邊緣之間的定義較不明顯,。

    從圖1到圖3呈現(xiàn)了單一圖像的模糊,、像素化,、宏區(qū)塊；這些瑕疵往往不會(huì)再各個(gè)幀像逐一出現(xiàn),，而必須全時(shí)間完整測量設(shè)備以獲得正確的結(jié)果,。其他瑕疵如幀像停滯/遺失、聲頻切割,、LipSync(聲頻/視頻同步化),，也需分析多組幀像,。

    圖像質(zhì)量分析評(píng)分

    圖像質(zhì)量分析即測量視頻流的整體,。因此匯集了專業(yè)技術(shù)人員觀看視頻，并以其專業(yè)的主觀角度評(píng)分,，設(shè)立了DifferentialMeanOpinion Scores (DMOS),。 但此方法仍有許多待解的難題，如訓(xùn)練技術(shù)人員的成本,，還有操作人員觀看屏幕的重復(fù)性成本,。 另一個(gè)重大挑戰(zhàn)則是關(guān)于主觀測試的質(zhì)量。 在制造過程中,，根本不可能聘請視頻質(zhì)量專家觀看各組設(shè)備的生產(chǎn)細(xì)節(jié),，只能讓水平較差的操作人員觀看視頻并評(píng)分。 因此如分心,、疲勞,、眼睛過度刺激等人為因素，均會(huì)降低產(chǎn)品品質(zhì)而讓劣質(zhì)品過關(guān),，由此促使了工程師必須重新設(shè)計(jì)影像測試的方法,。

    較好的圖像質(zhì)量分析方式，即必須能重復(fù)套用客觀的測量方式,，以測量音頻與視頻的質(zhì)量,。目前有多種算法，均與專業(yè)操作人員的主觀評(píng)分相關(guān),。常見的兩種測量之一為峰值信噪比(PPSNR),，它是以均方差(MSE)以及德州大學(xué)圖像與視頻工程實(shí)驗(yàn)室(LIVE)的Al Bovik教授和其團(tuán)隊(duì)，所設(shè)定的結(jié)構(gòu)相似性(SSIM)指數(shù)為構(gòu)架,。 此項(xiàng)指數(shù)已成為最具公信力的視頻質(zhì)量測量指數(shù),。 只要套用如PSNR與SSIM算法，即可通過自動(dòng)化,、可重復(fù)的測量方法,，輕松評(píng)定視頻質(zhì)量。

    圖4.愛因斯坦照片的比較,，代表了不同的失真程度：

a)參考圖像, b)平均對比伸展, c)亮度平移, d)高斯噪音污染,，e)脈沖噪音污染, f)JPEG壓縮, g)模糊,

h)空間縮放 (縮小), i)空間平移 (向右), i)空間平移 (向左), k)旋轉(zhuǎn) (逆時(shí)針), l)旋轉(zhuǎn) (順時(shí)針),。

    下載“ImageQualityAssessment: From Error Visibility to Structural Similarity” 由Zhou Wang與Alan C. Bovik撰寫，并被IEEE Signal Processing Society授予最佳學(xué)術(shù)文章獎(jiǎng),。

    另一種視頻質(zhì)量測試方法是測量視頻與音頻內(nèi)容的特定假影,。此時(shí)可套用特定瑕疵算法，以找出視頻中的特定錯(cuò)誤,，如方格或幀像停滯/遺失,。許多生產(chǎn)應(yīng)用不太需要如PSNR或SSIM的高性能測試。反之,，往往僅需確認(rèn)沒有產(chǎn)生宏區(qū)塊,、聲頻切割、視頻停滯即可,。 通過特定瑕疵的測量,，即可迅速?zèng)Q定該款設(shè)備是通過還是失敗。

    具備NIPictureQualityAnalysis軟件的NI Digital Video Analyzer能夠測量特定瑕疵,，也可達(dá)到如PSNR與SSIM的高圖像質(zhì)量測量,。 通過用戶定義的測量，即可套用自定義的算法,，以建立完全自定制的圖像質(zhì)量分析應(yīng)用,。

    圖5.針對水平與垂直空間中的宏區(qū)塊，需采集并分析1080p60的視頻流,。

    參考與無參考測試

    針對視頻/音頻流,，進(jìn)行圖像質(zhì)量分析測量的方法目前有三種。

    1.無參考測試:不論圖像內(nèi)容如何,，此方式可將測量套用至任何系統(tǒng),。而此測量方式的挑戰(zhàn)之處在于，因分析圖像內(nèi)容的不同,，測量結(jié)果的差異也相當(dāng)大,。

    2.簡化參考測試:簡化參考測試則需要“金級(jí)”或理想樣本設(shè)備。在測量了金級(jí)樣本設(shè)備的音頻/視頻質(zhì)量之后,，其它設(shè)備即根據(jù)金級(jí)樣本結(jié)果進(jìn)行測試,，以定義該系統(tǒng)是通過還是失敗。

    3.完全參考測試::完整參考測試也需要金級(jí)的樣本設(shè)備,。但不同于簡化參考測試(分別測量測試與參考流),，完整參考是將2組串流依像素進(jìn)行分析。它是目前功能最為強(qiáng)大的測試,，但針對參考串流的分析,，其處理/存儲(chǔ)/檢索的難度更高。PSNR與SSIM測量均屬于完整參考方式,。

    圖6.圖片質(zhì)量分析共有三種方式：1)左圖的無參考測試,，可用于未知或無法重復(fù)的視頻串流,

 2)中間的簡化參考測試,，是在測量參考與測試流完成之后，再進(jìn)行比較,，3)右圖的完整參考測試即在測試與參考流之間進(jìn)行像素比較,。

    觸發(fā)

    當(dāng)使用簡化或完整參考分析時(shí)，必須同步化測試與參考流,，以實(shí)現(xiàn)精確的比較,。盡管同步化的方法有多種，但最理想的方式包含：

    如果可在感興趣區(qū)(ROI)中辨認(rèn)文字,，則可使用光學(xué)字符識(shí)別(OCR)方式,。視頻串流上的框架計(jì)數(shù)器是OCR的最佳范例。通過OCR可輕松地在任何特定框架上設(shè)定觸發(fā)器,。

    若串流的亮度大幅變化,，如相機(jī)角度變化或其他亮度增強(qiáng)時(shí),，強(qiáng)度閥值是理想的觸發(fā)方式,。此方法的關(guān)鍵就是必須找出觸發(fā)器的ROI，且不會(huì)觸發(fā)序列中的其他點(diǎn),。

    模式對比則常見于參考與測試流之間的觸發(fā)采集,。而此方法的難點(diǎn)在于，框架N與N+1太過相近,，會(huì)在錯(cuò)誤框架上觸發(fā)模式對比觸發(fā)器,。使用模式對比觸發(fā)器的最佳方式就是針對單一框架，為視頻流(例如色條)插入已知模式,。接著即可將此框架作為模式對比,。

    圖7.最理想的三種同步化方式是：模式對比、強(qiáng)度閥值,、光學(xué)字符識(shí)別,。

    NI Picture Quality Analysis軟件均具備這些觸發(fā)方式，更適用于任何應(yīng)用或視頻流,。也有用戶定義的觸發(fā)器,，可針對分析器寫入自己的觸發(fā)算法。

    NI Digital Video Analyzer與NI Picture Quality Analysis軟件(NI PQA)

    NIDigitalVideoAnalyzer與NI Picture Quality Analysis軟件,，可為HDMI串流視頻/音頻測試應(yīng)用提供必要的軟硬件,。 硬件以PXI Express技術(shù)為構(gòu)架，可采集1080p60,、 HDCP加密的圖像內(nèi)容,，并可套用相關(guān)函數(shù)庫客觀測量圖像質(zhì)量。

    NIDigitalVideoAnalyzer搭配NI Picture Quality Analysis軟件可提供強(qiáng)大的算法,，并在多媒體設(shè)備的設(shè)計(jì)與檢驗(yàn)期間,，進(jìn)行視頻的參考測試,。 針對更高傳輸率的應(yīng)用，NI Picture Quality Analysis軟件可提供高性能的實(shí)時(shí)測量,，避免操作人員發(fā)生錯(cuò)誤或主觀性測試,。可配置的介面選用參考/無參考測試,、直接進(jìn)行預(yù)先建立的測量,、設(shè)定限制，并自動(dòng)化應(yīng)用,。