摘? 要： 首先介紹了視頻信號(hào)處理的相關(guān)概念和視頻信號(hào)處理技術(shù)面臨的挑戰(zhàn)等問(wèn)題,；然后對(duì)多媒體應(yīng)用中的視頻編碼技術(shù),、交互式三維視頻技術(shù),、智能視頻處理技術(shù)等進(jìn)行了介紹與比較分析,；最后以智能視頻監(jiān)控,、視頻服務(wù)器和可視電話為例介紹了一些典型的視頻處理技術(shù)的應(yīng)用案例,。
關(guān)鍵詞： 視頻處理,；視頻編碼,；三維視頻；智能視頻
?
視覺(jué)是人類最重要的感覺(jué),，也是人類獲取信息的主要來(lái)源,。據(jù)統(tǒng)計(jì)，人類從外界獲取的信息中,，75%來(lái)自視覺(jué),。與其他的信息形式相比，視頻信息具有直觀,、具體,、生動(dòng)等諸多顯著優(yōu)點(diǎn)，并且所包含的信息量很大,?！鞍俾劜蝗缫灰?jiàn)”、“一圖值千言”等成語(yǔ)都說(shuō)明了這一點(diǎn),。因此,，各種視頻信號(hào)處理技術(shù)的研究和應(yīng)用一直吸引著國(guó)內(nèi)外廣大科技人員的關(guān)注,。20世紀(jì)90年代，計(jì)算機(jī)技術(shù),、信息技術(shù),、網(wǎng)絡(luò)技術(shù)及其他各種相關(guān)技術(shù)的發(fā)展，進(jìn)入了信息的數(shù)字化時(shí)代,。在此階段,，視頻信號(hào)處理技術(shù)得到了快速發(fā)展，特別是視頻,、音頻和多媒體通信等方面的國(guó)際標(biāo)準(zhǔn)不斷推出,，有力促進(jìn)了視頻信號(hào)處理技術(shù)逐步進(jìn)入實(shí)用化階段，如視頻會(huì)議,、可視電話,、數(shù)字電視等應(yīng)用的出現(xiàn)。以視頻信息處理為主的多媒體技術(shù)已經(jīng)成為21世紀(jì)最具有時(shí)代特征和最富有活力的研究和應(yīng)用領(lǐng)域之一,。
視頻信號(hào)處理主要包括視頻信號(hào)的采集,、處理、編碼和傳輸,。近年來(lái)的研究熱點(diǎn)主要集中在視頻信號(hào)的高效壓縮編碼,、智能視頻處理、三維立體視頻信號(hào)的高效傳輸與重建等,。
視頻信號(hào)處理的相關(guān)概念
視頻是一組在時(shí)間軸上有序排列的圖像,，是二維圖像在一維時(shí)間軸上構(gòu)成的圖像序列，又稱為動(dòng)態(tài)圖像,。它不僅包含靜止圖像所包含的內(nèi)容，還包含場(chǎng)景中目標(biāo)運(yùn)動(dòng)信息和客觀世界隨時(shí)間變化的信息,。早期的視頻主要是模擬的視頻信號(hào),，隨著各種電子技術(shù)的發(fā)展以及全球數(shù)字化進(jìn)程的推進(jìn)，數(shù)字化技術(shù)以其易存儲(chǔ),、易傳輸,、無(wú)誤碼積累等特點(diǎn)大大促進(jìn)了圖像和視頻的發(fā)展與應(yīng)用。
模擬視頻信號(hào)由視頻模擬數(shù)據(jù)和視頻同步數(shù)據(jù)構(gòu)成,，用于監(jiān)視器正確地顯示圖像,，圖像的細(xì)節(jié)取決于所應(yīng)用的視頻標(biāo)準(zhǔn)或制式。模擬視頻主要有三種制式：NTSC(National Television Standards Committee),、PAL(Phase Alternation Line)和SECAM(Sequential Couleur Avec Memoire)等,，這三種制式皆屬兼容制，其共同點(diǎn)是都采用能與黑白電視兼容的亮度信號(hào)和兩個(gè)色差信號(hào)作為傳輸信號(hào),，其不同點(diǎn)是兩個(gè)色差信號(hào)對(duì)副載波采用不同的調(diào)制方式,。三種視頻制式的主要參數(shù)如表1所示,。
?
為了在不同的應(yīng)用和產(chǎn)品之間交換數(shù)字視頻，需要數(shù)字視頻格式標(biāo)準(zhǔn),。為了便于國(guó)際節(jié)目交換以及PAL制系統(tǒng)與NTSC制系統(tǒng)之間兼容,，這就導(dǎo)致了通用數(shù)字視頻標(biāo)準(zhǔn)的出現(xiàn)。通用數(shù)字視頻標(biāo)準(zhǔn)主要包括國(guó)際無(wú)線電通信咨詢委員會(huì)(CCIR)所制定的數(shù)字分量視頻標(biāo)準(zhǔn)CCIR-601及CCIR-656,。CCIR-601定義了對(duì)應(yīng)于525行和625行電視系統(tǒng)的電視演播數(shù)字視頻標(biāo)準(zhǔn),，建立在帶有一個(gè)亮度(Y)和兩個(gè)色差(Cr和Cb)信號(hào)的分量視頻的基礎(chǔ)上，在525行和625行系統(tǒng)中,，采樣頻率均選擇水平掃描頻率的整數(shù)倍,。CCIR-656是在CCIR-601的基礎(chǔ)上發(fā)展的一種新數(shù)字視頻標(biāo)準(zhǔn)，使用27MHz的時(shí)鐘對(duì)視頻信號(hào)進(jìn)行采樣,，其中亮度(Y)信號(hào)采樣頻率為13.5MHz,，色差(U和V)采樣頻率為6.75MHz，量化比特為8bit或10bit,。由于CCIR-656視頻數(shù)據(jù)流采用8根信號(hào)線(傳統(tǒng)方式需要19根信號(hào)線)就可以傳輸所有的圖像信息和行同步,、場(chǎng)同步、偶同步信息,，因此采用CCIR-656方式進(jìn)行接口設(shè)計(jì)時(shí),，便于實(shí)時(shí)數(shù)字圖像處理硬件平臺(tái)以功能單元為單位進(jìn)行模塊化設(shè)計(jì)。
嵌入式視頻信號(hào)處理技術(shù)面臨的挑戰(zhàn)
視頻信號(hào)傳輸?shù)膸捫枨?BR> 視頻信號(hào)數(shù)字化后的數(shù)據(jù)量非常龐大,，如一路PAL制的數(shù)字電視的數(shù)據(jù)速率高達(dá)216Mb/s,，這無(wú)疑給存儲(chǔ)器的存儲(chǔ)容量、通信線路的信道傳輸率以及計(jì)算機(jī)的計(jì)算速度都帶來(lái)了極大的壓力,。同時(shí),，這也是制約多媒體技術(shù)發(fā)展的一個(gè)瓶頸問(wèn)題。解決這一問(wèn)題,，單純通過(guò)擴(kuò)大存儲(chǔ)器容量,、增加通信線路的傳輸率是不現(xiàn)實(shí)的，因此需要對(duì)視頻數(shù)據(jù)進(jìn)行壓縮編碼,。近年來(lái),，國(guó)際標(biāo)準(zhǔn)化組織ISO、國(guó)際電工委員會(huì)IEC,、國(guó)際電信聯(lián)盟ITU-T以及中國(guó)音視頻編碼標(biāo)準(zhǔn)化工作組相繼制定了一系列數(shù)字視頻圖像編碼的國(guó)際標(biāo)準(zhǔn),。
視頻信號(hào)處理對(duì)計(jì)算能力的需求
在嵌入式應(yīng)用中，視頻信號(hào)處理主要包括視頻編碼應(yīng)用等,，新一代視頻編碼標(biāo)準(zhǔn)H.264以實(shí)現(xiàn)視頻的高壓縮比,、高圖像質(zhì)量、良好的網(wǎng)絡(luò)適應(yīng)性等優(yōu)點(diǎn)，為廣大視頻應(yīng)用產(chǎn)業(yè)所接納,。相對(duì)于傳統(tǒng)視頻標(biāo)準(zhǔn)MPEG-2,、MPEG-4而言，H.264在碼率壓縮效率上具有無(wú)可比擬的優(yōu)勢(shì),，在相同畫面質(zhì)量的情況下,，H.264需要的帶寬只有MPEG-4的1/2、MPEG-2的1/8,。但是,，H.264 算法非常復(fù)雜，其編解碼的實(shí)時(shí)性難以保證,，通常只能實(shí)現(xiàn)對(duì)中低分辨率視頻的實(shí)時(shí)編碼,。
視頻信號(hào)處理對(duì)能量的需求
作為便攜式系統(tǒng)的移動(dòng)視頻終端，通常使用電池進(jìn)行供電,，其供能系統(tǒng)的容量受到很大的限制,。因?yàn)橐曨l業(yè)務(wù)的處理算法相對(duì)復(fù)雜，并且用戶在享受業(yè)務(wù)時(shí)需要長(zhǎng)時(shí)間開啟終端屏幕,，所以必然會(huì)消耗大量的能量,。這一問(wèn)題大大制約了移動(dòng)視頻通信業(yè)務(wù)的發(fā)展，因而需要設(shè)計(jì)低能耗的視頻信號(hào)處理算法,，減少視頻終端的能量消耗,。
視頻數(shù)據(jù)對(duì)傳輸質(zhì)量的要求
隨著無(wú)線網(wǎng)絡(luò)的飛速發(fā)展，無(wú)線視頻應(yīng)用越來(lái)越普及,。但是由于無(wú)線信道受多徑影響,，誤碼率高，時(shí)變性強(qiáng),，而實(shí)時(shí)視頻在無(wú)線網(wǎng)絡(luò)傳輸中容易受誤碼,、抖動(dòng)等影響，直接導(dǎo)致終端數(shù)據(jù)流信息無(wú)法完整回放,，因此如何保證視頻傳輸服務(wù)質(zhì)量顯得異常重要,。
多媒體應(yīng)用中視頻信號(hào)處理技術(shù)的發(fā)展情況
視頻壓縮編碼技術(shù)
視頻壓縮編碼技術(shù)是視頻信號(hào)處理的核心技術(shù)之一，理論和應(yīng)用領(lǐng)域都致力于該技術(shù)的研究,，并且制定了一系列國(guó)際標(biāo)準(zhǔn)。目前影響最大并被廣泛應(yīng)用的是ISO的MPEG系列,、ITU-T的H.26x系列和中國(guó)自主制定的AVS系列標(biāo)準(zhǔn)(參見(jiàn)圖1),。
?
H.261是首個(gè)獲得廣泛應(yīng)用的視頻編碼標(biāo)準(zhǔn)，它是為在ISDN上開展可視電話,、視頻會(huì)議而制定的,，速率為64kb/s的整數(shù)倍(也稱p×64標(biāo)準(zhǔn))。MPEG-1在H.261編碼算法的基礎(chǔ)上改進(jìn)，主要增加了B幀（雙向預(yù)測(cè)幀）和GOP（圖組）,，這些改進(jìn)取得了更高的壓縮比,，MPEG-1標(biāo)準(zhǔn)是VCD工業(yè)標(biāo)準(zhǔn)的核心。MPEG-2標(biāo)準(zhǔn)擴(kuò)展了MPEG-1標(biāo)準(zhǔn),，能夠支持高分辨率圖像,，目標(biāo)碼率是在3～15Mb/s傳輸速率條件下提供廣播級(jí)的圖像。MPEG-2是工業(yè)標(biāo)準(zhǔn)DVD的核心標(biāo)準(zhǔn),，是MPEG-1的一個(gè)超集,。H.263是針對(duì)甚低碼率(低于64kb/s)視頻會(huì)議和可視電話的窄帶信道視頻編碼標(biāo)準(zhǔn)。MPEG-4標(biāo)準(zhǔn)是針對(duì)數(shù)字電視,、交互式繪圖應(yīng)用,、交互式多媒體等整合及壓縮技術(shù)的需求而制定的國(guó)際標(biāo)準(zhǔn)，MPEG-4既能夠支持碼率低于64kb/s的視頻應(yīng)用,，也能夠支持廣播級(jí)的視頻應(yīng)用,。H.264/AVC標(biāo)準(zhǔn)是目前由ITU-T的視頻編碼專家組及ISO/IEC的活動(dòng)圖像專家組共同大力發(fā)展研究的、適應(yīng)于低碼率傳輸?shù)男乱淮鷫嚎s視頻標(biāo)準(zhǔn),。與原有的視頻編碼標(biāo)準(zhǔn)相比,，H.264/AVC具有更高的編碼效率，在相同的重建圖像質(zhì)量下,，能夠比H.263節(jié)約50%左右的碼率,。
AVS視頻編碼標(biāo)準(zhǔn)是由我國(guó)“數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組”自主制定的，相比于第一代標(biāo)準(zhǔn)MPEG-2,，編碼效率提高2～3倍,，實(shí)現(xiàn)方案簡(jiǎn)潔。AVS視頻標(biāo)準(zhǔn)可以廣泛應(yīng)用于IPTV,、數(shù)字電視廣播等,。AVS與MPEG-4/H.264采用的技術(shù)方案比較如表2。
?
?
交互式三維視頻
交互式三維視頻是近年來(lái)興起的一種新型媒體,，在傳統(tǒng)的二維視頻的基礎(chǔ)上,，它增加了視覺(jué)的現(xiàn)實(shí)感和逼真感，用戶在欣賞節(jié)目的同時(shí),，能夠自由的選擇視點(diǎn)與視角,，交互性是這種媒體的重要特征。根據(jù)不用的應(yīng)用場(chǎng)景,，交互式三維視頻主要分為交互式全方位視頻,、交互式立體視頻、交互式多視角視頻等幾種類型,。
(1)交互式全方位視頻
交互式全方位視頻（Interactive Omnidirectional Video)也被稱為沉浸式視頻(Immersive Video),。觀察者視點(diǎn)不變,，改變觀察方向能夠觀察到周圍的全部場(chǎng)景，普通的二維視頻只反應(yīng)了全方位視頻的某個(gè)局部,，難以使人產(chǎn)生身臨其境的沉浸感,，利用全方位視頻可以建立起供用戶觀察的虛擬環(huán)境，用戶通過(guò)在其中的漫游,，能夠交互地從不同觀察點(diǎn)和方向了解環(huán)境,。全方位視頻攝像機(jī)的示意圖如圖2所示，由多個(gè)攝像機(jī)對(duì)同一視點(diǎn)周圍的場(chǎng)景進(jìn)行采集處理,，任何一個(gè)視角的二維場(chǎng)景都可以由這些采集的圖像繪制出來(lái),。全方位視頻可以應(yīng)用于廣播、存儲(chǔ)和交互式的在線應(yīng)用等,。
?
(2)交互式立體視頻
交互式立體視頻利用人眼的雙目視差原理,，雙目各自獨(dú)立地接收來(lái)自同一場(chǎng)景、特定攝像點(diǎn)的左右圖像,，從而獲得具有深度感的立體圖像,。立體視頻由于能獲得景物的深度信息而具有強(qiáng)烈的真實(shí)感和逼真度。立體視頻的采集設(shè)備如圖3所示,，攝像頭并行排列在一條直線上,，模擬在水平位置上分開的人眼，為了能夠使觀察者體驗(yàn)到視角的變化,，有時(shí)需要多個(gè)攝像機(jī)同時(shí)采集多個(gè)不同位置的圖像,。
?
(3)交互式多視角視頻
交互式多視角視頻也被稱為任意視角視頻(Free Viewpoint Video)，用戶可以從不同的視點(diǎn)以任意的視角進(jìn)行觀察,，中間視角的視頻圖像可以根據(jù)左右兩個(gè)視角的原始視頻圖像來(lái)插值生成,。它是交互式視頻更一般的定義，上述的交互式全方位視頻和交互式立體視頻都是交互式多視角視頻的一個(gè)特例,。這種視頻數(shù)據(jù)的采集設(shè)備如圖4所示,，除了采集視頻信號(hào)之外，還可能需要攝像機(jī)的校正參數(shù)(包括一些內(nèi)置參數(shù)和外置參數(shù)),、場(chǎng)景的幾何信息等,，當(dāng)然這些參數(shù)和幾何信息也可以用合適的算法從采集的圖像中估計(jì)出來(lái)。
?
隨著交互式三維視頻采集和繪制技術(shù)的發(fā)展,，編碼技術(shù)也就成為推廣交互式三維視頻應(yīng)用的一個(gè)關(guān)鍵因素,。與普通的二維視頻相比，三維視頻要處理的數(shù)據(jù)量非常大,，所以必須充分利用空間,、時(shí)間和視角之間的信息冗余，采用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè),、視差補(bǔ)償預(yù)測(cè)技術(shù)，對(duì)三維視頻進(jìn)行有效的存儲(chǔ)和傳輸。
智能視頻技術(shù)
智能視頻技術(shù)是計(jì)算機(jī)視覺(jué)和模式識(shí)別技術(shù)在視頻中的應(yīng)用,，它對(duì)視頻圖像中的目標(biāo)進(jìn)行自動(dòng)檢測(cè),、跟蹤和分析，從而過(guò)濾掉用戶不關(guān)心的信息,，通過(guò)分析理解視頻畫面中的內(nèi)容,，提供有用的關(guān)鍵信息。其中運(yùn)動(dòng)目標(biāo)檢測(cè),、運(yùn)動(dòng)目標(biāo)分類和運(yùn)動(dòng)目標(biāo)跟蹤是智能視頻處理中的低級(jí)和中級(jí)處理部分,，而行為理解和描述則屬于高級(jí)處理部分。
????(1)運(yùn)動(dòng)目標(biāo)檢測(cè)
運(yùn)動(dòng)目標(biāo)檢測(cè)是從視頻序列中將變化區(qū)域從背景圖像中提取出來(lái),。運(yùn)動(dòng)區(qū)域的有效分割對(duì)于目標(biāo)分類,、跟蹤和行為理解等后期處理是非常重要的，因?yàn)橐院蟮奶幚磉^(guò)程僅僅考慮圖像中對(duì)應(yīng)于運(yùn)動(dòng)區(qū)域的像素,。然而,，由于背景動(dòng)態(tài)變化，如天氣,、光照,、影子及混亂干擾等的影響，使得運(yùn)動(dòng)檢測(cè)成為一項(xiàng)相當(dāng)困難的工作,。目前幾種常用的方法有：背景減除,、時(shí)間差分、光流,、擴(kuò)展的EM算法,、能量運(yùn)動(dòng)檢測(cè)、基于數(shù)學(xué)形態(tài)學(xué)的場(chǎng)景變化檢測(cè)等,。
(2)運(yùn)動(dòng)目標(biāo)分類
目標(biāo)分類是識(shí)別運(yùn)動(dòng)目標(biāo)所屬的類別,，不同的運(yùn)動(dòng)區(qū)域可能對(duì)應(yīng)于不同的運(yùn)動(dòng)目標(biāo)，比如交通道路上監(jiān)控?cái)z像機(jī)所捕捉的視頻序列中可能包含行人,、車輛及其他諸如飛鳥,、流云、搖動(dòng)的樹枝等運(yùn)動(dòng)物體,，為了便于進(jìn)一步對(duì)行人進(jìn)行跟蹤和行為分析,，運(yùn)動(dòng)目標(biāo)的正確分類是完全必要的。目前的分類方法主要有：基于形狀信息的分類,、基于運(yùn)動(dòng)特征的分類以及時(shí)間共生矩陣進(jìn)行分層分類的方法等,。
(3)運(yùn)動(dòng)目標(biāo)跟蹤
對(duì)目標(biāo)進(jìn)行分類和分割之后，在連續(xù)視頻幀中將相同的目標(biāo)對(duì)應(yīng)起來(lái),，實(shí)現(xiàn)目標(biāo)的連續(xù)跟蹤,。人體的跟蹤有兩層含義,，一是在二維圖像坐標(biāo)系下的跟蹤，二是在三維空間坐標(biāo)系下的跟蹤,。前者的實(shí)質(zhì)是指在二維圖像中,，建立運(yùn)動(dòng)區(qū)域和運(yùn)動(dòng)人體(或人體的某部分)的對(duì)應(yīng)關(guān)系，并在一個(gè)連續(xù)的視頻序列中維持這個(gè)對(duì)應(yīng)關(guān)系,。從運(yùn)動(dòng)檢測(cè)得到的一般是人的投影,，要進(jìn)行跟蹤就首先要給需要跟蹤的對(duì)象建立一個(gè)模型。對(duì)象模型可以是整個(gè)人體,，這時(shí),，形狀、顏色,、位置,、速度、步態(tài)等等都是可以利用的信息,；也可以是人體的一部分,，如上臂、頭部或手掌等,，這時(shí)需要對(duì)這些部分單獨(dú)進(jìn)行建模,。之后，將運(yùn)動(dòng)檢測(cè)到的投影匹配到這個(gè)模型上去,。一旦匹配工作完成,，就得到了最終有用的人體信息了。常用的數(shù)學(xué)工具有卡爾曼濾波(Kalman Filtering),、Condensation算法及動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)等,。
(4)行為理解與描述
行為理解與描述是近年來(lái)被廣泛關(guān)注的研究熱點(diǎn)。它是指對(duì)運(yùn)動(dòng)模式進(jìn)行分析和識(shí)別,，并用自然語(yǔ)言等加以描述,。行為理解可以簡(jiǎn)單地被認(rèn)為是時(shí)變數(shù)據(jù)的分類問(wèn)題，即將測(cè)試序列與預(yù)先標(biāo)定的代表典型行為的參考序列進(jìn)行匹配,。行為理解的關(guān)鍵問(wèn)題是如何從樣本學(xué)習(xí)中獲取行為序列,，并且學(xué)習(xí)和匹配行為序列能夠處理在相似的運(yùn)動(dòng)模式類別中空間和時(shí)間尺度上輕微的特征變化。對(duì)于人的行為識(shí)別而言,，目前主要有模板匹配方法與狀態(tài)空間方法,。采用模板匹配技術(shù)的行為識(shí)別方法首先將圖像序列轉(zhuǎn)換為一組靜態(tài)形狀模式，然后在識(shí)別過(guò)程中與預(yù)先存儲(chǔ)的行為標(biāo)本相比較,?；跔顟B(tài)空間模型方法是定義每個(gè)靜態(tài)姿勢(shì)作為一個(gè)狀態(tài)，這些狀態(tài)之間通過(guò)某種概率聯(lián)系起來(lái),。任何運(yùn)動(dòng)序列可以看作這些靜態(tài)姿勢(shì)的不同狀態(tài)之間的一次遍歷過(guò)程,，在這些遍歷期間計(jì)算聯(lián)合概率,，其最大值被定義為分類行為的標(biāo)準(zhǔn)。目前,，狀態(tài)空間模型已經(jīng)被廣泛地應(yīng)用于時(shí)間序列的預(yù)測(cè),、估計(jì)和檢測(cè)。
總之,，智能化是視頻應(yīng)用發(fā)展的必然趨勢(shì)，國(guó)際上很多科研機(jī)構(gòu)對(duì)智能視頻技術(shù)的研發(fā)和應(yīng)用部署已有多年,，特別是“911”事件之后,，出于反恐、國(guó)家公共安全和社會(huì)安定等多方面的需要,，智能化視頻監(jiān)控和預(yù)警技術(shù)已經(jīng)成為國(guó)際上最被關(guān)注的前沿研究領(lǐng)域,。
應(yīng)用案例
(1)智能視頻監(jiān)控
視頻監(jiān)控系統(tǒng)是安全防范系統(tǒng)的組成部分，它是一種防范能力較強(qiáng)的綜合系統(tǒng),。視頻監(jiān)控以其直觀,、方便、信息內(nèi)容豐富而被廣泛應(yīng)用于許多場(chǎng)合,。近年來(lái),，隨著計(jì)算機(jī)、網(wǎng)絡(luò)以及圖像處理,、傳輸技術(shù)的飛速發(fā)展,，視頻監(jiān)控技術(shù)也有長(zhǎng)足的發(fā)展。同時(shí),，隨著智能技術(shù)特別是模式識(shí)別技術(shù)在理論和實(shí)踐上的逐漸成熟,，將機(jī)器智能概念引入常規(guī)視頻監(jiān)控系統(tǒng)成為該領(lǐng)域的重要突破點(diǎn)。
我們?cè)O(shè)計(jì)的智能視頻監(jiān)控系統(tǒng)采用ARM微處理器為主控芯片,，同時(shí)以TI TMS320C642為視頻處理的協(xié)處理器,，充分發(fā)揮了ARM的控制優(yōu)勢(shì)和DSP的信號(hào)處理優(yōu)勢(shì)。系統(tǒng)結(jié)構(gòu)如圖5所示,。DM642主要負(fù)責(zé)視頻數(shù)據(jù)的采集,、編碼和智能分析，通過(guò)HPI和ARM進(jìn)行通訊,，ARM可以通過(guò)網(wǎng)絡(luò)與監(jiān)控中心相連,，同時(shí)也可以進(jìn)行對(duì)視頻數(shù)據(jù)存盤處理。
(2)嵌入式WEB視頻服務(wù)器
嵌入式WEB視頻服務(wù)器利用MPEG-4專用芯片采集壓縮視頻信號(hào),，經(jīng)過(guò)服務(wù)器網(wǎng)絡(luò)接口傳送到監(jiān)控中心,，服務(wù)器同時(shí)可以接收監(jiān)控中心發(fā)送的控制信號(hào)。視頻服務(wù)器硬件結(jié)構(gòu)如圖6所示,。服務(wù)器上電后,，系統(tǒng)被加載到與ARM相連的SDRAM中運(yùn)行,，ARM通過(guò)串口控制云臺(tái)，轉(zhuǎn)動(dòng)攝像機(jī)獲取視頻信號(hào),，經(jīng)過(guò)SAA7114采樣芯片實(shí)現(xiàn)A/D轉(zhuǎn)換,，轉(zhuǎn)換后的數(shù)字視頻數(shù)據(jù)傳給視頻壓縮芯片，完成視頻壓縮,，壓縮后的數(shù)據(jù)緩存在一個(gè)FIFO中,，當(dāng)FIFO達(dá)到一定的數(shù)據(jù)量時(shí)，觸發(fā)ARM中斷,，由處理器的中斷服務(wù)子程序獲取該數(shù)據(jù)并存放于系統(tǒng)緩沖區(qū)中,，等待發(fā)送程序讀取。當(dāng)服務(wù)器監(jiān)聽(tīng)到監(jiān)控端的視頻請(qǐng)求時(shí),，服務(wù)器將視頻數(shù)據(jù)打包并以流媒體的形式傳輸?shù)奖O(jiān)控端上去,。
(3)基于SIP的可視電話終端
可視電話終端由于使用方便、安裝方便等優(yōu)點(diǎn),，是目前國(guó)內(nèi)外的研究熱點(diǎn),。實(shí)現(xiàn)方案也有很多種，如采用DSP,、ARM或者專用的會(huì)議電視芯片等,。這里采用的方案是：使用TI公司的通用DSO芯片TMS320DM642，利用純軟件方式實(shí)現(xiàn)音視頻編解碼,，用三星公司的ARM9芯片S3C2410實(shí)現(xiàn)各種接口,，嵌入式操作系統(tǒng)和傳輸控制協(xié)議等。這樣既不存在芯片成本過(guò)高的問(wèn)題,，又能保證很高的性能,，可以通過(guò)簡(jiǎn)單的程序下載實(shí)現(xiàn)軟件升級(jí)或者增加新的編解碼標(biāo)準(zhǔn)。系統(tǒng)的硬件結(jié)構(gòu)框架如圖7所示,。其中,，TMS320DM643完成音頻壓縮編解碼G.711/G.729/G.723.1和視頻壓縮編解碼H.264，S3C2410完成SIP協(xié)議和嵌入式OS及各種接口,。
?
參考文獻(xiàn)
[1] WANG Yao,，OS-TERMANN J，ZHANG Ya Qin.Video Processing and Communications[M].New?Jersey：Pearson Education,，2003.
[2] Sadka A H.Compressed Video Communication[M].Hoboken：Wiley,，2002.
[3] 沈蘭蓀，卓力.小波編碼與網(wǎng)絡(luò)視頻傳輸[M].北京：科學(xué)出版社,，2005.
[4] 畢厚杰.新一代視頻壓縮編碼標(biāo)準(zhǔn)－H.264/AVC[M].北京：人民郵電出版社,，2005.
[5] 智能視覺(jué)監(jiān)控技術(shù)的研究[DB/OL].http：//www.zhi-leng.com.cn/Html/2007-04-08/7121.shtml.
[6] 王亮.人運(yùn)動(dòng)的視覺(jué)分析綜述.計(jì)算機(jī)學(xué)報(bào)，2002(3)：3-16.
[7] Millan Sonka，Vaclav Hlavac,，Roger?Boyle著.圖象處理分析與機(jī)器視覺(jué),，第二版，艾海舟,，武勃等譯.北京：人民郵電出版社,，2003.