摘 要： 分析了三維信息的提取在視頻監(jiān)控系統(tǒng)中的重要性,，指出了傳統(tǒng)標(biāo)定算法的局限性。在線性攝像機(jī)模型基礎(chǔ)上,，提出了一種基于圖像網(wǎng)格的非線性校正算法,，完成對(duì)攝像機(jī)參數(shù)的標(biāo)定，實(shí)現(xiàn)三維信息的重建,。以實(shí)際交通錄像為仿真對(duì)象,，證明了該算法的有效性。
關(guān)鍵詞： 單目圖像 三維信息 非線性校正 單應(yīng)性矩陣
近年來,，應(yīng)用攝像機(jī)等視覺傳感器及計(jì)算機(jī)視覺" title="計(jì)算機(jī)視覺">計(jì)算機(jī)視覺理論對(duì)車輛進(jìn)行識(shí)別與跟蹤在城市交通監(jiān)控中有較大的發(fā)展,。它涉及到視頻信號(hào)的采集、視頻信息的處理與分析,、計(jì)算機(jī)人工智能等,。其中交通信息的采集與分析是最基礎(chǔ)，也是最重要的環(huán)節(jié),，需要根據(jù)圖像中的二維信息來提取實(shí)際空間中的三維信息,。許多文獻(xiàn)中都提到了采用攝像機(jī)標(biāo)定" title="攝像機(jī)標(biāo)定">攝像機(jī)標(biāo)定來完成從二維到三維的轉(zhuǎn)換[1～2]，但傳統(tǒng)的標(biāo)定算法都需要一個(gè)高精度的模板和不同角度的圖像,。利用模板的精確數(shù)據(jù)" title="精確數(shù)據(jù)">精確數(shù)據(jù)與其圖像數(shù)據(jù)進(jìn)行匹配來求得攝像機(jī)內(nèi)外參數(shù)的方法有較大的局限性,。有些采用雙目方法來恢復(fù)三維信息[3～4]，但需要在兩幅圖像之間進(jìn)行相關(guān)匹配,。如果同一幅圖像上有多處極為相似,，則容易出現(xiàn)匹配錯(cuò)誤，且該算法的耗時(shí)會(huì)影響監(jiān)控的實(shí)時(shí)性,。本文提出了一種基于圖像網(wǎng)格的形變校正算法，由此計(jì)算單應(yīng)性矩陣,，無需用到標(biāo)定塊,，從而實(shí)現(xiàn)在單目圖像序列中提取車輛三維信息。該方法在智能交通系統(tǒng)ITS（Intelligent Traffic System）中有較好的應(yīng)用,。
1 系統(tǒng)概述
本系統(tǒng)的信息流程圖如圖1所示,。將由二維圖像獲取的信息，通過網(wǎng)格非線性校正算法計(jì)算從圖像平面到空間平面的變換系數(shù),，即二維單應(yīng)性矩陣,，由此進(jìn)行對(duì)攝像機(jī)參數(shù)的標(biāo)定，由內(nèi)外參數(shù)矩陣確定三維單應(yīng)性矩陣,，即確定從二維圖像恢復(fù)到實(shí)際三維信息的變換關(guān)系,。
2 攝像機(jī)成像幾何模型
假定攝像機(jī)的成像模型為經(jīng)典的小孔成像模型[5],，即只考慮線性模型，暫不考慮透鏡引起的畸變,，具體的幾何模型如圖2所示,。
由攝像機(jī)的光軸" title="光軸">光軸與圖像平面組成的直角坐標(biāo)系稱為攝像機(jī)坐標(biāo)系。如圖2中的O-XcYcZc為攝像機(jī)坐標(biāo)系,，O為光學(xué)中心,，Zc軸與光軸重合，O1-xy為圖像平面坐標(biāo)系（坐標(biāo)原點(diǎn)在圖像中心）,，O2-uv為以像素點(diǎn)為單位的圖像平面坐標(biāo)系,。在O-XcYcZc坐標(biāo)系下，O1點(diǎn)的坐標(biāo)為(0,，0,，f)，f為攝像機(jī)的焦距,，同時(shí)在O2-uv坐標(biāo)系下O1點(diǎn)的坐標(biāo)為(u0,，v0)。
設(shè)空間一點(diǎn)P在攝像機(jī)坐標(biāo)系下的坐標(biāo)為(XcYcZc),，通過透視投影而在成像平面上生成的對(duì)應(yīng)像點(diǎn)的像素坐標(biāo)為P′(u,，v)，兩者之間的比例關(guān)系用齊次坐標(biāo)表示為：
式中的su,、sv分別為像素的寬度和高度,，f、u0,、v0,、su、sv稱為攝像機(jī)的內(nèi)參數(shù),。
由于攝像機(jī)可以安放在環(huán)境中的任何位置,，所以應(yīng)在環(huán)境中選擇一個(gè)基準(zhǔn)坐標(biāo)系來描述攝像機(jī)的位置，該坐標(biāo)系稱為世界坐標(biāo)系,。攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系可以用旋轉(zhuǎn)矩陣R和平移向量μ來描述,，因此空間點(diǎn)P在世界坐標(biāo)系與攝像機(jī)坐標(biāo)系下的齊次坐標(biāo)之間有如下關(guān)系：
其中，(X,，Y,，Z)為點(diǎn)P的世界坐標(biāo)，R為3×3單位矩陣,，μ為三維平移向量,，OT=(0，0,，0),。
由式(1),、(2)可得點(diǎn)P的世界坐標(biāo)與投影點(diǎn)P′的像素坐標(biāo)之間的關(guān)系：
M1只與攝像機(jī)的內(nèi)參數(shù)有關(guān)，稱為內(nèi)參數(shù)矩陣,，M2與攝像機(jī)的外參數(shù)有關(guān),，稱為外參數(shù)矩陣，則式(3)可表示為：
由上式可知,，只要標(biāo)定了攝像機(jī)的內(nèi)外參數(shù)后,，即可建立圖像點(diǎn)的像素坐標(biāo)與實(shí)際點(diǎn)的世界坐標(biāo)之間的關(guān)系。
將外參數(shù)矩陣中的旋轉(zhuǎn)向量R表示為：
R=[r1,，r2,，r3]
其中r1，r2,，r3均是3×1的矩陣,，則可將式(4)表示為：
在不失問題一般性的情況下，先假設(shè)標(biāo)定物體位于世界坐標(biāo)系中Z=0的平面內(nèi),，則上式簡化為：
傳統(tǒng)的標(biāo)定方法中,，在實(shí)際場(chǎng)景中設(shè)定一個(gè)高精度的標(biāo)定塊，利用標(biāo)定塊上點(diǎn)的精確數(shù)據(jù)與其圖像中的數(shù)據(jù)進(jìn)行匹配,，得到單應(yīng)性矩陣H,。本系統(tǒng)中的單應(yīng)性矩陣H由基于網(wǎng)格的非線性校正算法求得。
3 基于網(wǎng)格的非線性校正算法
在所攝取的圖像上建立坐標(biāo)系,，規(guī)定圖像的左上角頂點(diǎn)為坐標(biāo)原點(diǎn),，如圖3所示。根據(jù)道路的交通標(biāo)志" title="交通標(biāo)志">交通標(biāo)志線設(shè)定圖像中的網(wǎng)格線,，對(duì)應(yīng)到實(shí)際道路中的網(wǎng)格線和坐標(biāo)系,，如圖4所示。通過在圖像上取點(diǎn)獲取像素坐標(biāo)可以計(jì)算出圖像網(wǎng)格中每條直線的方程,，從而可得到各直線的交點(diǎn)坐標(biāo),。在實(shí)際道路中由道路的寬度和交通標(biāo)志線來確定實(shí)際道路網(wǎng)格的交點(diǎn)坐標(biāo)。這兩類交點(diǎn)坐標(biāo)之間有一一對(duì)應(yīng)的關(guān)系,，根據(jù)這些點(diǎn)坐標(biāo)的對(duì)應(yīng),，可以找到一個(gè)函數(shù)關(guān)系來反映圖像中所有點(diǎn)的坐標(biāo)到實(shí)際坐標(biāo)的映射。
由于圖像上不同位置的點(diǎn)發(fā)生非線性形變的程度不同,，如果所有的點(diǎn)都對(duì)應(yīng)同一個(gè)映射關(guān)系，則不能保證校正的準(zhǔn)確性,。為了使坐標(biāo)的變換更為準(zhǔn)確,，可以在圖像上和實(shí)際道路中建立小網(wǎng)格模型。在圖像中的每個(gè)網(wǎng)格上取若干個(gè)點(diǎn),，分別對(duì)應(yīng)到實(shí)際網(wǎng)格的若干個(gè)點(diǎn)上,，由這些點(diǎn)的坐標(biāo)對(duì)應(yīng)關(guān)系建立每個(gè)網(wǎng)格的坐標(biāo)映射函數(shù),。在本算法中，將各網(wǎng)格分成9個(gè)小格,，取其邊界和中心的16個(gè)點(diǎn)進(jìn)行映射,。這樣，在進(jìn)行非線性坐標(biāo)變換時(shí),，首先判斷被計(jì)算點(diǎn)所處的網(wǎng)格位置,，再選擇相對(duì)應(yīng)的映射函數(shù)進(jìn)行變換。
由于精確的函數(shù)難以求得,，故采用近似的方法盡可能地逼近所求函數(shù),。在此校正算法中，采用最小二乘法[6]的曲線進(jìn)行擬合,。這里取基底函數(shù)Φ=Span{X,，Y，1},，所求的逼近函數(shù)用矩陣表示為：
其中m為網(wǎng)格中的交點(diǎn)數(shù),，交點(diǎn)數(shù)越多擬合得越精確。
4 攝像機(jī)參數(shù)的確定
在上面的算法中已經(jīng)得到二維單應(yīng)性矩陣,，其中旋轉(zhuǎn)矩陣的各旋轉(zhuǎn)分量互相正交[7],，所以r1×r2=0，于是可得到：
要求得攝像機(jī)的內(nèi)參數(shù)首先需要確定B的6個(gè)變量,。對(duì)于確定的攝像機(jī),，分辨率是已知的，所以成像中心的像素值(u0,，v0)可以得到,。將矢量b表示為：
所以只要確定兩個(gè)未知量就行了。將矩陣H的第i列矢量表示為：
其中vij為6×1矩陣,，各元素由已經(jīng)求得的單應(yīng)性矩陣的元素決定：
于是就完成了攝像機(jī)參數(shù)的標(biāo)定,，確定了三維單應(yīng)性矩陣，實(shí)現(xiàn)由二維信息到三維信息的變換,。
5 實(shí)驗(yàn)結(jié)果及在視頻監(jiān)控中的應(yīng)用
為了驗(yàn)證上述算法的有效性,，將其應(yīng)用于交通視頻監(jiān)控系統(tǒng)中，以準(zhǔn)確提取車輛信息,。以上海某外環(huán)高架路段為測(cè)試對(duì)象,，測(cè)試時(shí)間為2005年7月26日下午2：20～2：40，所用攝像機(jī)分辨率為1024×768,。由本算法計(jì)算得到的內(nèi)外參數(shù)分別如表1,、表2所示。其中,，fu,、fv分別為攝像機(jī)在橫向與縱向上的焦距,，(u0,，v0)為成像中心點(diǎn)的像素坐標(biāo)，r1，r2,，r3為攝像機(jī)外參數(shù)中的旋轉(zhuǎn)向量,，μ為外參數(shù)中的平移向量,。
由此對(duì)進(jìn)入系統(tǒng)所設(shè)定的檢測(cè)區(qū)域內(nèi)的車輛計(jì)算三維信息,，在后續(xù)幀中根據(jù)這些信息對(duì)車輛進(jìn)行識(shí)別與跟蹤。部分跟蹤效果如圖5所示（對(duì)尚未進(jìn)入或已經(jīng)出了檢測(cè)區(qū)域的車輛不進(jìn)行跟蹤）,。
由圖5可以看出,，由該算法提取的車輛信息較為準(zhǔn)確，能對(duì)各車輛進(jìn)行有效識(shí)別與跟蹤,，且完全能滿足實(shí)時(shí)監(jiān)控的需要,。
本文提出了一種從單目圖像序列中有效提取三維信息的算法，由基于網(wǎng)格的非線性校正算法求得單應(yīng)性矩陣以完成對(duì)攝像機(jī)的標(biāo)定,。將該算法應(yīng)用于實(shí)際交通錄像,，其實(shí)驗(yàn)結(jié)果表明算法具有較高的準(zhǔn)確度，且運(yùn)行速度較快,，能滿足視頻監(jiān)控的實(shí)時(shí)性要求,，在ITS中有較好的應(yīng)用前景。
參考文獻(xiàn)
1 馬頌德,，張正友.計(jì)算機(jī)視覺——計(jì)算理論與算法基礎(chǔ)[M].北京：科學(xué)出版社,，1998
2 全紅艷，張?zhí)镂?一種新的利用模板進(jìn)行攝像機(jī)自標(biāo)定的方法[J].電子學(xué)報(bào),，2005,；33(11)：1941～1945
3 蔡健榮，趙杰文.雙目立體視覺系統(tǒng)攝像機(jī)標(biāo)定[J].江蘇大學(xué)學(xué)報(bào)（自然科學(xué)版）,，2006,；27(1)：6～9
4 張劍清，張春森,，賀少軍.雙目序列影像三維運(yùn)動(dòng)參數(shù)確定[J].武漢大學(xué)學(xué)報(bào)（信息科學(xué)版）,，2006；31(1)：43～46
5 Zhang Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,，2000,；22(11)：1330～1334
6 沈劍華.數(shù)值計(jì)算基礎(chǔ)[M].上海：同濟(jì)大學(xué)出版社，1999
7 Meng X Q,，Li H,，Hu Z Y.A new easy camera calibration technique based on circular points[A].In：Proceedings of the british machine vision conference[C]，2000：496～501