張利萍，劉桂華,，可楊

　?。ㄎ髂峡萍即髮W(xué) 信息工程學(xué)院，四川 綿陽 621000）

       摘要：在基于相位輪廓術(shù)進(jìn)行雙目三維重建時(shí),，傳統(tǒng)的雙目測量系統(tǒng)在遮擋條件下無法獲取雙目相機(jī)公共視野以外的區(qū)域的點(diǎn)云數(shù)據(jù)，導(dǎo)致掃描結(jié)果出現(xiàn)測量空洞或者點(diǎn)云數(shù)量減少,，從而不能通過立體視覺進(jìn)行三維重建,。對此，提出了一種基于雙目點(diǎn)云重建單目點(diǎn)云的方法,，系統(tǒng)無需增加其他操作過程,，單次掃描就能同時(shí)獲得雙目點(diǎn)云和精度較高的左右單目點(diǎn)云。在對飛機(jī)模型的測量中,，利用該方法填補(bǔ)了雙目測量在機(jī)翼附近出現(xiàn)的數(shù)據(jù)丟失,，提高了測量結(jié)果的完整性。

　　關(guān)鍵詞：三維重建,；遮擋,；相位；點(diǎn)云

　　中圖分類號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：ADOI： 10.19358/j.issn.1674-7720.2017.04.021

　　引用格式：張利萍,，劉桂華,，可楊.基于單雙目融合的遮擋區(qū)域點(diǎn)云獲取技術(shù)研究［J］.微型機(jī)與應(yīng)用，2017,36（4）：70-73.

0引言

　　基于相位測量輪廓術(shù)的三維測量技術(shù)作為一種主動(dòng)式非接觸光學(xué)測量方法,，因具有全場分析,、測量精度高、非接觸等優(yōu)點(diǎn),，正逐漸成為當(dāng)前三維測量領(lǐng)域內(nèi)最重要和最熱門的一個(gè)研究分支,，在工業(yè)檢測,、質(zhì)量控制、逆向工程,、生物醫(yī)學(xué),、虛擬現(xiàn)實(shí)、文物保護(hù)等眾多領(lǐng)域中具有廣泛的應(yīng)用［14］,。常用的基于相位輪廓術(shù)的三維重建系統(tǒng)按相機(jī)個(gè)數(shù)可以分為單目系統(tǒng)和雙目系統(tǒng),，單目測量系統(tǒng)只需一個(gè)攝像機(jī)，通過相位值直接解算得到物體的高度信息,，雙目系統(tǒng)則將相位作為匹配的一個(gè)特征,，利用立體視覺求取物體的三維特征。這兩種結(jié)構(gòu)都有各自的優(yōu)點(diǎn),，但單目系統(tǒng)在測量精度以及抗噪性上與雙目視覺系統(tǒng)有一定的差距,。故雙目視覺系統(tǒng)在實(shí)際中的應(yīng)用更廣泛。

　　雙目視覺系統(tǒng)由于其三維坐標(biāo)的獲取是基于兩相機(jī)對應(yīng)像素點(diǎn)的匹配,，在視場方面有一定的局限性,，對于遮擋、陰影等情況,，在重建過程中容易出現(xiàn)數(shù)據(jù)的缺失,。遮擋是指匹配圖像對時(shí)，一個(gè)圖像的像素在另一個(gè)圖像中找不到對應(yīng)匹配點(diǎn),，導(dǎo)致最終出現(xiàn)匹配錯(cuò)誤,，不僅被遮擋的點(diǎn)難以得到正確的視差值，還會(huì)給遮擋區(qū)域附近點(diǎn)的匹配帶來負(fù)面效果,。如果靠多次掃描拼合或后期點(diǎn)云處理,，則較復(fù)雜［5］。IKEMURA S等人在用TOF相機(jī)獲得深度信息的基礎(chǔ)上,，提出了相關(guān)深度相似特征來進(jìn)行遮擋判斷,，該設(shè)備成本昂貴，且只能應(yīng)用在特殊場合中［6］,。MA Y等人將深度和遮擋率相結(jié)合,，但是當(dāng)遮擋對象出現(xiàn)相似視差變化的情況，就很難解決遮擋問題［7］,。Jin Xin等人將編碼和遮擋區(qū)域的分割相結(jié)合對遮擋關(guān)系進(jìn)行判斷,，減少了計(jì)算量，但是必須完全清楚場景中的對象時(shí)才可用此方法［8］,。耿英楠提出基于RGB矢量空間的三目立體匹配方法,，提高了遮擋區(qū)的匹配正確率，但是匹配過程比較復(fù)雜［9］。許雯提出了基于LRC遮擋檢測的改進(jìn)的ASW算法,，對檢測出的遮擋區(qū)域進(jìn)行填充,，提高了整體視差圖的匹配質(zhì)量［10］。以上算法對解決立體匹配中的遮擋問題都有很好的效果,，但是由于匹配過程中算法復(fù)雜,，計(jì)算量龐大或者成本較高等各種原因，導(dǎo)致在實(shí)際中的應(yīng)用性不強(qiáng),。針對上述問題,，結(jié)合單雙目測量系統(tǒng)各自的優(yōu)點(diǎn)，提出了一種基于雙目點(diǎn)云重建單目點(diǎn)云的新方法,，系統(tǒng)無需增加其他操作過程,，單次掃描就能同時(shí)獲得雙目點(diǎn)云和精度較高的左右單目點(diǎn)云，很好地提升了測量數(shù)據(jù)的完整性,。

1雙目三維重建原理

　　基于相位輪廓術(shù)的物體三維輪廓測量原理是投影儀向被測物體投射一組光強(qiáng)呈正弦分布的光柵,，左、右兩個(gè)相機(jī)同步采集受物體表面調(diào)制后的光柵,，然后根據(jù)采集的圖像獲取毎個(gè)像素的相位值,，最后根據(jù)標(biāo)定參數(shù)，應(yīng)用三角測量原理獲得物體表面三維數(shù)據(jù),。

　　雙目立體視覺系統(tǒng)中三維空間點(diǎn)的成像模型如圖1所示,，設(shè)空間點(diǎn)A在左右相機(jī)Cl和Cr上的投影分別為al和ar，al和ar為一對匹配點(diǎn),，則可以唯一確定A點(diǎn)的空間位置,，即直線Olal和直線Orar的交點(diǎn)。

　　設(shè)左攝像機(jī)位于世界坐標(biāo)系O-xyz原點(diǎn),，圖像坐標(biāo)系為Ol－XlYl，有效焦距為fl,，右攝像機(jī)坐標(biāo)系為Or-xryrzr,，有效焦距為fr，由攝像機(jī)透視投影模型以及兩攝像機(jī)之間的位置關(guān)系,，空間點(diǎn)A的三維坐標(biāo)可以表示為：

　　式中Xi=(ui-u0i)*dx,Yi=(vi-v0i)*dy,i=l,r,。其中(Xi,Yi)為像素物理坐標(biāo)，(u,v)為像素圖像坐標(biāo),，(u0,v0)為像素坐標(biāo)原點(diǎn),，dx、dy為像元尺寸,。右相機(jī)和左相機(jī)間的旋轉(zhuǎn)矩陣

　　由式（1）可知,，通過雙目攝像機(jī)標(biāo)定求出左、右相機(jī)焦距fl、fr,，旋轉(zhuǎn)矩陣R和平移矩陣T,，通過極線約束原理求出左右圖像中匹配點(diǎn)對的圖像坐標(biāo)，就可以得到被測物的三維點(diǎn)云數(shù)據(jù),。

　　在利用雙目視覺原理進(jìn)行三維重建的過程中,，常常由于相機(jī)拍攝視角或者物體表面輪廓較復(fù)雜等原因，導(dǎo)致物體表面某些場景點(diǎn)只能在雙目視覺系統(tǒng)中的一個(gè)攝像機(jī)中可見,，而在另一個(gè)攝像機(jī)中不可見,，圖像上這些點(diǎn)稱為雙目半遮擋點(diǎn)。它們通常存在于物體邊緣和場景不連續(xù)等地方,，而這些地方又是視覺中要處理的關(guān)鍵點(diǎn),。

2單目重建技術(shù)

　　現(xiàn)有的單雙目點(diǎn)云重建方法一般采用兩個(gè)相機(jī)分別與投影儀組成單目測量系統(tǒng)來補(bǔ)充雙目測量結(jié)果的方式。在獲取單目點(diǎn)云的方法上,，本文采用蓋紹彥提出的相位高度映射模型［11］,，此模型對攝像機(jī)、投影裝置以及標(biāo)定平面的位置關(guān)系無嚴(yán)格要求,，提高了系統(tǒng)的可操作性,。本節(jié)基于該模型提出一種使用雙目點(diǎn)云來優(yōu)化模型參數(shù)，獲得單目點(diǎn)云的方法,，與單純依靠雙目的測量系統(tǒng)相比,，使用此方法能夠有效地改進(jìn)系統(tǒng)的測量范圍和提高測量結(jié)果的完整性。

　　2.1相位恢復(fù)高度模型

　　系統(tǒng)模型［11］如圖2所示,，參考坐標(biāo)系Ωw(OXYZ)是基于投影設(shè)備建立的：OXY平面平行于投影面,，光柵條紋平行于Y軸，投影中心OP經(jīng)過Z軸,。攝像機(jī)坐標(biāo)系Ωc(OcXcYcZc)原點(diǎn)Oc位于鏡頭光心,，Zc位于光軸，Xc,、Yc分別平行于攝像機(jī)成像面的橫軸,、縱軸。o1mn表示攝像機(jī)成像面上的圖像坐標(biāo)系,。

　　設(shè)物點(diǎn)P在參考坐標(biāo)系ΩW中的坐標(biāo)為(X,Y,Z),，在攝像機(jī)坐標(biāo)系Ωc中的坐標(biāo)為(Xc,Yc,Zc)，有

　　可以推導(dǎo)出P點(diǎn)的相位θ與其三維坐標(biāo)(Xc,Yc,Zc)的關(guān)系如式（3）所示:

　　式（3）是θ-（Xc,Yc,Zc）映射模型的關(guān)系式,，a1~a8為待標(biāo)定的系統(tǒng)參量,，λ0為投影光柵節(jié)距，θ0為原點(diǎn)O的相位,。

　　2.2單雙目重建技術(shù)

　　傳統(tǒng)的求解參數(shù)a1~a8的方法是先通過平面標(biāo)定板對單目相機(jī)進(jìn)行標(biāo)定,，再對投影到標(biāo)定板上的光柵進(jìn)行解相，得到樣本點(diǎn)集（Xc,Yc,Zc,θ），帶入式（3）,，可得到一組以參量a1~a8為未知數(shù)的線性方程,，解方程組，即可得到參量值,。

　　本節(jié)提出了一種基于雙目點(diǎn)云重建單目點(diǎn)云的方法,，直接將雙目重建的點(diǎn)和對應(yīng)的相位值組成樣本集（Xi,Yi,Zi,θi）代入式（3），優(yōu)化解得a1~a8,，然后對于僅在單個(gè)相機(jī)視場內(nèi)有效的物點(diǎn),，將其相位值代入式（3），結(jié)合式(1)中X,、Y和Z的關(guān)系計(jì)算三維坐標(biāo),。相比傳統(tǒng)的參數(shù)求解方法，本方法既消除了傳統(tǒng)方法中由于相機(jī)標(biāo)定和光柵解相帶來的誤差,，提高了參數(shù)的優(yōu)化精度,，又簡化了操作過程。

　　設(shè)左相機(jī)為參考坐標(biāo)系,，計(jì)算左單目點(diǎn)云時(shí)可以直接使用雙目點(diǎn)和左相位場,，但計(jì)算右單目點(diǎn)云時(shí)，將雙目點(diǎn)云轉(zhuǎn)換到右相機(jī)坐標(biāo)系下,，加上右相位場來計(jì)算,，最后再將右單目點(diǎn)云坐標(biāo)統(tǒng)一到左相機(jī)坐標(biāo)系下。算法實(shí)現(xiàn)的步驟如下：

　?。?）標(biāo)定：使用張正友平板標(biāo)定法［12］對雙目系統(tǒng)的內(nèi)外參數(shù)進(jìn)行標(biāo)定,。

　　（2）相位解算：先使用最大類間方差法分離物體和背景,，將屬于物體部分的點(diǎn)標(biāo)記為有效點(diǎn),，再通過四步相移［13］加多頻外差［14］解算出左右相位場。

　?。?）匹配：利用相位值相等和極線約束條件尋找左右相機(jī)中的對應(yīng)匹配點(diǎn),，同時(shí)在相位圖中對未匹配點(diǎn)予以標(biāo)記，再進(jìn)行亞像素插值提高精度,。

　　（4）雙目重建：得到左右相機(jī)的匹配點(diǎn)后,，利用相機(jī)的內(nèi)外參量,，根據(jù)三角原理法計(jì)算三維坐標(biāo)。

　　(5) 左右單目重建：分別利用左右相機(jī)與投影儀組成兩個(gè)單目測量系統(tǒng),。利用本文所述的單目測量方法分別對左右相機(jī)中的未匹配點(diǎn)求取對應(yīng)的三維坐標(biāo),，并統(tǒng)一到雙目測量坐標(biāo)系中。

　　為了避免單目測量系統(tǒng)重建雙目缺失區(qū)域以外的部位，在雙目測量匹配過程中,，分別對左右相機(jī)中的未匹配點(diǎn)進(jìn)行標(biāo)記,，對相位圖中的每一點(diǎn)設(shè)置一個(gè)標(biāo)記值，如果能夠找到對應(yīng)匹配點(diǎn)則設(shè)其標(biāo)記值為1,，否則為0,，在后續(xù)的單目重建中僅對標(biāo)記值為0的點(diǎn)進(jìn)行處理。

3實(shí)驗(yàn)驗(yàn)證及結(jié)果分析

　　實(shí)驗(yàn)采用基于雙目視覺的數(shù)字光柵投影系統(tǒng),，該系統(tǒng)由兩個(gè)高分辨率（分辨率1 280×1 024）的工業(yè)CCD相機(jī)和一個(gè)DLP投影儀組成,，測量時(shí)使用投影儀向被測物體投射一組光強(qiáng)呈正弦分布的光柵，左右兩個(gè)相機(jī)進(jìn)行同步采集受物體表面調(diào)制后的光柵,，然后根據(jù)采集的圖像,，獲取其相位信息最后根據(jù)標(biāo)定參數(shù)，應(yīng)用三角測量原理獲得物體表面三維數(shù)據(jù),。

　　飛機(jī)模型的點(diǎn)云如圖3所示,。　

　　在圖3中,，單次掃描重建的點(diǎn)云如圖3（b)所示,，在機(jī)身和兩側(cè)機(jī)翼交接的地方會(huì)出現(xiàn)一些空洞,其原因是由于機(jī)身的遮擋, 而不能被雙相機(jī)同時(shí)拍攝到，因此出現(xiàn)點(diǎn)云缺失的空洞,。分別基于雙目點(diǎn)云及其相位場優(yōu)化得到的a1~a8見表1,。單目重建也對雙目無法測量的部位進(jìn)行了補(bǔ)充，使單次測量結(jié)果更加完整,。圖3（d)中仍然存在的一些空洞是物體表面的黑色斑點(diǎn)所致,，與本文算法無關(guān)，可以通過向物體表面噴白色顯影劑的方式來測得,。

　　為了對本測量系統(tǒng)的重建精度進(jìn)行評估,，對面距為30 mm的梯形標(biāo)準(zhǔn)件進(jìn)行測量，如圖4所示,，將得到的點(diǎn)云擬合成平面,，計(jì)算兩平面之間的面距，測量結(jié)果如表2所示,，可以看出單目點(diǎn)云精度比雙目點(diǎn)云稍低,，可以用于對精度要求不是很高的場合。

　　單目重建算法能對雙目點(diǎn)云中的測量空洞進(jìn)行補(bǔ)充,，但其精度往往達(dá)不到雙目點(diǎn)云的精度,，由于單目重建是直接通過相位值計(jì)算物點(diǎn)的三維坐標(biāo)，相位誤差是影響單目測量精度的主要因素,，由投影儀的Gamma非線性和工業(yè)相機(jī)的非線性響應(yīng)共同引起的光柵圖像非正弦化是相位誤差的主要來源,，相機(jī)采集圖像時(shí)引入的環(huán)境光與相機(jī)Gamma值共同作用也會(huì)使采集的光柵圖片非正弦化,。

4結(jié)論

　　本文提出了一種基于相位高度模型的新單雙目重建方法，使用雙目點(diǎn)云優(yōu)化出系統(tǒng)參數(shù)用于單目點(diǎn)云的計(jì)算,。該方法能在單次掃描過程中同時(shí)實(shí)現(xiàn)單目和雙目的點(diǎn)云計(jì)算,，對雙目測量結(jié)果中出現(xiàn)的空洞區(qū)域，可以使用該處單目測量的結(jié)果加以補(bǔ)充,。這種方式的單目重建在雙目視覺系統(tǒng)的基礎(chǔ)上,，無需增加其他硬件設(shè)備或者操作步驟，簡單可行,。與單純地依靠雙目測量系統(tǒng)相比,使用此方法能夠有效地改進(jìn)系統(tǒng)的測量范圍和提高測量結(jié)果的完整性,。

　　單目重建算法能對雙目點(diǎn)云中的測量空洞進(jìn)行補(bǔ)充，但其精度往往達(dá)不到雙目點(diǎn)云的精度,。由于單目重建是直接通過相位值計(jì)算物點(diǎn)的三維坐標(biāo),，因此需要進(jìn)一步提升相位精度。下一步的重點(diǎn)是研究相位誤差補(bǔ)償方法,，建立相機(jī)和投影儀Gamma值的數(shù)學(xué)模型,，利用預(yù)編碼方法消除相位誤差。

參考文獻(xiàn)

　?。?］ Zhang Zonghua, TOWERS D P, TOWERS C E. Snapshot color fringe projection for absolute 3D metrology of video sequences［J］. Applied Optics, 2010, 49: 5947-53.

　?。?］ Dai Meiling, Yang Fujun, He Xiaoyuan. Singleshot color fringe projection for threedimensional shape measurement of objects with discontinuities［J］. Applied Optics, 2012, 5(12): 2062-2069.

　　［3］ Wang Yongchang, Liu Kai, Hao Qi, et al. Period coded phase shifting strategy for realtime 3D structured light illumination［J］. IEEE Transactions on Image Processing, 2011, 20(11): 3001-3013.

　?。?］ GORTHI S S, RASTOGI P. Fringe projection techniques: whither we are?［J］. Optics & Lasers in Engineering, 2010, 48(2): 133-140.

　?。?］ TYAGI A, POTAMIANOS G, DAVIS J W, et al. Fusion of multiple camera views for kernelbased 3D tracking［C］. IEEE Workshop on Motion and Video Computing. Austin, TX, USA: IEEE Press, 2007:1-8.

　　［6］ IKEMURA S, FUJIYOSHI H. Realtime human detection using relational depth similarity features［J］. Computer Vision–ACCV 2010, Springer Berlin Heidelberg, 2010,6495: 25-38.

　?。?］ MA Y, WORRALL S, KONDOZ A M. Depth assisted visual tracking［C］.  10th Workshop on Image Analysis for Multimedia Interactive Services, 2009. WIAMIS'09. IEEE, 2009: 157-160.

　?。?］ Jin Xin, Chen Xiaowu, Zhou Bin, et al. Cooperatively resolving occlusion between real and virtual in multiple video sequences［C］. 2011 Sixth Annual IEEE China Grid Conference (China Grid), 2011: 234-240.

　　［9］ 耿英楠.立體匹配技術(shù)的研究［D］.長春：吉林大學(xué),2014.

　?。?0］ 許雯.立體視覺中局部立體匹配算法研究［D］.西安:西安電子科技大學(xué),，2014.

　　［11］ 蓋紹彥,，達(dá)飛鵬.一種新的相位法三維輪廓測量系統(tǒng)模型及其標(biāo)定方法研究［J］.自動(dòng)化學(xué)報(bào), 2007,33(9)：902-910.

　?。?2］ ZHANG Z. A flexible new technique for camera calibration［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000. 22(11): 1330-1334.

　　［13］ 蔡長青,賀玲鳳.基于四步相移的相位差提取方法［J］. 華南理工大學(xué)學(xué)報(bào)（自然科學(xué)版）,2011,39(9):93-96.

　?。?4］ 陳松林,趙吉賓,夏仁波.多頻外差原理相位解包裹方法的改進(jìn)［J］.光學(xué)學(xué)報(bào),2016,36(4):1-11.