《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 嵌入式技術(shù) > 設(shè)計(jì)應(yīng)用 > 面向圖像三維重建的無(wú)人機(jī)航線規(guī)劃
面向圖像三維重建的無(wú)人機(jī)航線規(guī)劃
2019年電子技術(shù)應(yīng)用第3期
吳宇豪,,安籽鵬
信息工程大學(xué) 地理空間信息學(xué)院,河南 鄭州450000
摘要: 隨著無(wú)人機(jī)技術(shù)的發(fā)展,,無(wú)人機(jī)序列影像三維重建越來(lái)越受到人們的關(guān)注,。為完整重建任務(wù)區(qū)域的三維模型并減少無(wú)人機(jī)飛行功耗,提出一種面向圖像三維重建的無(wú)人機(jī)航線規(guī)劃算法,。針對(duì)凸多邊形任務(wù)區(qū)域,,在圖像重疊度和時(shí)間連續(xù)性的要求下,基于光柵法規(guī)劃掃描航線并結(jié)合最佳掃描方向使得轉(zhuǎn)彎次數(shù)最少,。借助Gazebo仿真平臺(tái),,對(duì)比驗(yàn)證了無(wú)人機(jī)按照該算法規(guī)劃的航線飛行時(shí)功耗更小,且拍攝得到的序列影像能夠重建任務(wù)區(qū)域三維模型,。
中圖分類(lèi)號(hào): TP79
文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.183273
中文引用格式: 吳宇豪,,安籽鵬. 面向圖像三維重建的無(wú)人機(jī)航線規(guī)劃[J].電子技術(shù)應(yīng)用,2019,,45(3):76-79,,87.
英文引用格式: Wu Yuhao,An Zipeng. UAV route planning for image 3D reconstruction[J]. Application of Electronic Technique,,2019,,45(3):76-79,87.
UAV route planning for image 3D reconstruction
Wu Yuhao,,An Zipeng
Institute of Geospatial Information,,Information Engineering University,Zhengzhou 450000,,China
Abstract: With the development of drones, three-dimensional reconstruction of UAV sequence images is receiving more and more attention. In order to make the captured sequence image completely reconstruct the 3D model of the mission area and the flight power consumption of the multi-rotor UAV is smaller, a multi-rotor UAV coverage path planning algorithm for image 3D reconstruction is proposed. For the convex polygon region, in order to meet the requirements of image overlap and time continuity, a multi-rotor UAV scanning route planning method based on the grating method is proposed and combined with the optimal scanning direction to minimize the number of turns. With the help of Gazebo simulation platform, it is verified that the power consumption of the multi-rotor UAV is smaller when the flight is obtained according to the algorithm of this paper, and the captured sequence image satisfies the requirements of the reconstruction task area three-dimensional model.
Key words : route planning,;drone;3D reconstruction,;coverage path planning

0 引言

    隨著無(wú)人機(jī)技術(shù)的發(fā)展,,無(wú)人機(jī)被應(yīng)用到越來(lái)越多的領(lǐng)域,例如搜索或探索[1],、震后災(zāi)害分析[2]以及森林,、礦山、空氣質(zhì)量監(jiān)測(cè)[3]等活動(dòng)中,。利用無(wú)人機(jī)拍攝地面影像進(jìn)行三維重建是一種典型的應(yīng)用,。為了完整重建出任務(wù)區(qū)域的三維模型,,首先要解決的問(wèn)題是合理規(guī)劃出覆蓋任務(wù)區(qū)域的航線。該問(wèn)題屬于覆蓋路徑規(guī)劃問(wèn)題的范疇,。覆蓋路徑規(guī)劃問(wèn)題(coverage path planning)的目的是找到一條路徑,,以完全遍歷任務(wù)區(qū)域。 

    目前,,國(guó)內(nèi)外學(xué)者對(duì)覆蓋路徑規(guī)劃問(wèn)題進(jìn)行了大量的研究,,針對(duì)不同的應(yīng)用場(chǎng)景提出了不同的解決方案,主要的應(yīng)用場(chǎng)景有機(jī)器人軍事偵察[4],、無(wú)人機(jī)自動(dòng)搜索[5]植保無(wú)人機(jī)農(nóng)田灌溉[6]等,。其中,各應(yīng)用中的覆蓋路徑規(guī)劃算法大致可分為單元分解法與柵格法兩種類(lèi)型,。單元分解法中的最為經(jīng)典的算法是LATOMBE J C在1991年提出的Trapezoidal分解法[7],,對(duì)整個(gè)任務(wù)區(qū)域進(jìn)行分割,形成多個(gè)子區(qū)域,,分別進(jìn)行路徑規(guī)劃,。HUANG W H等人[8]對(duì)精確單元法提出了改進(jìn),提出了“Minimal Sum of Altitude(MSA)”算法,。其主要思想是使得覆蓋路徑中的轉(zhuǎn)彎次數(shù)達(dá)到最小,,以減少在轉(zhuǎn)彎時(shí)消耗的能量。柵格法最早由ELFES A和MORAVEC H P提出[9-10],,是將覆蓋區(qū)域均勻劃分的方法,,目標(biāo)是尋找一條或多條遍歷有效柵格的覆蓋路徑。其中比較有代表性的算法有基于生物激勵(lì)神經(jīng)網(wǎng)絡(luò)的柵格法[11],、基于生成樹(shù)的柵格法[12]以及基于四叉樹(shù)的方法[13],。楊麗春[14]基于改進(jìn)人工勢(shì)場(chǎng)法實(shí)現(xiàn)了無(wú)人機(jī)在線航線規(guī)劃

    針對(duì)無(wú)人機(jī)序列影像三維重建的特定要求,,本文主要在不考慮氣象因素的條件下研究了凸多邊形任務(wù)區(qū)域的無(wú)人機(jī)覆蓋航線規(guī)劃問(wèn)題,。融合柵格法的等分思想與掃描航線的特點(diǎn)提出了基于光柵法的無(wú)人機(jī)掃描航線規(guī)劃方法,并通過(guò)計(jì)算最佳掃描方向,,使得轉(zhuǎn)彎次數(shù)最少化且功耗最小,。

1 面向圖像三維重建的無(wú)人機(jī)航線規(guī)劃問(wèn)題

1.1 三維重建圖像要求

    無(wú)人機(jī)序列影像的三維重建質(zhì)量主要受到以下因素影響:

    (1)重疊度:無(wú)人機(jī)所拍攝的序列影像需要具有一定的重疊區(qū),即具有一定的旁向與縱向重疊度,。一般來(lái)說(shuō),,序列影像的重疊度越高,三維重建的質(zhì)量越高,。

    (2)時(shí)間連續(xù)性:由于環(huán)境因素會(huì)隨時(shí)間產(chǎn)生變化,,從而導(dǎo)致任務(wù)區(qū)域的表面特征發(fā)生改變。因此,,為了獲得更好的重建結(jié)果,,需在盡可能短的時(shí)間內(nèi)完成序列影像的獲取,。

    為了對(duì)任務(wù)范圍進(jìn)行完整的三維重建,需要規(guī)劃設(shè)計(jì)一條或多條無(wú)人機(jī)全覆蓋航線并且所拍攝的序列影像盡可能滿(mǎn)足上述條件,。

1.2 任務(wù)航線規(guī)劃方式

    序列影像滿(mǎn)足重疊度要求后,航線規(guī)劃過(guò)程中最需要解決的問(wèn)題是如何最大限度地降低功耗,。無(wú)人機(jī)航線距離越長(zhǎng),,任務(wù)所需的時(shí)間越長(zhǎng),消耗的能量也會(huì)越多,。同時(shí),,文獻(xiàn)[8]提出在相同任務(wù)航線距離情況下,轉(zhuǎn)彎次數(shù)越多,,所耗費(fèi)的時(shí)間將會(huì)越長(zhǎng),,能量越多。其原因?yàn)闊o(wú)人機(jī)轉(zhuǎn)彎時(shí)需要經(jīng)過(guò)減速,、變向,、加速等過(guò)程,相較于直線飛行會(huì)花費(fèi)更多的時(shí)間與能量,。

    掃描式航線是一種解決全覆蓋問(wèn)題的典型覆蓋方法,,具有航程較短、轉(zhuǎn)彎次數(shù)少等優(yōu)點(diǎn),。其主要飛行方式如圖1所示,,無(wú)人機(jī)起飛之后,按一定的航向沿直線飛行,,到達(dá)轉(zhuǎn)向點(diǎn)后轉(zhuǎn)向,,隨后按與之前航向平行但相反的方向飛行至下一轉(zhuǎn)向點(diǎn),依次循環(huán)覆蓋任務(wù)區(qū)域,。飛行過(guò)程中,,設(shè)定相機(jī)方向?yàn)樨Q直向下,成像角度在整個(gè)飛行過(guò)程中不變,。每一張無(wú)人機(jī)圖像所拍攝的區(qū)域?qū)嶋H寬為w,,長(zhǎng)為l。相鄰兩張相片之間的旁向重疊度為v,,縱向重疊度為h,。

jsj1-t1.gif

2 覆蓋凸多邊形任務(wù)區(qū)域的掃描航線

2.1 基于光柵法的掃描航線規(guī)劃方法

    無(wú)人機(jī)實(shí)際作業(yè)的過(guò)程中,任務(wù)區(qū)域往往是不規(guī)則的多邊形,,其中凸多邊形區(qū)域是較為常見(jiàn)的一種,。針對(duì)凸多邊形任務(wù)區(qū)域,重點(diǎn)考慮序列圖像的重疊度要求,,本文提出融合柵格法等分思想與掃描航線特點(diǎn)的光柵法,,如圖2所示,,其規(guī)劃過(guò)程如下。

jsj1-t2.gif

    任務(wù)區(qū)域?yàn)槎噙呅蜳1P2P3P4P5P6,。為了便于規(guī)劃全覆蓋掃描航線,,建立坐標(biāo)系XOY,設(shè)定坐標(biāo)系X軸為任務(wù)區(qū)域多邊形某一邊(圖2中邊P4P5),,并將整個(gè)任務(wù)區(qū)域多邊形置于第一象限內(nèi),。記任務(wù)區(qū)域多邊形的頂點(diǎn)Pi的坐標(biāo)為(xi,yi),,其中X方向與Y方向坐標(biāo)的最大最小值分別記為(xmin,,xmax,ymin,,ymax),,任務(wù)區(qū)域的邊界PiPi+1可表示為(y-yi+1)(xi-xi+1)=(x-xi+1)(yi-yi+1),i=(1,,2,,…,6),。以X軸方向?yàn)闊o(wú)人機(jī)飛行的起始航向,,無(wú)人機(jī)掃描航線的航線間距d由旁向重疊度v與無(wú)人機(jī)圖像視場(chǎng)寬度w確定,計(jì)算方式具體如下式:

    jsj1-gs1.gif

    以無(wú)人機(jī)掃描航線的航線間距d作為光柵法的光柵間距,,以垂直于無(wú)人機(jī)起始航向的方向?yàn)閯澐址较?,從距離任務(wù)區(qū)域多邊形底邊w/2處起等分坐標(biāo)系第一象限。其中,,任務(wù)區(qū)域多邊形覆蓋的光柵帶為有效光柵帶,,其余為無(wú)效光柵帶。掃描航線的匝數(shù)n取決于航線間距d,、無(wú)人機(jī)圖像視場(chǎng)寬w以及掃描方向長(zhǎng)度ls(ls=ymax-ymin):

jsj1-gs2.gif

jsj1-gs3.gif

2.2 最佳掃描方向

    由于無(wú)人機(jī)在轉(zhuǎn)彎時(shí)飛行速度會(huì)減慢,,并耗費(fèi)大量的能量,減少轉(zhuǎn)彎次數(shù)能夠有效減少飛行時(shí)間,,增強(qiáng)序列圖像之間的時(shí)間連續(xù)性并降低飛行功耗,。由式(2)可知,掃描航線匝數(shù)取決于掃描方向ls的長(zhǎng)度,,因?yàn)楹骄€間距d由圖像與重疊度固定確定,。因此,最小化掃描方向ls的長(zhǎng)度,,可以使無(wú)人機(jī)掃描航線的轉(zhuǎn)彎次數(shù)最少化,,飛行時(shí)間最少,功耗達(dá)到最小。

    傳統(tǒng)的航線規(guī)劃算法在確立最佳掃描方向時(shí)采用枚舉的方式進(jìn)行,,設(shè)定計(jì)算步長(zhǎng)r°,,航向角α的取值為(0°,r°,2r°,,…,,nr°,180°),,取其中匝數(shù)最少的作為最優(yōu)航線,。該方法作業(yè)效率低,且精度與步長(zhǎng)r°的取值有關(guān),。為了確定最佳掃描方向獲得最小化的航線匝數(shù),本文提出垂線法以確立最佳掃描方向,,如圖3所示,。

jsj1-t3.gif

    如圖3(a)所示,分別計(jì)算任務(wù)區(qū)域多邊形各邊到最遠(yuǎn)頂點(diǎn)的距離Li,,i∈(1,,2,…,,6),。其中,選取距離最短的方向作為最佳掃描方向,,因?yàn)榇朔较蛩枰D(zhuǎn)彎的次數(shù)最少,,能夠最大限度減小無(wú)人機(jī)功耗,提高任務(wù)效率,。選取最佳掃描方向,,按照2.1中光柵法對(duì)任務(wù)區(qū)域進(jìn)行掃描航線規(guī)劃,結(jié)果如圖3(b)所示,。按照最佳掃描方向規(guī)劃航線得出的最佳覆蓋航線的匝數(shù)比2.1節(jié)中規(guī)劃的航線匝數(shù)少了3匝,,轉(zhuǎn)彎數(shù)減少,說(shuō)明按照最佳掃描方向規(guī)劃航線能夠有效減少無(wú)人機(jī)的功耗,。

3 實(shí)驗(yàn)驗(yàn)證

    本文基于Gazebo仿真平臺(tái)設(shè)計(jì)實(shí)驗(yàn)驗(yàn)證本文算法的可行性,。Gazebo仿真平臺(tái)提供了多種無(wú)人機(jī)模型,如AscTec Hummingbird,、AscTec Pelican,、AscTec Firefly等。該平臺(tái)同時(shí)附帶多類(lèi)型的模擬傳感器,,如IMU,、測(cè)距傳感器、視覺(jué)傳感器等,可模擬安裝在無(wú)人機(jī)模型上,。為證明本文算法所得到的航線較傳統(tǒng)算法的規(guī)劃航線更加有效,,統(tǒng)計(jì)對(duì)比了兩種算法所得航線的轉(zhuǎn)彎次數(shù)、航程距離等參數(shù),。

    實(shí)驗(yàn)過(guò)程中,,構(gòu)建仿真環(huán)境,如圖4所示,,依照DEM構(gòu)建基本地形,,并添加樹(shù)木、房子等地物,。仿真無(wú)人機(jī)采用AscTec Firefly六旋翼無(wú)人機(jī),,并攜帶視覺(jué)傳感器。設(shè)定無(wú)人機(jī)航高為50 m,,視場(chǎng)寬度w=170 m,,長(zhǎng)度l=255 m,旁向重疊度h=80%,,縱向重疊度v=70%,。按順序選取任務(wù)點(diǎn){P1,P2,,P3,,P4,P5,,P6},,連接各點(diǎn)構(gòu)成任務(wù)區(qū)域,如圖5(a)所示,。

jsj1-t4.gif

    (1)傳統(tǒng)掃描式航線規(guī)劃算法

按照傳統(tǒng)掃描航線的規(guī)劃方式,,設(shè)定航向角α的計(jì)算步長(zhǎng)為10°,取值范圍為(0°,,10°,,20°,…,,170°,,180°)。統(tǒng)計(jì)不同航向角時(shí),,航線的匝數(shù)與航程距離,,部分統(tǒng)計(jì)結(jié)果如表1所示。

jsj1-b1.gif

    仿真結(jié)果顯示,,當(dāng)航向角為30°時(shí),,航線的轉(zhuǎn)彎次數(shù)、與航程距離、飛行時(shí)間達(dá)到最優(yōu),。

    (2)本文算法

jsj1-b1-x1.gif

jsj1-t5.gif

jsj1-b2.gif

    對(duì)比傳統(tǒng)掃描式航線規(guī)劃算法與本文算法的仿真實(shí)驗(yàn)結(jié)果,,本文算法能夠得出轉(zhuǎn)彎次數(shù)最少、航程距離更短,、飛行時(shí)間更少的航線,。在確保序列影像重疊度的情況下,無(wú)人機(jī)按照本文算法得到的航線飛行時(shí)的飛行時(shí)間更短,、功耗更小,,所獲得的序列影像時(shí)間連續(xù)性更強(qiáng)。

    借助開(kāi)源三維重建庫(kù)openMVG(open Multiple View Geometry)對(duì)所拍攝的無(wú)人機(jī)序列影像進(jìn)行三維重建,,分別生成稀疏點(diǎn)云,、稠密點(diǎn)云以及貼合紋理的三維模型,如圖6所示,。通過(guò)觀察模型,,發(fā)現(xiàn)整個(gè)任務(wù)區(qū)域得到了完整的三維重建,貼合紋理的三維模型能夠展現(xiàn)任務(wù)區(qū)域的表面特征,,證明本文算法規(guī)劃的掃描航線能夠用于圖像三維重建。

jsj1-t6.gif

4 結(jié)束語(yǔ)

    新形勢(shì)下,,面向無(wú)人機(jī)序列影像三維重建的覆蓋航線規(guī)劃問(wèn)題尤為重要,。本文針對(duì)凸多邊形任務(wù)區(qū)域,提出了無(wú)風(fēng)環(huán)境下面向無(wú)人機(jī)序列影像三維重建的覆蓋航線規(guī)劃算法,。該算法的主要?jiǎng)?chuàng)新內(nèi)容有兩個(gè)方面:(1)結(jié)合柵格等分思想,,提出基于光柵法的掃描航線規(guī)劃方法,確保了序列影像之間的重疊度要求,;(2)提出垂線法用于尋找最佳掃描方向,,確保了無(wú)人機(jī)序列影像之間具有較好的時(shí)間連續(xù)性,同時(shí)使得無(wú)人機(jī)的飛行功耗更小,。

    通過(guò)搭建仿真環(huán)境,,實(shí)驗(yàn)驗(yàn)證了本文算法得出的掃描航線能夠完全覆蓋任務(wù)區(qū)域,得到的航線要優(yōu)于傳統(tǒng)航線,,所拍攝的序列影像滿(mǎn)足整個(gè)任務(wù)區(qū)域三維重建的要求,。為系統(tǒng)研究實(shí)際環(huán)境下面向圖像三維重建的無(wú)人機(jī)航線規(guī)劃問(wèn)題,今后的工作將進(jìn)一步考慮地形,、風(fēng)速,、風(fēng)向、單架次無(wú)人機(jī)最大飛行距離等因素對(duì)航線規(guī)劃問(wèn)題的影響,。

參考文獻(xiàn)

[1] BALIYARASIMHUNI S,,SOUSA J B,PEREIRA F L.UAVs and AUVs coordination for ocean exploration[C].Oceans.IEEE,2009.

[2] XU Z,,YANG J,,PENG C,et al.Development of an UAS for post-earthquake disaster surveying and its application in Ms7.0 Lushan Earthquake,,Sichuan,,China[J].Computers & Geosciences,2014,,68:22-30.

[3] WATTS A C,,AMBROSIA V G,HINKLEY E A.Unmanned aircraft systems in remote sensing and scientific research:classification and considerations of use[J].Remote Sensing,,2012,,4(6):1671-1692.

[4] 于駟男,周銳,,夏潔,,等.無(wú)人機(jī)協(xié)同搜索區(qū)域分割與覆蓋[J].北京航空航天大學(xué)學(xué)報(bào),2015,,41(1):167-173.

[5] WAGNER A,,ARKIN R C.Multi-robot communication-sensitive reconnaissance[C].IEEE International Conference on Robotics and Automation,2004.Proceedings.ICRA.IEEE,,2003,,5:4674-4681.

[6] 徐博,陳立平,,徐旻,,等.多作業(yè)區(qū)域植保無(wú)人機(jī)航線規(guī)劃算法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2017,,48(2):75-81.

[7] LATOMBE J C.Exact cell decomposition[J].The Springer International Series in Engineering and Computer Science,,1991,124:200-247.

[8] HUANG W H.Optimal line-sweep-based decompositions for coverage algorithms[C].IEEE International Conference on Robotics & Automation.IEEE,,2001.

[9] ELFES A.Sonar-based real-world mapping and navigation[J].IEEE Journal on Robotics & Automation,,1987,3(3):249-265.

[10] MORAVEC H P,,ELFES A.High resolution maps from angle sonar[C].IEEE International Conference on Robotics and Automation,,1985:116-121.

[11] HODGKIN A L,HUXLEY A F.A quantitative description of membrane current and its application to conduction and excitation in nerve[J].The Journal of Physiology,,1952,,117(4):500-544.

[12] GABRIELY Y,RIMON E.Competitive on-line coverage of grid environments by a mobile robot[J].Computational Geometry:Theory and Applications,,2003,,24(3):197-224.

[13] 李宏超,,黃亞樓,闕嘉嵐,,等.基于四叉樹(shù)環(huán)境模型的輪式移動(dòng)機(jī)器人平滑路徑生成方法[J].機(jī)器人,,2001,23(5):426-430.

[14] 楊麗春,,顧穎彥,,白宇.基于改進(jìn)人工勢(shì)場(chǎng)法的無(wú)人機(jī)在線航路規(guī)劃算法[J].電子技術(shù)應(yīng)用,2018,,44(4):5-9.



作者信息:

吳宇豪,,安籽鵬

(信息工程大學(xué) 地理空間信息學(xué)院,河南 鄭州450000)

此內(nèi)容為AET網(wǎng)站原創(chuàng),,未經(jīng)授權(quán)禁止轉(zhuǎn)載,。