文獻(xiàn)標(biāo)識碼: A
DOI:10.16157/j.issn.0258-7998.2015.10.038
中文引用格式: 隋修武,田松,,余保付,,等. 交通場景中的實(shí)時(shí)多目標(biāo)自動跟蹤算法[J].電子技術(shù)應(yīng)用,2015,41(10):139-142,,146.
英文引用格式: Sui Xiuwu,,Tian Song,Yu Baofu,,et al. Real time multi-objects automatic tracking algorithm in traffic scene[J].Application of Electronic Technique,2015,,41(10):139-142,,146.
0 引言
隨著城市化進(jìn)程的加快,,交通狀況日益惡化,,基于視頻的檢測和跟蹤逐漸成為受到關(guān)注的研究領(lǐng)域。目前目標(biāo)跟蹤技術(shù)的難點(diǎn)有數(shù)據(jù)的關(guān)聯(lián)問題,、顏色的相似性,、背景的穩(wěn)定性和復(fù)雜性、目標(biāo)尺寸的變化和實(shí)時(shí)性等[1-2],。目標(biāo)跟蹤常用的方法有:基于顏色特征的Meanshift和Camshift[3-4],,基于貝葉斯估計(jì)的卡爾曼濾波[5],基于蒙特卡洛方法的粒子濾波[6-7],,還有基于光流計(jì)算的光流跟蹤[8-9],。然而在跟蹤的過程中,如果目標(biāo)與背景顏色相近或目標(biāo)之間顏色相近,,則基于顏色特征的跟蹤方法會失效,;實(shí)際場景中目標(biāo)的運(yùn)動比較復(fù)雜,而卡爾曼濾波器要求目標(biāo)具有線性高斯運(yùn)動的特性,,因此跟蹤效果不理想,;粒子濾波在跟蹤多目標(biāo)時(shí),實(shí)時(shí)性是一個(gè)突出的問題,,時(shí)間開銷會隨著目標(biāo)數(shù)的增多而呈指數(shù)性增長,;光流分為稠密光流和稀疏光流,而稠密光流需要計(jì)算圖像中的所有像素點(diǎn),效率低,。
針對以上問題,,提出一種結(jié)合混合高斯模型和稀疏光流的多目標(biāo)跟蹤算法。
1 算法基本思想
本文算法框架如圖1所示,,首先通過混合高斯模型進(jìn)行背景建模,,背景差分獲得前景區(qū)域,形態(tài)學(xué)處理和濾波得到前景目標(biāo),,同時(shí)在車輛進(jìn)入場景的入口處設(shè)定車輛檢測區(qū)域,,進(jìn)行新目標(biāo)的進(jìn)入檢測,從而確定進(jìn)入場景中目標(biāo)的個(gè)數(shù),,這樣可以通過先驗(yàn)知識提前避免對整個(gè)場景進(jìn)行目標(biāo)的檢測,,提高效率的同時(shí)又能在后續(xù)非檢測區(qū)域進(jìn)行跟蹤時(shí)一定程度上規(guī)避目標(biāo)的合并與分離的問題;然后對檢測到的車輛目標(biāo)進(jìn)行Harris特征點(diǎn)的提取,,用提取的特征點(diǎn)對目標(biāo)進(jìn)行標(biāo)識,,這樣不僅對噪聲不敏感,還可以抵抗光照變換帶來的影響,;接著對提取的特征點(diǎn)進(jìn)行光流運(yùn)動估計(jì),,預(yù)測特征點(diǎn)的運(yùn)動位置,然后在跟蹤的過程中適時(shí)地對目標(biāo)跟蹤模版進(jìn)行更新,,從而保證了目標(biāo)跟蹤的準(zhǔn)確性和穩(wěn)定性,;而且本算法采用無監(jiān)督的運(yùn)動目標(biāo)檢測、提取和跟蹤,,實(shí)現(xiàn)在視頻序列中自動檢測并跟蹤多目標(biāo),。
2 新目標(biāo)檢測與提取
2.1 前景分割
利用混合高斯模型建立起背景圖像,通過當(dāng)前幀圖像與背景圖像的差分獲得包含運(yùn)動目標(biāo)的前景圖像,。由于背景建模的精確性,,會有一些前景的像素沒有檢測出來,形成空洞,,還有一些背景的像素由于誤檢測而被判定為前景,,成為一些零星的噪聲點(diǎn)。所以需要對前景圖像進(jìn)行進(jìn)一步的處理,,在對前景圖像進(jìn)行二值化操作之后,,利用高斯濾波和中值濾波進(jìn)行平滑處理和去噪處理,這時(shí)得到的圖像再利用形態(tài)學(xué)處理使得前景區(qū)域更加完整,。
2.2 新目標(biāo)的檢測
在視頻圖像上設(shè)定新目標(biāo)的進(jìn)入檢測區(qū)域,,來捕捉新目標(biāo)的出現(xiàn)。在這過程中建立潛在目標(biāo)列表(potential_list),,通過測量目標(biāo)的中心位置(xc,,yc)記錄目標(biāo)的狀態(tài),用這個(gè)測量和新目標(biāo)建立關(guān)聯(lián)來定義新目標(biāo)的出現(xiàn),根據(jù)車輛相對場景的位置大小設(shè)立閾值(xT,,yT),,若|xc-xT|≤T或|yc-yT|≤T(T為常數(shù))則判定為新目標(biāo)出現(xiàn),然后用矩形框來擬合目標(biāo)輪廓,,把擬合的矩形框加入到待跟蹤目標(biāo)列表(temp_list)當(dāng)中,,得出運(yùn)動目標(biāo)描述的矩形。
2.3 目標(biāo)提取與標(biāo)識
在捕捉到新目標(biāo)之后,,就需要對新目標(biāo)建立跟蹤關(guān)系,。由于車輛目標(biāo)為剛體且紋理豐富,可以提取出一定數(shù)量而且可以精確定位穩(wěn)定的特征點(diǎn),,因此本文采用基于Harris特征點(diǎn)的數(shù)據(jù)關(guān)聯(lián)跟蹤,利用Harris特征點(diǎn)來標(biāo)識目標(biāo),。Harris特征檢測器是一種經(jīng)典的角點(diǎn)檢測方法,,在紋理信息豐富的區(qū)域,Harris可以提取出大量有用的特征點(diǎn),,而且Harris的計(jì)算公式中只涉及到一階導(dǎo)數(shù),,因此對圖像旋轉(zhuǎn)、灰度變化,、噪聲影響和視點(diǎn)變換不敏感,。
3 多目標(biāo)的跟蹤
3.1 Lucas-Kanade(LK)光流
LK光流算法是一種應(yīng)用最廣泛的求稀疏光流的方法, LK光流算法基于以下三點(diǎn)假設(shè):
(1)亮度恒定,,即像素在幀間運(yùn)動時(shí),,像素值保持不變;
(2)圖像的變化相對于時(shí)間的變化微??;
(3)在一個(gè)小的局部區(qū)域(n×n)內(nèi)像素運(yùn)動一致,亮度恒定,。
由假設(shè)(1)可得:
3.2 特征點(diǎn)聚類成目標(biāo)
通過光流運(yùn)動估計(jì),,在當(dāng)前幀中找到上一幀目標(biāo)框中的特征點(diǎn)在這一幀中的對應(yīng)位置,然后將這若干個(gè)特征點(diǎn)在相鄰兩幀之間的位移變化進(jìn)行排序,,得到位移變化的中值(um,,vm),把(um,,vm)作為目標(biāo)中心點(diǎn)的位移變化,,即目標(biāo)中心xci=xci-1+um,yci=yci-1+vm,,計(jì)算特征點(diǎn)之間x向的最大距離Xmax和y向的最大距離Ymax,。
3.3 模版更新策略
為了使跟蹤算法能夠適應(yīng)目標(biāo)自身的旋轉(zhuǎn)與尺度變化,需要在跟蹤過程中對目標(biāo)跟蹤模板進(jìn)行更新。令n0為目標(biāo)初始特征點(diǎn)個(gè)數(shù),,ni為第i幀圖像中光流估計(jì)目標(biāo)區(qū)域內(nèi)的特征點(diǎn)個(gè)數(shù),。當(dāng)著時(shí)初步判斷需要更新模板。然后提取當(dāng)前幀目標(biāo)所在位置的前景區(qū)域,,并用矩形框進(jìn)行擬合,,矩形框面積用Si表示,Si-1表示上一幀目標(biāo)框的面積,。若則說明目標(biāo)發(fā)生了遮擋,,則暫時(shí)不進(jìn)行模版更新,否則會出現(xiàn)“漂移”現(xiàn)象,,從而可能導(dǎo)致跟蹤目標(biāo)丟失,,直到檢測到遮擋結(jié)束則繼續(xù)進(jìn)行模版更新,若
則更新目標(biāo)區(qū)域,,提取目標(biāo)特征點(diǎn),,然后更新模版。模版更新流程如圖2所示,。
4 實(shí)驗(yàn)結(jié)果與分析
為了驗(yàn)證本算法的有效性,,分別對智能卡口、城市道路,、高速公路3種不同的場景以及不同的視角進(jìn)行了多個(gè)運(yùn)動目標(biāo)的實(shí)時(shí)自動跟蹤,。
3種場景下的車輛跟蹤結(jié)果如圖3所示,可以看到本算法整體的跟蹤效果,。如圖3(a),、3(c)所示,在跟蹤車輛的過程中生成目標(biāo)的運(yùn)動軌跡,;如圖3(c)所示,,在車輛跟蹤的同時(shí),對車流量進(jìn)行了一個(gè)統(tǒng)計(jì),。如圖4(a)所示,,被跟蹤車輛在發(fā)生轉(zhuǎn)彎時(shí)車輛發(fā)生較大形變導(dǎo)致原先的一部分特征點(diǎn)失效,直至跟蹤丟失,。而在圖4(b)中,,本文提出的跟蹤算法具備自檢能力則很好地解決了目標(biāo)發(fā)生形變時(shí)跟蹤失敗的問題。
表1記錄了不同視頻段的跟蹤情況,,以及處理不同視頻段時(shí)的處理速度,。圖5分別展示了3段視頻每幀的處理時(shí)間,可以看出處理時(shí)間呈階梯狀分布,,階梯的高低表示處理目標(biāo)個(gè)數(shù)的不同,,如表2所示,。
5 結(jié)論
針對車輛的多目標(biāo)跟蹤中出現(xiàn)的難點(diǎn),本文提出一種車輛的實(shí)時(shí)自動跟蹤算法,,該算法利用GMM進(jìn)行背景建模,,結(jié)合形態(tài)學(xué)濾波處理分割提取出前景目標(biāo),利用Harris特征點(diǎn)對目標(biāo)進(jìn)行標(biāo)識,,然后運(yùn)用特征光流運(yùn)動估計(jì)進(jìn)行基于角點(diǎn)動態(tài)特征的跟蹤,,并在跟蹤的過程中適時(shí)進(jìn)行模版的自動更新。實(shí)驗(yàn)結(jié)果表明,,該方法也能很好地適應(yīng)目標(biāo)尺度的變化,,通過設(shè)置車輛的存在和消失參數(shù),實(shí)現(xiàn)車輛運(yùn)動目標(biāo)的自動跟蹤,,并具有較好的實(shí)時(shí)性,。本文算法存在的一個(gè)局限是當(dāng)目標(biāo)個(gè)數(shù)過多或跟蹤目標(biāo)被嚴(yán)重遮擋時(shí),跟蹤效果則不是很理想,。因此,,在今后還需要對目標(biāo)遮擋跟蹤作進(jìn)一步的研究。
參考文獻(xiàn)
[1] YANG H,,SHAO L,,ZHENG F,,et al.Recent advances and trends in visual tracking: a review[J].Neurocomputing,,2011,74(18):3823-3831.
[2] 侯志強(qiáng),,韓崇昭.視覺跟蹤技術(shù)綜述[J].自動化學(xué)報(bào),,2006,32(4):603-617.
[3] LI Z,,TANG Q L,,SANG N.Improved mean shift algorithm for occlusion pedestrian tracking[J].Electronics Letters,2008,,44(10):622-623.
[4] 夏瑜,,吳小俊,馮振華.基于特征貢獻(xiàn)度的Mean Shift 視頻跟蹤算法[J].控制與決策,,2012,,27(7):1021-1026.
[5] 戴洪德,陳明,,周紹磊,,等.基于支持向量機(jī)的自適應(yīng)卡爾曼濾波技術(shù)研究[J].控制與決策,2008,,23(8):949-952.
[6] 陳金廣,,馬麗麗,,陳亮.基于邊緣粒子濾波的目標(biāo)跟蹤算法研究[J].計(jì)算機(jī)工程與應(yīng)用,2010,,46(28):128-131.
[7] 李培華.一種新穎的基于顏色信息的粒子濾波器跟蹤算法[J].計(jì)算機(jī)學(xué)報(bào),,2009,32(12):2454-2463.
[8] BRUHN A,,WEICKERT J.Combining local and global opticflow methods[J].International Journal of Computer Vision,,2005,61(3):211-231.
[9] TU D W,,JIANG J L.Improved algorithm for motion image based on optical flow and its application[J].Optics Precision Engineering,,2011,19(5):1159-1164.