??? 摘 ?要: 相關(guān)系數(shù)法模板匹配是數(shù)字?jǐn)z影檢測中的一種經(jīng)典的基于灰度的匹配方法,。提出了一種基于模板匹配的電子器件針腳檢測方法,以實際針腳影像和自動生成的標(biāo)準(zhǔn)模板的相關(guān)系數(shù)作為匹配測度以確定針腳的實際位置,。同時為了達(dá)到生產(chǎn)流水線快速檢測的要求,,首先在粗一級的金字塔影像上獲取初始位置再反算到原始影像進(jìn)行精密定位,實驗結(jié)果表明該方法的定位精度高,,速度快,,可以滿足工業(yè)檢測的要求。
??? 關(guān)鍵詞: 相關(guān)系數(shù),;模板匹配,;金字塔影像;針腳檢測
?
隨著大規(guī)模集成電路和半導(dǎo)體工藝的發(fā)展,工業(yè)檢測領(lǐng)域上出現(xiàn)了許多針對電子元器件的檢測需求,,高精度和在線檢測是這些檢測系統(tǒng)的共同特征,。圖1是幾種典型的針腳(PIN)器件。左邊元件的針腳個數(shù)為9個,,右邊兩個元件的針腳個數(shù)均為19個,,隨著CPU和各種串并行接口等制造工藝的發(fā)展,有些器件的針腳個數(shù)還會超過1 000個,。器件上的每個針腳都有其特定的物理意義,,其位置的確定十分重要。由于受到實際生產(chǎn)針腳器件的設(shè)備精度的影響,,針腳的實際位置可能會和圖紙設(shè)計的距離有所偏離,,如果偏離大于設(shè)定的誤差值則屬于不合格的產(chǎn)品,不能流入市場,。單個針腳的大小一般都小于1,,誤差一般要求在50~100 μm,類似微小物體的檢測不可能依靠人眼,,研究專門的檢測系統(tǒng)非常有必要,。類似的非接觸檢測在幾何尺寸檢測、外觀檢測,、遙感測量,、機(jī)器人視覺以及醫(yī)療診斷等領(lǐng)域有較廣的應(yīng)用,主要的實現(xiàn)方法有攝影測量法,、光測法以及利用圖像傳感器測量等諸多方法[1],。檢測系統(tǒng)一般需要安裝在工廠的流水線上,因此要求具有高精度和在線檢測的能力,。高精度確保針腳檢測的準(zhǔn)確性從而有效降低質(zhì)量控制成本,;在線檢測能極大地提高生產(chǎn)效率。為此本文研究了一套基于數(shù)字?jǐn)z影測量的針腳視覺檢測系統(tǒng),。
?
1 系統(tǒng)構(gòu)成及檢測目標(biāo)
針腳視覺檢測系統(tǒng)包括硬件系統(tǒng)和軟件系統(tǒng)兩部分,。硬件系統(tǒng)負(fù)責(zé)圖像獲取,軟件系統(tǒng)負(fù)責(zé)數(shù)據(jù)處理并得出檢測結(jié)果,。其中,,硬件系統(tǒng)構(gòu)成如圖2所示,包括以下幾部分:
??? (1)成像設(shè)備,。CCD或CMOS的工業(yè)相機(jī),,要求像素在100萬以上。本文中的試驗系統(tǒng)采用的是分辨率為1 600×1 200的工業(yè)相機(jī),,成像質(zhì)量基本滿足檢測要求,。利用基于32位操作系統(tǒng)的WDM(Windows Driver Model)視頻捕捉構(gòu)架——DirectShow[2]進(jìn)行影像的采集,,作為一種高級流式媒體的應(yīng)用接口,DirectShow屏蔽了硬件之間的差異,,從系統(tǒng)設(shè)計與開發(fā)的角度而言具有較高的兼容性與通用性[3,,4],就成本和開發(fā)難度而言,,非常適合本文所介紹的工業(yè)檢測系統(tǒng),。
(2)光源。由于物體比較小,,所以成像距離小,,為了采集到比較好的影像,需要設(shè)計專門的光源,,這個非常重要,。搭載平臺:放置電子元器件同時也作為檢測的基準(zhǔn),因此對其加工精度要求較高,,一般采用鋼質(zhì)的不易變形的材料,,同時還要求成像時和目標(biāo)元器件的區(qū)分度較高。
(3)傳送設(shè)備,。采用機(jī)器手來放置和取走檢測完畢的電子元器件,,機(jī)器手和PC機(jī)的通訊一般是通過PCI采集卡來進(jìn)行的。
??? (4)PC機(jī),。加載檢測軟件,,同時負(fù)責(zé)向機(jī)器手發(fā)出信號。這部分也可以采用帶LED顯示屏的單片機(jī),。
??? 業(yè)內(nèi)評價針腳是否合格一般有三個指標(biāo):
??? (1)平整度,。以平臺為基準(zhǔn)評價針腳距離平臺的距離,是Y方向上的測度,。
??? (2)正位度,。以第一個針腳或以電子元器件的站腳為基準(zhǔn),評價每個針腳到基準(zhǔn)的距離,,是X方向上的測度,。
??? (3)PIN間距。即相鄰兩個針腳中心的水平距離,,是X方向上的測度,。
??? 以上三個指標(biāo)若有至少一個超出限差,則認(rèn)為該產(chǎn)品不合格,。為了獲取以上三個指標(biāo),一是要提取臺面的位置,,二是要確定站腳的位置,,三是要確定每個針腳的位置,,這三個任務(wù)也是本系統(tǒng)檢測的主要目標(biāo)。針腳的外形可用外接的最小矩形來擬合,,這樣針腳的中心及長寬就可以用矩形的中心,、XY方向的邊長來表達(dá)。
2 基本原理
2.1 相關(guān)系數(shù)匹配
??? 相關(guān)系數(shù)匹配中用到的匹配測度是標(biāo)準(zhǔn)化的協(xié)方差函數(shù)[5],,對于離散的灰度數(shù)據(jù)而言,,相關(guān)系數(shù)的計算有如實用公式(1):
其中g(shù)i,j和g′i,,j分別為目標(biāo)區(qū)和搜索區(qū)在(i,,j)處的灰度值;m,,n為目標(biāo)區(qū)窗口的長和寬,。
2.2 金字塔影像
??? 金字塔影像的簡易構(gòu)建公式如公式(2):
其中g(shù)′i,j和gi,j分別為金字塔影像和原始影像在(i,,j)處的灰度值,;k為金子塔影像的分辨率,金字塔影像上的一個像素對應(yīng)原始影像上k2的個像素,。
2.3 基于模板匹配的檢測算法
電子器件針腳的成像如圖3所示,。針腳影像一般呈現(xiàn)方形的高亮區(qū)域,因此根據(jù)高亮區(qū)域的大小可以生成一個標(biāo)準(zhǔn)模板,。將該模板與針腳影像做模板匹配,,計算模板與影像的相關(guān)系數(shù),相關(guān)系數(shù)最大的地方對應(yīng)著針腳的正確位置,,這就是本系統(tǒng)檢測算法的根本出發(fā)點,。但是由于相關(guān)系數(shù)的計算比較花時間,為了提高計算的速度,,可以采用分級匹配的方法,,即首先將模板和針腳影像分別生成金字塔影像,首先在粗分辨率的影像上做匹配,,確定針腳的初始位置,,然后在高分辨率影像上精確定位,這就是本算法的基本流程,。該算法不僅保證檢測的精度,,而且考慮了檢測的速度,具有明顯的優(yōu)點,。
3 檢測方案及流程
??? 本系統(tǒng)的成像設(shè)備采用1 600×1 200的分辨率實時采集影像,,但檢測目標(biāo)主要集中的區(qū)域只占到全部影像的1/5左右,因此合理設(shè)置檢測的感興趣區(qū)域十分重要,,可大大提高檢測效率,。選取一個包含所有檢測針腳的矩形區(qū)域,,檢測工作主要是在這個區(qū)域內(nèi)進(jìn)行。
??? 具體采用的檢測方案及流程如下:
??? (1)首先在感興趣區(qū)域中利用相關(guān)系數(shù)模板(根據(jù)針腳的反光特點,,標(biāo)準(zhǔn)模板應(yīng)該是內(nèi)白外黑且大小應(yīng)該能包含針腳(如圖4右下角圖像所示))匹配提取出針腳的個數(shù)和初始位置,,并根據(jù)設(shè)計數(shù)據(jù)進(jìn)行規(guī)則化即相鄰針腳的位置即是圖紙中的設(shè)計數(shù)據(jù),這樣做的目的是為了下次檢測相同規(guī)格的器件時,,如果放置得比較偏時不至于檢測失敗,。
??? (2)接著生成一幅感興趣區(qū)域的粗一級的金字塔影像(如圖4左上角圖像所示)(可取分辨率為2,即原始影像中每4個像素對應(yīng)金字塔影像中的1個像素)及對應(yīng)的標(biāo)準(zhǔn)模板,,圖4中的感興趣區(qū)域的大小為1 141×42,,其模板大小為31×27,對應(yīng)的金字塔影像的大小為570×21,,其模板大小為17×15,,單位均為像素。
??? (3)將(1)中針腳的坐標(biāo)換算到金字塔影像中,,換算按公式(2)進(jìn)行,,按相關(guān)系數(shù)實用化公式(1)逐一計算每個針腳在臨近區(qū)域的相關(guān)系數(shù),相關(guān)系數(shù)最大的位置對應(yīng)針腳的正確位置,。
??? (4)將針腳在金字塔影像中的中心位置及外包矩形的邊長按照公式(2)反算到原始影像中,,重復(fù)(3)的過程,只是此時要注意移動步長可設(shè)為kΔx和kΔy,,k為金字塔分辨率,,這樣可縮短在原始影像中的計算時間,這也是使用金字塔影像的好處,。
4 實驗
??? 利用相關(guān)系數(shù)模板匹配在原始影像上獲取到初始位置,,如圖5所示。較準(zhǔn)確的初值能減少迭代次數(shù),,提高運算效率,。按照本文第三部提出的檢測流程,在金字塔影像中提取針腳的位置,,再次反算到原始影像上,,對初始值進(jìn)行修改,為在原始影像中進(jìn)行相關(guān)系數(shù)匹配提供更為精確的初值,,從而提高效率,。在具備準(zhǔn)確的初值的條件下,程序能較快地定位到精確位置,,如圖6所示,。為了測試精度和效率,用上述方法對不同針腳連續(xù)檢測,統(tǒng)計消耗時間和平面度,、正位度以及間距三個指標(biāo),。測試計算機(jī)配置為CPU:Inter(R) Core 2 Duo T5870 2.0 G;內(nèi)存:1 G,;顯卡:ATI Mobility Radeon HD 3400 Series。檢測之前,,首先利用量規(guī)塊標(biāo)定相機(jī)的放大倍數(shù)為一個像素對應(yīng)8.23μm,,然后重復(fù)進(jìn)行100次檢測試驗,共耗時41 219 μm,,相當(dāng)于每次檢測412.19μm,,整個檢測過程中,最大跳動為8μm,。試驗結(jié)果表明,,速度和精度都能滿足要求。?
???
??? 對實驗中發(fā)生跳動的針腳局部影像(如圖7所示)進(jìn)行分析,,發(fā)現(xiàn)有跳動的7號針腳的圖像周圍毛邊較嚴(yán)重,;對比沒有發(fā)生跳動的13號針腳,目標(biāo)與背景能很好地區(qū)分開來,。因此,,建議為了提高檢測的精度和可靠性,應(yīng)該盡量使電子器件保持干凈,,避免粘上污垢,。
??? 以模板匹配為基礎(chǔ),提出一種電子器件針腳質(zhì)量檢測方法,,同時對提高檢測的效率和精度提出了具體的措施,,試驗結(jié)果證明該方法是可行的。該方法的提出對同類產(chǎn)品的檢測提供了很好的思路,,具有借鑒意義,。進(jìn)一步提高系統(tǒng)檢測的效率和精度是今后研究的重點。
參考文獻(xiàn)
[1] 張紅娜,,王祁.圖像測量技術(shù)及其應(yīng)用[J].電測與儀表,,2003,40(451):19-22.
[2] Microsoft Corporation DirectX 9.0[M]. New York: Microsoft Corporation,, 2006.
[3] 陸其明.DirectShow開發(fā)指南[M].北京:清華大學(xué)出版社,,2003.
[4] 魏立誠,朱桂林.基于DirectShow的視頻采集系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機(jī)工程,,2005,,31(14):187-189.
[5] 張祖勛,張劍清.數(shù)字?jǐn)z影測量學(xué)[M].武漢:武漢大學(xué)出版社,,2001:166-167.