文獻(xiàn)標(biāo)識碼: A
DOI:10.16157/j.issn.0258-7998.2017.05.015
中文引用格式: 高正中,,趙晨暉,薛寒,,等. 基于圖像處理的產(chǎn)品表面缺陷檢測系統(tǒng)研究[J].電子技術(shù)應(yīng)用,,2017,43(5):64-66.
英文引用格式: Gao Zhengzhong,,Zhao Chenhui,,Xue Han,et al. Research of product surface defects detection system based on image processing[J].Application of Electronic Technique,,2017,,43(5):64-66.
0 引言
流水線產(chǎn)品的缺陷檢測目前仍靠人工來完成,,對于微小的,、區(qū)別不明顯的缺陷,人眼無法精確識別,,這極大地影響了產(chǎn)品的生產(chǎn)效率[1],?;?a class="innerlink" href="http://wldgj.com/tags/STM32F405" title="STM32F405" target="_blank">STM32F405和CMOS OV7610的產(chǎn)品表面圖像處理系統(tǒng),以其完全脫離計(jì)算機(jī)且運(yùn)行速度快,、設(shè)計(jì)成本低,、性價(jià)比高等優(yōu)點(diǎn),更好地滿足了圖像處理在產(chǎn)品表面的圖像采集與智能檢測方面的工作要求,。
1 系統(tǒng)硬件設(shè)計(jì)
系統(tǒng)主要由STM32F405微處理器,、CMOS圖像采集模塊、LCD顯示模塊,、存儲器模塊,、通信模塊等組成,系統(tǒng)框圖如圖1所示,。在光源的配合下通過圖像采集模塊獲取產(chǎn)品表面的圖像信息,,由DMA將圖像數(shù)據(jù)傳輸?shù)絊TM32F405微處理器,處理器調(diào)用圖像處理算法對產(chǎn)品表面圖像數(shù)據(jù)進(jìn)行處理,,利用控制終端的圖像處理軟件匹配,、識別產(chǎn)品表面是否存在缺陷,并在LCD顯示屏上實(shí)時(shí)顯示結(jié)果,,實(shí)現(xiàn)對產(chǎn)品表面圖像的采集和處理,。
2 主要模塊設(shè)計(jì)
2.1 主控模塊
基于圖像處理的產(chǎn)品表面圖像采集和處理系統(tǒng)選用STM32F405作為主處理器,該芯片具有高性能的信號處理和浮點(diǎn)運(yùn)算能力,,同時(shí)帶有8~14 bit并行照相機(jī)接口,、DMA控制器、2路I2C接口,,圖像數(shù)據(jù)的傳輸可以通過DMA直接傳輸,,在I2C總線讀取數(shù)據(jù)到緩沖區(qū),提高了圖像數(shù)據(jù)的采樣和處理速度,,完成包括數(shù)據(jù)處理,、檢測算法實(shí)現(xiàn)、結(jié)果提取和分析等工作[2],。主控芯片獲得處理結(jié)果后,,將數(shù)據(jù)傳輸?shù)綀?zhí)行機(jī)構(gòu),執(zhí)行機(jī)構(gòu)根據(jù)最終獲取的控制信號進(jìn)行相應(yīng)操作,。
2.2 圖像采集模塊
圖像采集模塊采用Omnivision公司的OV7610,,這是一種自帶圖像敏感陣列、能直接采集圖像信息的低功耗CMOS型彩色數(shù)字?jǐn)z像芯片[3],。采集圖像時(shí)最高速度可達(dá)30幀/s,,最大圖像陣列為640×480,通過I2C總線對有關(guān)存儲器賦值,可靈活改變窗口大小,、A/D轉(zhuǎn)換速度,、幀/場模式等工作參數(shù)。
圖像采集芯片OV7610既可以幀模式掃描也可以場模式掃描,,為提高圖像存儲質(zhì)量,、簡化圖像采集控制電路,本系統(tǒng)設(shè)置OV7610圖像采集方式為幀模式掃描[4],。OV7610的輸出信號主要有:垂直同步信號(Vs),、水平同步信號(Hs)及像素同步信號(Ps),其理論波形如圖2所示,。
完整的一幀產(chǎn)品表面圖像在垂直同步信號的兩個(gè)正脈沖之間掃描完成,,水平同步信號高電平時(shí)為掃描一行像素的有效時(shí)間,像素同步信號高電平輸出的圖像數(shù)據(jù)有效[5],。若一個(gè)圖像的陣列為160×120,,則在垂直同步信號兩個(gè)脈沖之間有120個(gè)水平同步信號的正脈沖,在每個(gè)水平同步信號正脈沖期間有160個(gè)像素同步信號正脈沖,。為獲取完整幀圖像,,將上述3個(gè)同步信號組合成一個(gè)輸出信號(OUT)。
3 系統(tǒng)軟件設(shè)計(jì)
系統(tǒng)選用KeilμVision5 軟件開發(fā)平臺和Visual C++可視化編程軟件協(xié)同工作[6],。系統(tǒng)運(yùn)行時(shí),,啟動采集信號發(fā)送到STM32F405主控制器,控制器接收指令后立即進(jìn)行初始化,,初始化成功后響應(yīng)DMA中斷,,根據(jù)圖像采集時(shí)序來控制CMOS OV7610啟動圖像采集,采集的圖像數(shù)據(jù)將通過DMA先進(jìn)先出傳送到STM32F405的外部存儲器中[7],。在采集完成后,,STM32F405將進(jìn)行點(diǎn)陣采樣、量化處理和二值化等過程完成產(chǎn)品表面圖像處理工作,。系統(tǒng)流程圖如圖3所示,。
產(chǎn)品表面的圖像采樣是選取圖像的采樣點(diǎn)在空間坐標(biāo)上作離散化的過程。本系統(tǒng)設(shè)計(jì)使用二維采樣函數(shù)對產(chǎn)品表面的圖像進(jìn)行采樣,,獲得圖像預(yù)處理采樣點(diǎn)陣,。
設(shè)f(x,y)為一個(gè)有限帶寬的二維連續(xù)圖像,,f(x,,y)的傅里葉變化對為:
對圖像f(x,y)采樣,,就是將f(x,,y)乘以采樣函數(shù)s(x,y)。采樣后的圖像可以用式(3)表示:
由卷積與脈沖函數(shù)可得采樣圖像fs(x,,y)的頻譜是連續(xù)圖像在(u,v)方向上以Δx,、Δy間隔分布,,間隔選擇合適,采樣就不會重疊,,可獲得期望的采樣點(diǎn)陣,。由于經(jīng)過采樣的圖像是連續(xù)點(diǎn)陣,各個(gè)像素的值有無窮多個(gè),,為了方便主控制器處理,,需將無窮多個(gè)離散值簡化為有限個(gè)離散值,即量化處理后才能將每個(gè)互異的離散值編碼處理[8],。
為了加快處理速度,,系統(tǒng)將16 bit RGB彩色圖像轉(zhuǎn)化成8 bit灰度圖像,由此不但可以提高主控制器的處理速率,,而且減小了圖像的冗余量,。圖像灰度化后,利用Canny邊緣檢測算子提取圖像邊緣,,將邊緣二值化,。在選定一個(gè)閾值時(shí),將灰度直方圖中大于該閾值的像素點(diǎn)變成1,,小于該閾值的像素點(diǎn)變成0:
其中,,f(x,y)為輸入圖像像素的灰度值,,g(x,,y)為輸出圖像,θ為閾值,。
將處理后的產(chǎn)品表面圖像與預(yù)存模板匹配,,由對比結(jié)果得出該產(chǎn)品是否存在缺陷。圖像匹配過程就是在基準(zhǔn)圖像和待處理圖像之間尋找兩幅圖像差異最小的相對位置,,通常將其描述為求距離度量:
式中,,k為灰度變化幅度。
4 調(diào)試及實(shí)驗(yàn)結(jié)果分析
系統(tǒng)測試主要針對硬件和軟件進(jìn)行測試,。硬件測試主要針對核心處理器的外圍電路,,其中包括電源模塊、I/O輸入輸出模塊及通信接口等電路,。軟件測試分別對STM32F405和CMOS OV7610的各個(gè)功能的子程序進(jìn)行測試,。
為了驗(yàn)證本系統(tǒng)表面缺陷檢測的準(zhǔn)確性和可靠性,對金屬產(chǎn)品表面進(jìn)行缺陷檢測實(shí)驗(yàn)。缺陷檢測部分的灰度圖像大小為160×120像素,。圖4為裂縫缺陷和污點(diǎn)缺陷的檢測結(jié)果,。
5 結(jié)論
本系統(tǒng)旨在將圖像采集與處理技術(shù)應(yīng)用于產(chǎn)品表面缺陷檢測,以及識別復(fù)雜,、模糊的產(chǎn)品表面圖像[9],。利用STM32F405超強(qiáng)的計(jì)算性能和低功耗優(yōu)勢,提出了CMOS圖像采集與STM32圖像處理結(jié)合的平臺架構(gòu),,設(shè)計(jì)了處理能力強(qiáng),、接口可靠穩(wěn)定的產(chǎn)品表面圖像采集與檢測系統(tǒng),在系統(tǒng)中實(shí)現(xiàn)了點(diǎn)陣采樣,、灰度轉(zhuǎn)化和二值化等算法設(shè)計(jì),,并對平臺應(yīng)用的處理性能、實(shí)時(shí)性和可靠性進(jìn)行了實(shí)驗(yàn)測試,,取得了一定的階段性成果,。
參考文獻(xiàn)
[1] 彭向前.產(chǎn)品表面缺陷在線檢測方法研究及系統(tǒng)實(shí)現(xiàn)[D].武漢:華中科技大學(xué),2008.
[2] 曾浩.基于STM32F407的嵌入式及其視覺裝置研發(fā)[D].廣州:廣東工業(yè)大學(xué),,2015.
[3] 汪麗華,,吳維嘉.基于CMOS圖像傳感器的嵌入式機(jī)器視覺系統(tǒng)設(shè)計(jì)[J].黃山學(xué)院學(xué)報(bào),2010,,12(3):25-27.
[4] 吳小平,,劉萬春,朱玉文,,等.基于TMS320C32的視覺圖像處理系統(tǒng)[J].探測與控制學(xué)報(bào),,2000,22(1):18-22.
[5] 仲林國.基于機(jī)器視覺技術(shù)的嵌入式系統(tǒng)研究[D].杭州:浙江大學(xué),,2006.
[6] SING N,,DELWICHE M.Machine vision methods for defect sorting stonefruit[J].Trans of ASAE,1994,,37(6):1989-1997.
[7] 魏麗玲,,朱平,石永亮.基于FPGA的圖像采集與存儲系統(tǒng)設(shè)計(jì)[J].電子技術(shù)應(yīng)用,,2015,,41(11):67-69,73.
[8] 譚林秋.基于VC++的數(shù)字圖像處理系統(tǒng)的開發(fā)及算法研究[D].西安:西安理工大學(xué),,2008.
[9] SONKA M,,HLAVAC V,BOYLE R.Image processing[M].London:Analysis and Machine Vision,,1993.
作者信息:
高正中,,趙晨暉,,薛 寒,商春雷
(山東科技大學(xué) 電氣與自動化工程學(xué)院,,山東 青島266590)