《電子技術應用》
您所在的位置:首頁 > 其他 > 設計應用 > 端對端深度學習無損去圖像散射研究
端對端深度學習無損去圖像散射研究
2020年信息技術與網(wǎng)絡安全第9期
漆建軍
廣東外語外貿大學 信息科學技術學院,廣東 廣州510006
摘要: 針對光線通過介質會產生散射現(xiàn)象,,提出了一種基于神經(jīng)網(wǎng)絡的端對端圖像去散射方案,對于散射退化的圖片進行退散射的處理,,此方案不需要復雜的光學設備,,應用場景廣泛,在仿真和實際實驗中都取得了預期的結果,。提出了一套利用拍攝屏幕來建立散射退化圖片和無散射圖片的數(shù)據(jù)集的方法,,且這一方法在許多其他的圖像處理圖像恢復工作中有應用價值。
中圖分類號: TP751
文獻標識碼: A
DOI: 10.19358/j.issn.2096-5133.2020.09.010
引用格式: 漆建軍. 端對端深度學習無損去圖像散射研究[J].信息技術與網(wǎng)絡安全,,2020,,39(9):49-55.
End-to-end deep learning based non-invasive image descattering
Qi Jianjun
School of Information Science and Technology,Guangdong University Forien Studies,,Guangzhou 510006,,China
Abstract: The image quality will decay when light goes through the scattering media or reflect on the rough surface. In this paper, we purpose an end-to-end deep learning descattering method. This method does not need complex optical device and perform very well in complex scene. This method has a state-of-art performance in both the simulation dataset and real experiment dataset. In this paper, we also creatively put forward a pipeline to collect the hazing and ground truth dataset by capturing the screen, which can also be used in many other field.
Key words : descattering,;deep learning,;end to end;image reconstruction

0 引言

    在采集自然界圖片的時候經(jīng)常會遇見散射造成的圖像損失,,對于散射有很多情況,,比如:當光線經(jīng)過細小不規(guī)則分布的顆粒組成的介質的時候,光子與細小顆粒發(fā)生碰撞,,造成行進的線路發(fā)生改變,,產生散射,最后到達傳感器平面的時候不同線路延時的光子疊加,,會造成圖像模糊,,造成對比度與清晰度下降的現(xiàn)象;光照射在粗糙的物體表面,,發(fā)生了漫反射,,反射的圖像會有類似散斑的現(xiàn)象,這樣的衰減圖片對于自動駕駛,、計算機視覺,、醫(yī)學成像都有非常不利的影響[1]。為了恢復圖像,,POPOFF S M等利用測定傳輸矩陣解卷[2]和生成共軛波前補償,,但是測量傳輸矩陣需要費時的測量,硬件相對復雜,,使用環(huán)境相對單一,,而且只能在照明光具有一定相干性的前提下進行[3]。為此,,特提出一種使用深度學習的方法,,通過學習大量散射圖與無散射圖對比,讓網(wǎng)絡學習到散射圖和無散射圖之間的映射關系,,避免了費時的傳輸矩陣測量,。并且這樣的方法不需要對于樣本進行染色或者標記,,不會對樣本產生破壞[4]。為此,,將傳統(tǒng)的雙層卷積結構進行改進,,采用了dense結構的Unet網(wǎng)絡,不管是在去散射的指標效果還是視覺效果上都有比較大的提升,。因為深度學習需要大量的訓練數(shù)據(jù),,訓練數(shù)據(jù)的好壞對于學習結果起到至關重要的作用,還提出了一套通過拍攝屏幕的方法來搜集數(shù)據(jù)集的方法,,主要創(chuàng)新有如下幾點,。

    (1)提出了一套相機拍攝屏幕創(chuàng)建深度學習訓練數(shù)據(jù)的流程,包含屏幕相機校準和圖像匹配的方法,,此方法也可以廣泛用于其他圖像處理和圖像恢復的任務,。

    (2)提出了一種基于深度學習的端對端去散射網(wǎng)絡,相比于傳統(tǒng)測定傳輸矩陣的方法更加省時省力,,且對于成像的樣本沒有損害,,不需要染色或者其他標記。

    (3)使用環(huán)境相對廣泛,,采集裝置相對簡單,,僅僅使用普通手機就可以進行采集,且對于照明光源沒有太多要求,。

    (4)改進了像素到像素圖像恢復雙層卷積的Unet結構,,采用了dense的連接結構,使網(wǎng)絡具有更好的恢復圖像性能,。




本文詳細內容請下載:http://wldgj.com/resource/share/2000003096




作者信息:

漆建軍

(廣東外語外貿大學 信息科學技術學院,,廣東 廣州510006)

此內容為AET網(wǎng)站原創(chuàng),未經(jīng)授權禁止轉載,。