《電子技術應用》
您所在的位置：首頁 > 其他 > 設計應用 > 一種應用于語義分割的新型親和力監(jiān)督方法
一種應用于語義分割的新型親和力監(jiān)督方法
信息技術與網絡安全
曹露濛，楊周旺
（中國科學技術大學 大數據學院,，安徽 合肥230026)
摘要： 語義分割是計算機視覺領域一項基本且具有挑戰(zhàn)性的任務,，最近的語義分割研究工作，著力于設計注意力機制和全局性模塊,，而在注意力機制中,，親和力矩陣是非常重要的部份。傳統(tǒng)的親和力矩陣是以注意力機制的一部分嵌入在神經網絡中,，通常作為特征融合的權重來使用,。嘗試直接將親和力矩陣應用于注意力機制之外，與語義標簽聯系起來,。首先定義標簽親和力矩陣,，再在語義分割網絡輸出層計算親和力矩陣，將兩個矩陣結合起來,，得到一個輔助的懲罰函數,。標簽親和力矩陣可以視為一種結構上的監(jiān)督信息，能輔助訓練語義分割網絡,。在NYUv2數據集上的實驗結果表明,，懲罰函數有助于提高語義分割網絡的精度，并且效果顯著,。
中圖分類號： TP389.1
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.07.011
引用格式： 曹露濛,，楊周旺. 一種應用于語義分割的新型親和力監(jiān)督方法[J].信息技術與網絡安全，2021,，40(7)：66-71.
A new affinity supervision for semantic segmentation
Cao Lumeng,，Yang Zhouwang
(School of Data Science，University of Science and Technology of China,，Hefei 230026,，China)
Abstract： Semantic segmentation is a basic and non-trivial task in computer vision. Many previous work focus on utilizing attention mechanisms and non-local models. In attention mechanisms, affinity matrix is very important. Traditional affinity matrix is an essential part of attention models embedded into the neural networks, used as feature fusion weights. In this paper, the affinity matrix is directly used out of attention mechanisms, and it is associated with labels. Firstly, the label affinity matrix is defined, and then the feature affinity is computed on the output layer of semantic segmentations. Finally, with such two affinities, a novel loss function is defined, which uses label affinities as a kind of structural supervision to help train segmentation networks. Extensive experiments on NYUv2 datasets demonstrate that the loss is effective in promoting semantic segmentation networks.
Key words : semantic segmentation,；convolutional neural network；affinity matrix,；self-attention

0 引言

   語義分割是計算機視覺中一項具有挑戰(zhàn)性的任務,，在自動駕駛、機器人,、衛(wèi)星,、農業(yè)、醫(yī)療診斷等領域有著廣泛的應用,。它是一項稠密分類任務,，旨在對圖像進行像素點級別的分類。由于卷積神經網絡技術的迅速發(fā)展,，許多語義分割神經網絡應運而生,。例如，FCN[1]使用卷積層來代替完全連接層,，使得神經網絡能夠適應任何輸入大小,。Deeplab[2]，PSPNet[3]采用空間金字塔池化來提取不同尺度的特征,，然后合并特征來獲取不同尺度的上下文信息,。長期以來，研究者們致力于特征復用方法和注意機制來設計分割網絡[4-6],。使用殘差和密集的跳躍連接來聚合和復用不同層的特征,，使得語義分割更加準確，并使梯度更容易反向傳播,。注意力模型[7-9]和非局部模型[10-11]彌補了卷積核的局部局限性,，可以捕獲長程依賴。最近的研究顯示了像素分組的重要性[12-15],。Zhong Zilong等人[12]提出語義分割可以分為兩個子任務：顯式像素預測和隱式像素分組,。Yu Changqian等人[13]使用標簽對類別內和類別間的先驗知識進行建模，以指導網絡的學習,。KE T W等人[14]提出了一種自適應親和場(Adaptive Affinity Field,，AAF)來捕獲和匹配標簽空間中相鄰像素之間的語義關系。Jiang Peng等人[15]提出了一種擴散分支,，它由一個用于得分圖的種子子分支和一個用于像素級相似性的子分支組成,。條件隨機場(Conditional Random Fields，CRFs)[16-18,，2]方法用于語義分割,，利用上下文信息優(yōu)化網絡輸出，這是一種統(tǒng)計方法,，用于對相似像素進行分組,，并通過能量函數優(yōu)化得分圖(score map),。以前的許多CRFs都是對網絡輸出的后處理。VEMULAPALLI R等人[17]和CHANDRA S等人[18]在CNN中引入了高斯條件隨機場,，并取得了很好的效果,。



本文詳細內容請下載：http://wldgj.com/resource/share/2000003680




作者信息：

曹露濛，楊周旺

（中國科學技術大學 大數據學院,，安徽 合肥230026)


此內容為AET網站原創(chuàng),，未經授權禁止轉載。