摘 要: 針對(duì)模糊c-均值(FCM)聚類算法受初始聚類中心影響,,易陷入局部最優(yōu),,以及算法對(duì)孤立點(diǎn)數(shù)據(jù)敏感的問題,提出了解決方案:采用快速減法聚類算法初始化聚類中心,,為每個(gè)樣本點(diǎn)賦予一個(gè)定量的權(quán)值,,用來區(qū)分不同的樣本點(diǎn)對(duì)最終的聚類結(jié)果的不同作用,為提高聚類速度采用修正隸屬度矩陣的方法,,并將算法與傳統(tǒng)的FCM相比,。實(shí)驗(yàn)結(jié)果表明,該算法較好地解決了初值問題,,與隨機(jī)初始化方法相比,,迭代次數(shù)少、收斂速度快,、具有較好的聚類結(jié)果,。
關(guān)鍵詞: 模糊c-均值; 減法聚類,; 權(quán)值
模糊聚類作為無監(jiān)督機(jī)器學(xué)習(xí)的主要技術(shù)之一,,廣泛應(yīng)用于數(shù)據(jù)挖掘、矢量量化,、圖像分割,、模式識(shí)別、醫(yī)學(xué)診斷等領(lǐng)域,。引入模糊數(shù)學(xué)方法,通過建立數(shù)據(jù)樣本類屬的不確定描述,將相似性質(zhì)的事物分開并加以分類,,能比較客觀地反映現(xiàn)實(shí)世界。
模糊c-均值(FCM)算法是模糊聚類的基本方法之一,,它是一種聚類不定歸屬的方法,。它通過引入隸屬度函數(shù)來表示每個(gè)樣本點(diǎn)屬于各個(gè)類別的程度,從而決定樣本點(diǎn)的類屬,對(duì)數(shù)據(jù)進(jìn)行軟劃分,。
FCM算法就是通過搜索目標(biāo)函數(shù)的最小點(diǎn),,反復(fù)修改聚類中心矩陣和隸屬度矩陣的分類過程。目前算法的收斂性已得到證明[1],但它是一種局部搜索算法,,對(duì)初值的選取十分敏感,,如果初值選取不當(dāng),它容易收斂到局部極小點(diǎn),。且FCM對(duì)孤立點(diǎn)數(shù)據(jù),、樣本分布不均衡也很敏感。鑒于此,,提出基于減法聚類的改進(jìn)的模糊c-均值聚類,,使得算法的收斂速度和準(zhǔn)確性都得以改善。
1 模糊c-均值算法分析
2 基于減法聚類的改進(jìn)的模糊c-均值算法
2.1初始聚類中心的選擇
減法聚類是一種爬山法,,它把所有的樣本點(diǎn)作為聚類中心的候選點(diǎn),,其基本思想是計(jì)算每個(gè)樣本點(diǎn)的密度指標(biāo),如果該樣本點(diǎn)周圍的點(diǎn)多,,則密度指標(biāo)就大,,就選取密度指標(biāo)最大的樣本點(diǎn)作為聚類中心。減法聚類是一種快速獨(dú)立的近似的聚類方法,,用它計(jì)算,,計(jì)算量由樣本數(shù)目決定且與樣本點(diǎn)的數(shù)目成簡(jiǎn)單的線性關(guān)系,而且與所考慮問題的維數(shù)無關(guān),。
(2) 修正隸屬度矩陣
FCM算法的思想是:迭代調(diào)整隸屬矩陣和聚類中心使目標(biāo)函數(shù)值最小,為保證FCM算法每次的迭代都朝著全局最優(yōu)的方向逼近,其關(guān)鍵就在于保證確定V的下一次迭代值,,加快收斂于全局最優(yōu)點(diǎn)的速度,。在此采用修正隸屬矩陣來計(jì)算下一次迭代的聚類中心,使得到的V更靠近聚類中心,,更合理,,從而提高FCM算法的收斂速度。因此修正隸屬度矩陣[5]可以提高聚類速度,,使聚類效果更好,。
樣本離聚類中心距離越遠(yuǎn)屬于該聚類中心的程度越小,反之越大,,樣本對(duì)類中心的影響即稱為樣本對(duì)類中心施加的吸引力,,在這里設(shè)定了一個(gè)抑制因子,由它來控制對(duì)離樣本點(diǎn)次最近的類中心的抑制作用,。
當(dāng)α=1時(shí),,算法退化為FCM算法,對(duì)離樣本點(diǎn)次最近的類中心沒有任何抑制作用,。
當(dāng)α=0時(shí),,算法完全抑制了樣本對(duì)離它次最近類中心的吸引力,對(duì)離樣本最近類中心的吸引力的增強(qiáng)力度最大。
當(dāng)1<α<0時(shí),,算法對(duì)離樣本次最近類中心的吸引力有一定的抑制作用,,對(duì)離樣本最近類中心的吸引力有一定的增加作用。
修正隸屬度矩陣的過程如下:
(5) 判斷是否終止迭代,。終止而退出,,否則,L=L+1,,返回步驟(2),,繼續(xù)迭代。
經(jīng)過對(duì)隸屬度矩陣的修正可知:改進(jìn)后的算法,,樣本點(diǎn)增大了對(duì)離它最近的類中心的吸引力強(qiáng)度,;樣本點(diǎn)減小了對(duì)離它次最近的類中心的吸引力強(qiáng)度,從而減弱了離樣本次最近類中心對(duì)離樣本最近的類中心收斂速度的延緩作用,。對(duì)其余類中心的吸引力強(qiáng)度不變,,從而提升了FCM算法的收斂速度。
2.3 基于減法聚類改進(jìn)的模糊c-均值算法過程
為保證改進(jìn)的FCM聚類結(jié)果為全局最優(yōu)解,,采用減法聚類的聚類中心作為改進(jìn)的FCM聚類的初始聚類中心,。算法步驟如下:
(1) 設(shè)定聚類參數(shù):領(lǐng)域的半徑ra、rb,比例參數(shù)δ,,F(xiàn)CM聚類數(shù)c,模糊指數(shù)m和最小誤差ε,迭代次數(shù)L,吸引力抑制因子α,。
(2) 應(yīng)用式(4)計(jì)算所有樣本點(diǎn)的密度指標(biāo),將密度指標(biāo)最高的一個(gè)作為第一個(gè)聚類中心點(diǎn)xc1,。
(3) 依據(jù)公式(5)利用減法步驟(2)中的xc1進(jìn)一步計(jì)算余下的n-1個(gè)數(shù)據(jù)點(diǎn)的密度指標(biāo),,找出最高的作為第二個(gè)聚類中心xc2,依此類推,,找到p個(gè)聚類中心,,從中選取前c個(gè)作為FCM的初始聚類中心v(0)。
減法聚類中心中,,密度指標(biāo)越大的聚類中心出現(xiàn)得越早,,越有可能成為改進(jìn)的FCM初始聚類中心。所以,,當(dāng)聚類數(shù)為c時(shí),,取減法聚類產(chǎn)生的前c個(gè)聚類中心作為改進(jìn)的FCM的初始中心,無須再重新初始化,,從而提高了聚類的效率,。
(4) 求式(10)的最小值
(5) 按式(11)和式(12)計(jì)算出隸屬度U(L)
(6) 依據(jù)式(13)和式(14)修正隸屬度矩陣U(L)。
(7) 依據(jù)式(15),,用修正后的U(L)計(jì)算下一次的迭代中心V(L+1),。
(8) 判斷是否滿足終止迭代條件,。對(duì)給定的閾值,
‖U(L+1)-U(L)‖<ε如果終止而退出,,否則,,L=L+1,返回步驟(5),,繼續(xù)迭代,。
3 仿真與結(jié)果分析
從圖1、圖2與表1中可以看出,傳統(tǒng)FCM與本文中的算法相比迭代次數(shù)少,、搜索速度更快,、聚類平均準(zhǔn)確率更高。
基于減法聚類的改進(jìn)的FCM算法很好地解決了FCM算法對(duì)初始值敏感及易陷入局部最優(yōu)的問題,,同時(shí)也改善了FCM對(duì)孤立點(diǎn)敏感的問題,,提高了聚類的速度,具有很高的實(shí)用價(jià)值,。
參考文獻(xiàn)
[1] GAMES R A, CHAN A H. A fast algorithm for determining the linear complexity of a pseudorandom sequence with period 2n[J].IEEE Trans Inf Theory ,1983,IT-29(1):144-146.
[2] HAND D, MANNILA H, SMYTH P. Principles of data mining [M].Cambridge MA:MITPress,2001.
[3] PAL N R, CHAKRABORTY D. Mountain and subtractive clustering method; Improvements and Generalization. International Journal of Intelligent Systems , 2000,15 (4):329-341.
[4] 齊淼,,張化祥.改進(jìn)的模糊c-均值聚類算法研究[J].計(jì)算機(jī)工程與應(yīng)用,2009,45(20).
[5] 閆兆振.自適應(yīng)模糊c-均值聚類算法研究[D]. 濟(jì)南:山東科技大學(xué),2006.