別看了 有錯的 我懶得改了

強推https://www.bilibili.com/video/BV18J411a7yY?t=591

看完你還不會那我也沒辦法了

\

算法原理

??模糊c-均值聚類算法 fuzzy c-means algorithm (FCMA)或稱（FCM）。在眾多模糊聚類算法中，模糊C-均值（FCM）算法應用最廣泛且較成功，它通過優化目標函數得到每個樣本點對所有類中心的隸屬度，從而決定樣本點的類屬以達到自動對樣本數據進行分類的目的。
??先來講講這個算法的名字噢，什么叫Fuzzy，什么叫模糊呢，在經典的集合理論，一個元素是否屬于集合，只有真或者假兩種情況，也可以說只有0和1兩種情況，0為假1為真。比如我們想要定義一個集合表示“年輕人”，那么我們需要設置一個閾值，當一個人的年齡小于這閾值的時候，就認為這個人屬于這個集合，反之則不屬于。假如用A表示年輕人這個集合，以20歲為閾值。則這個集合的隸屬度函數可以表示如下：
$${\mu }_A(z)=\{\begin{array}{l}1,z<20\\ 0,z\ge 20\end{array}$$
上面的公式可以用下面左圖表示：

??使用經典的集合理論，我們會面臨著一些實際的問題，比如當一個人的年齡是20歲零1秒的時候，這個人就不再是年輕人了，這種粗暴的分類方式，在實際中并不實用。因此我們需要有過渡的函數來描述這個情況。上圖中右邊的圖提供了一種解決方法，圖中的斜線表示年齡的過渡。
于是就可以定義三個隸屬度函數來確定年齡與三個模糊子集的關系：
$${\mu }_A(z)=?\begin{array}{l}1,z\le 20\\ \frac{30?z}{10},20<z<30\\ 0,z\ge 30\end{array}$$
??OK，模糊的概念大概懂了，那么C-Means的C又是什么東西呢，額這個，好像沒有什么含義，就像K-Means的k一樣，只是代表聚類的個數，可能是cluster的c?又可能是模糊控制器(Fuzzy Controller)里的c。但是這個無關緊要，懂得模糊的概念就好了。

??然后我們來正式說一下模糊c-均值是什么。模糊c-均值是一種允許一個數據屬于一個或多個簇的方法，它不同于K-Means一個數據只能屬于一個簇，它自發明以來廣泛應用于模式識別中。
??那么這種算法它的優化目標、目標函數是什么呢?看下面的公式：
$$\begin{gathered} min{J}_m=\sum _{i=1}^N\sum _{j=1}^C{\mu }_{ij}^m||x_i?v_j|{|}^2,1<m<\infty \\ s.t.\sum _{j=1}^C{\mu }_{ij}=1\text{\hspace{1em}(1)} \end{gathered}$$
符號定義：
$N:$ 是樣本總個數
$C:$ 簇心數目，就是一開始輸入的參數，你想這N個數據分成3份就將C置為3，5份就置為5，懂吧
$\mu :$ 一個$N\times C$的矩陣，其中${\mu }_{ij}$是$x_i$屬于類別$j$的隸屬度
$v_j:$ 第$j$個類別的中心
$m:$ 跟$C$一樣是自己設置的參數，不同的$m$會有不同的聚類效果，需要根據不同的數據集進行調節

這個公式呢就是說每一個數據$x_i$到每一個聚類中心$v_j$距離的二范式再乘上$x_i$屬于類別$j$的隸屬度的$m$次方，要最小化它們的總和，直觀一點就是希望每一個數據盡可能與它們所屬的聚類中心接近。

??那么就開始求如何使這個函數最小化了，(眾所周知)，求最小嘛，基本操作將它對某個變量求偏導，令偏導結果為零即可，因為有一個等式約束，我們先引入拉格朗日乘子$\lambda$，于是原式可以寫成：

$$minJ=\sum _{i=1}^N\sum _{j=1}^C{\mu }_{ij}^m||x_i?v_j|{|}^2?\lambda (\sum _{j=1}^C{\mu }_{ij}?1)\text{\hspace{1em}(2)}$$
然后對$\lambda$求偏導并令其為零，得：
$$\frac{?J}{?\lambda }=\sum _{j=1}^C{\mu }_{ij}?1=0\text{\hspace{1em}(3)}$$
再對${\mu }_{ij}$求偏導并令其為零，得：
$$\frac{?J}{?{\mu }_{ij}}=m?{\mu }_{ij}^{m?1}||x_i?v_j|{|}^2?\lambda =0\text{\hspace{1em}(4)}$$
由(4)可得
$${\mu }_{ij}={\left(\frac{\lambda }{m||x_i?v_j|{|}^2}\right)}^{\frac{1}{m?1}}\text{\hspace{1em}(5)}$$
將(5)代入(3)得：
$$\begin{array}{rl}\sum _{j=1}^C{\left(\frac{\lambda }{m||x_i?v_j|{|}^2}\right)}^{\frac{1}{m?1}}?1& =0\\ \sum _{j=1}^C{\left(\frac{\lambda }{m}\right)}^{\frac{1}{m?1}}{\left(\frac{1}{||x_i?v_j|{|}^2}\right)}^{\frac{1}{m?1}}?1& =0\\ {\left(\frac{\lambda }{m}\right)}^{\frac{1}{m?1}}\sum _{j=1}^C{\left(\frac{1}{||x_i?v_j|{|}^2}\right)}^{\frac{1}{m?1}}?1& =0\end{array}$$
于是我們就可以得到：
$${\left(\frac{\lambda }{m}\right)}^{\frac{1}{m?1}}=\frac{1}{{\sum }_{j=1}^C{\left(\frac{1}{||x_i?v_j|{|}^2}\right)}^{\frac{1}{m?1}}}\text{\hspace{1em}(6)}$$
將(6)再代入(4)得：
$${\mu }_{ij}=\frac{1}{{\sum }_{k=1}^C{\left(\frac{1}{||x_i?v_k|{|}^2}\right)}^{\frac{1}{m?1}}}{\left(\frac{1}{||x_i?v_j|{|}^2}\right)}^{\frac{1}{m?1}}=\frac{1}{{\sum }_{k=1}^C{\left(\frac{||x_i?v_j|{|}^2}{||x_i?v_k|{|}^2}\right)}^{\frac{1}{m?1}}}\text{\hspace{1em}(7)}$$

再對$v_i$求偏導并令其為零，得：
$$\frac{?J}{?v_i}=?2\sum _{i=1}^N{\mu }_{ij}^m(x_i?v_j)\text{\hspace{1em}(8)}$$
$$v_j=\frac{{\sum }_{i=1}^N{\mu }_{ij}^m{x}_i}{{\sum }_{i=1}^N{\mu }_{ij}^m}\text{\hspace{1em}(9)}$$
式(9)即為聚類中心$v_j$的更新公式。

總結一下模糊C均值的更新公式如下：
$${\mu }_{ij}=\frac{1}{{\sum }_{k=1}^C{\left(\frac{||x_i?v_j|{|}^2}{||x_i?v_k|{|}^2}\right)}^{\frac{1}{m?1}}}{v}_j=\frac{{\sum }_{i=1}^N{\mu }_{ij}^m{x}_i}{{\sum }_{i=1}^N{\mu }_{ij}^m}$$

算法步驟

---

確定類別數C，參數m，和迭代停止誤差$\epsilon$以及最大迭代次數T

初始化聚類中心$V=\{v_1,v_2,...,v_C\}$

For t=1 to T:
??Calculate $U_t$ with $V_{t?1}$ and (7)
??Calculate $V_t$ with $U_t$ and (9)
??If $E_t=||V_t?V_{t?1}|{|}_{err}\le \epsilon$
??Stop and put $(U_f,V_f)=(U_t,V_t)$; Else
Next t

---

舉個例子

我們考慮FCM在一維下應用的情況。 使用二十個數據和三個聚類來初始化算法并計算U矩陣。 下圖顯示了每個基準面和每個聚類的成員隸屬度。 根據隸屬函數，數據的顏色是最近的群集的顏色。

在上圖所示的仿真中，我們使用了模糊系數 $m=2$，其中模糊分布取決于簇的特定位置。 因為尚未執行任何步驟，所以無法很好地識別群集。 現在可以運行算法，直到驗證停止條件為止。 下圖顯示了在第8步達到的最終條件，其中 $m=2$ 和 $\epsilon =0.3$：

不同的初始化會導致算法的不同演化，它們可以收斂到相同的結果，但是迭代步驟的數量就不一樣了。

python實現FCM對iris數據集進行聚類

import numpy as np from sklearn import datasets import matplotlib.pyplot as plt from sklearn.decomposition import PCA import scipy.io as scioC = 3 m = 2 # T = 5000 # EPS = 0.0000001 colors = ['r', 'b', 'g']def norm2(x):x = np.mat(x)return np.dot(x.reshape(1, -1), x.reshape(-1, 1))def cal(x_i, c_j, c_k):x_i = np.mat(x_i).reshape(1, -1)c_j = np.mat(c_j).reshape(1, -1)c_k = np.mat(c_k).reshape(1, -1)return float(np.power(norm2(x_i-c_j)/norm2(x_i-c_k), 2.0/(m-1)))def fuzzy_c_means(data, m, C, EPS, T):data = np.mat(data)n, p = data.shapeV = [np.random.random([1, p]) for _ in range(C)]U = [[0 for i in range(C)] for j in range(n)]for i in range(n):for j in range(C):down = 0for k in range(C):down += cal(data[i], V[j], V[k])U[i][j] = 1.0/downfor _ in range(T):for j in range(C):down = 0V[j] = np.zeros([1, p])for i in range(n):u_i_j_m = pow(U[i][j], m)V[j] += data[i]*u_i_j_mdown += u_i_j_mV[j] /= downupgrade = 0for i in range(n):for j in range(C):down = 0for k in range(C):down += cal(data[i], V[j], V[k])tmp = 1.0 / downupgrade += abs(U[i][j]-tmp)U[i][j] = tmpif upgrade < EPS:breakfor i in range(n):idx = np.argmax(U[i])plt.scatter(float(data[i][:, 0]), float(data[i][:, 1]), c=colors[idx])plt.show()if __name__ == '__main__':a = datasets.load_iris()data = a['data']pca = PCA(n_components=2)data = pca.fit_transform(data)fuzzy_c_means(data=data, m=2, C=C, EPS=1e-7, T=5000)

原數據通過PCA降到二維空間中的分布情況如下圖所示

通過FCM進行聚類后的結果如下圖所示

參考博客

http://home.deib.polimi.it/matteucc/Clustering/tutorial_html/cmeans.html
https://blog.csdn.net/einsdrw/article/details/37930331

總結

以上是生活随笔為你收集整理的Fuzzy C-Means Clustering(模糊C均值)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。