學習筆記，僅供參考

---

熵值法

信息熵介紹

信息熵是將系統無序程度的度量，信息是系統有序程度的度量，二者絕對值相等但符號相反，某項指標的指標值變異程度越大，信息熵就越小，該指標提供的信息量就越大，該指標的權重也應越大；反之，某項指標的指標值變異程度越小，信息熵越大，該指標提供的信息量越小，該指標的權重也應越小。

計算步驟

首先，我們由于指標體系中的各個指標的量綱、數量級不同，我們需要對它們進行無量綱化處理，具體方法如下：

$$\begin{gathered} Positiveindicators:x_{ij}^{\prime }=\frac{x_{ij}?x_{min}}{x_{max}?x_{min}} \\ Negativeindex:x_{ij}^{\prime }=\frac{x_{max}?x_{ij}}{x_{max}?x_{min}} \end{gathered}$$

其中，$x_{ij}$為第$i$個樣本第$j$個指標的指標值，$x_{max}$為第$j$個指標的最大值，$x_{min}$為第$j$個指標的最小值，其中有$m$個樣本，$n$個指標。

根據各項指標值的變異程度，利用信息熵工具，計算出各指標權重，具體步驟為：

• 將各指標同度量化，計算第$j$項指標下第$i$個樣本指標值的比重

$$p_{ij}=\frac{x_{ij}}{{\sum }_{i=1}^m{x}_{ij}}$$

• 計算第$j$項指標的熵值$e_j$

$$ e_j = -k \sum_{i=1}^m p_{ij}lnp_{ij} $$

其中，$k>0$，$e_j\ge 0$，如果$x_{ij}$對于給定的$j$全部相等。則$p_{ij}=\frac{1}{m}$，此時$e_j$取極大值，即：

$$e_j=?k\sum _{i=1}^m\frac{1}{m}ln\frac{1}{m}=klnm$$

若設$k=\frac{1}{lnm}$，于是有$0\le e_j\le 1$.

• 計算第$j$項指標的差異性系數$g_i$

$$g_j=1?e_j$$

• 對于差異性系數進行歸一化，可計算出各指標的權重

$$w_j=\frac{g_j}{{\sum }_{k=1}^m{g}_k}$$

總結

以上是生活随笔為你收集整理的数据挖掘学习日志(part1)--熵值法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。