Fuzzy System

• 1.摘要
• 2.引言
• 3. algorithm
• • 3.1 TSK介紹見前面的論文
  • 3.2 均勻正則化
  • 3.3 Batch Normalization（BN）
  • 4 實(shí)驗(yàn)結(jié)果
  • • 4.1數(shù)據(jù)集介紹

本文相對簡單，創(chuàng)新點(diǎn)主要為實(shí)際問題的解決

1.摘要

TSK模糊系統(tǒng)作為一種高度可解釋性的機(jī)器學(xué)習(xí)方法，在處理大數(shù)據(jù)或者高維度數(shù)據(jù)上存在一定的缺陷。因此本文提出了一個(gè)新的TSK模糊系統(tǒng)算法來高效的處理這些數(shù)據(jù)。本文主要?jiǎng)?chuàng)新點(diǎn)有兩個(gè)，一個(gè)是引入了均勻正則化（UR)，強(qiáng)迫所有的規(guī)則有著相似的輸出，這提升了模型的泛化性。另一個(gè)是引入了批處理歸一化（BN），它將BN從深度神經(jīng)網(wǎng)絡(luò)擴(kuò)展到TSK模糊分類器，以加快收斂速度，提高泛化性能。經(jīng)過十二個(gè)數(shù)劇集的驗(yàn)證，得到了良好的效果。

2.引言

針對TSK模糊系統(tǒng)處理大數(shù)據(jù)或者高維度的數(shù)問題，許多人做出了努力，包括使用降維算法、特征提取等。哈有一些人聚焦于學(xué)習(xí)原始的稀疏子空間特征，從而減少每個(gè)模糊規(guī)則的參數(shù)量。
MGDB自從被應(yīng)用與TSK模糊系統(tǒng)后，許多人進(jìn)行了改進(jìn)，包括adding a momentum， Adam，前兩者的結(jié)合，以及AdaBound，本文實(shí)驗(yàn)發(fā)現(xiàn)AdaBound更好。但盡管這樣的MGDB-TSK模糊系統(tǒng)有著較好的性能，但是容易陷入局部最優(yōu)以及梯度消失問題，基于此，在深度學(xué)習(xí)解決類似問題的適合提出了UR和BN，本文則跟隨實(shí)驗(yàn)室之前的研究，繼續(xù)優(yōu)化TSK模糊系統(tǒng)，將BN和UR與TSK模糊系統(tǒng)結(jié)合，解決大數(shù)據(jù)以及局部最優(yōu)的問題。
貢獻(xiàn)如下：
1、提出了針對交叉熵（cross-entropy loss）的UR公式，迫使所有的規(guī)則平均，以提高泛化性。
2、擴(kuò)展BN進(jìn)入TSK模糊系統(tǒng)，展示了其快速收斂性以及準(zhǔn)確率。
3、整合BN和UR得到了良好的性能。

3. algorithm

3.1 TSK介紹見前面的論文

此處不再贅述 ,點(diǎn)擊 TSK Fuzzy System

3.2 均勻正則化

混合專家系統(tǒng)與TSK模糊系統(tǒng)類似，當(dāng)多個(gè)專家共同決策時(shí)，如果某一個(gè)或多個(gè)專家的準(zhǔn)確率更高，則偏向于某個(gè)或某幾個(gè)專家的決策，給與他/他們更高的權(quán)重。但也因此造成了富者越富的情況，損失了其余專家給出的評判信息，不能很好的應(yīng)對各種情況。在TSK模糊系統(tǒng)存在類似的情況，因此我們提出均勻正則化，將所有專家給出的意見權(quán)重統(tǒng)一，這樣就能最大程度的適用于各種情況，提升泛化性。
具體公式如下
因此，我們的損失函數(shù)變成了這個(gè)，類似于L2正則化，但是L2正則化是增加了懲罰項(xiàng)，這個(gè)是增加了統(tǒng)一正則化操作。

3.3 Batch Normalization（BN）

BN主要作用是引入兩個(gè)參數(shù)，將每一個(gè)數(shù)進(jìn)行歸一化操作加速訓(xùn)練過程，

這里的mb和δb是一批樣本的均值和標(biāo)準(zhǔn)差，γ和β是學(xué)習(xí)的參數(shù)，∈是參數(shù)，1*10-8避免標(biāo)準(zhǔn)差為0，

由圖中可知，將訓(xùn)練階段模糊規(guī)則計(jì)算完之后，在輸出階段對所有模糊規(guī)則結(jié)果使用BN，這樣就可以將其貢獻(xiàn)歸一化，在計(jì)算輸出，則解決了模型的泛化性問題。在測試階段具體介紹如下：

同時(shí)，我們也可以對輸入數(shù)據(jù)進(jìn)行歸一化操作，將數(shù)據(jù)分布?xì)w一化后送入TSK模糊系統(tǒng)運(yùn)行，基于此，也可以減少不同數(shù)據(jù)之間所產(chǎn)生的各異性公式如下：。

不同的BN操作對TSK模糊系統(tǒng)的影響如下圖：

4 實(shí)驗(yàn)結(jié)果

4.1數(shù)據(jù)集介紹

不同算法之間原始準(zhǔn)確率（RCA)對比：
DT: Decision tree；
RF: Random forest；
PART : The PART (partial decision tree) classifier；
JRip : The RIPPER (Repeated Incremental Pruning to Produce Error Reduction) classifier；
TSK-FCM-LSE；
TSK-MBGD: We used MBGD and AdaBound；
TSK-MBGD-UR: MBGD, AdaBound and UR；
TSK-MBGD-BN: We used MBGD, AdaBound and BN；
TSK-MBGD-UR-BN: We used MBGD, AdaBound, BN and UR；

平衡準(zhǔn)確率：the mean of the per-class RCAs

p值檢驗(yàn)差異性：

首先，對于非常高維的數(shù)據(jù)，輸入空間的模糊劃分變得非常復(fù)雜，當(dāng)使用乘積t-范數(shù)時(shí)，可能會(huì)發(fā)生數(shù)值下流。進(jìn)一步的研究應(yīng)考慮自動(dòng)選擇最相關(guān)的屬性作為前提的規(guī)則。其次，我們將研究如何提高數(shù)據(jù)驅(qū)動(dòng)的TSK模糊系統(tǒng)的可解釋性。這也與第一個(gè)問題部分相關(guān)聯(lián)，因?yàn)闇p少前因子的數(shù)量可以提高規(guī)則的可解釋性。
最后，我們需要指出的是，我們沒有考慮到數(shù)據(jù)中的各種不確定性，如缺失值、錯(cuò)誤值、噪聲、異常值等，這在現(xiàn)實(shí)應(yīng)用中經(jīng)常發(fā)生。一些技術(shù)，例如粗糙集，可以與模糊集集成來處理它們。或者，本文中使用的1型TSK模糊系統(tǒng)也可以擴(kuò)展到區(qū)間或一般的2型模糊系統(tǒng)，以應(yīng)對更多的不確定性。

總結(jié)

以上是生活随笔為你收集整理的Fuzzy System2021|论文阅读《Optimize TSK Fuzzy Systems for Classification Problems》的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。