文 | YukiRain@知乎

不是所有問題都適合用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)，YukiRain總結(jié)了以下幾種不適合用神經(jīng)網(wǎng)絡(luò)做預(yù)測(cè)的場(chǎng)景：

• 小樣本情況，無論是低維還是高維，不如SVM和貝葉斯模型

• 低維數(shù)據(jù)，大樣本量，不如各種ensemble類算法

• 以上主要問題在于過擬合，傳統(tǒng)機(jī)器學(xué)習(xí)算法大部分對(duì)過擬合都有比較合理的解決方案，而神經(jīng)網(wǎng)絡(luò)基本只靠heuristic。dropout雖然在Bayesian deep learning里面有不錯(cuò)的意義，但只依靠dropout來做inference實(shí)踐上未免有點(diǎn)單薄

• 低維時(shí)序數(shù)據(jù)，小樣本量，大部分情況下比不過HMM，ARIMA一類的，比如語音識(shí)別里至今CNN沒有比HMM效果好多少

• 三維的圖像數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)參數(shù)量太大，雖然有不少文章voxel based cnn，我目前還沒有復(fù)現(xiàn)過效果比較好的模型

• 上面的三維數(shù)據(jù)，有一種做法是多視角赤極投影，然后用LSTM去學(xué)，然而實(shí)數(shù)空間不存在一個(gè)SO(3)群到S2群的連續(xù)映射，因?yàn)槎卟煌瑯?gòu)，所以即使你做出實(shí)驗(yàn)效果，也有可能是某種過擬合的結(jié)果

• 神經(jīng)網(wǎng)絡(luò)容易受到對(duì)抗樣本的攻擊，攻擊很容易，防御十分困難，目前為止的大部分防御措施都被指出存在漏洞

• 不規(guī)則數(shù)據(jù)，比如說graph signal或者point cloud，雖然有不少文章都嘗試graph signal上做卷積，但是目前為止，應(yīng)用在復(fù)雜數(shù)據(jù)集上效果欠佳，而且數(shù)學(xué)研究者的工作與CS研究者的工作還有著巨大的隔閡

• 有一些文章用神經(jīng)網(wǎng)絡(luò)做圖像去噪，這類的文章，凡聲稱自己是“盲”去噪，不加任何正則項(xiàng)先驗(yàn)項(xiàng)的，有一大部分連自己到底想做到什么樣的目標(biāo)都說不清。

后臺(tái)回復(fù)關(guān)鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺(tái)回復(fù)關(guān)鍵詞【頂會(huì)】

獲取ACL、CIKM等各大頂會(huì)論文集！

總結(jié)

以上是生活随笔為你收集整理的不是所有问题都适合用神经网络去搞！的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。