今天我們來聊一聊label smooth這個tricks，標(biāo)簽平滑已經(jīng)成為眾所周知的機(jī)器學(xué)習(xí)或者說深度學(xué)習(xí)的正則化技巧。標(biāo)簽平滑——label smooth regularization作為一種簡單的正則化技巧，它能提高分類任務(wù)中模型的泛化性能和準(zhǔn)確率，緩解數(shù)據(jù)分布不平衡的問題，同時在模型蒸餾中可見它的身影。在最近的2個月3個NLP算法比賽的實(shí)戰(zhàn)中，label smooth也作為一種煉丹術(shù)被我用來提高比賽的成績。那為啥label smooth有效呢？怎么來解釋這個現(xiàn)象呢？那么我們就在這篇博客中一起學(xué)習(xí)一下label smooth的數(shù)學(xué)原理以及宏觀角度的解釋，最后看看最近的論文中有沒有更好的label smooth方法。

---

---

---

參考資料：
label smooth標(biāo)簽平滑的理解

總結(jié)

以上是生活随笔為你收集整理的label smooth标签平滑【ConvE（知识图谱补全-链接预测）中使用到】的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。