點(diǎn)擊藍(lán)字關(guān)注我們

AI研習(xí)圖書(shū)館，發(fā)現(xiàn)不一樣的精彩世界

學(xué)習(xí)
筆記

常見(jiàn)損失函數(shù)總結(jié)-圖像分類篇【上】

一、前言在深度學(xué)習(xí)中，損失函數(shù)扮演著至關(guān)重要的角色。通過(guò)最小化損失函數(shù)，使模型達(dá)到收斂狀態(tài)，減少模型預(yù)測(cè)值的誤差。因此，不同的損失函數(shù)，對(duì)模型的影響是十分重大的。接下來(lái)，重點(diǎn)總結(jié)一下在實(shí)習(xí)工作實(shí)踐中經(jīng)常用到的損失函數(shù)：

• 圖像分類：softmax，weighted softmax loss，focal loss，soft softmax loss，L-softmax Loss，Hinge，Exponential loss與Logistic loss
• 目標(biāo)檢測(cè)：Focal loss，L1/L2損失，IOU Loss，GIOU ，DIOU，CIOU
• 圖像識(shí)別：Triplet Loss，Center Loss，Sphereface，Cosface，Arcface

什么是損失函數(shù)？深度學(xué)習(xí)中的損失函數(shù)(loss function)是用來(lái)評(píng)估模型的預(yù)測(cè)值-f(x)與真實(shí)值-y的不一致程度，損失函數(shù)越小，代表模型的魯棒性越好，損失函數(shù)能指導(dǎo)模型學(xué)習(xí)。?二、常見(jiàn)圖像分類損失函數(shù)2.1、0-1 loss

0-1 loss是最原始的loss，它直接比較輸出值與輸入值是否相等，對(duì)于樣本i，它的loss等于：

當(dāng)標(biāo)簽與預(yù)測(cè)類別相等時(shí)，loss為0，否則為1。可以看出，0-1 loss無(wú)法對(duì)x進(jìn)行求導(dǎo)，在依賴于反向傳播的深度學(xué)習(xí)任務(wù)中，無(wú)法被使用，0-1 loss更多的是啟發(fā)新的loss的產(chǎn)生。2.2、熵與交叉熵loss物理學(xué)中的熵，表示一個(gè)熱力學(xué)系統(tǒng)的無(wú)序程度。為了解決對(duì)信息的量化度量問(wèn)題，香農(nóng)在1948年提出了“信息熵”的概念，它使用對(duì)數(shù)函數(shù)表示對(duì)不確定性的測(cè)量。熵越高，表示能傳輸?shù)男畔⒃蕉?#xff0c;熵越少，表示傳輸?shù)男畔⒃缴?#xff0c;可以直接將熵理解為信息量。

對(duì)于單個(gè)的信息源，信源的平均不確定性就是單個(gè)符號(hào)不確定性-logpi的統(tǒng)計(jì)平均值，信息熵的定義如下：

假設(shè)有兩個(gè)概率分布p(x)和q(x)，其中p是已知的分布，q是未知的分布，則其交叉熵函數(shù)是兩個(gè)分布的互信息，可以反應(yīng)其相關(guān)程度。至此，引出了分類任務(wù)中最常用的loss，即log loss，又名交叉熵loss，后統(tǒng)一稱為交叉熵：

在圖像分類中，經(jīng)常使用softmax+交叉熵作為損失函數(shù)：

其中p(x)" role="presentation" style=" display: inline; line-height: normal; word-spacing: normal; overflow-wrap: normal; float: none; direction: ltr; max-width: none; max-height: none; min-width: 0px; min-height: 0px; border-width: 0px; border-style: initial; border-color: initial; ">p(x)表示真實(shí)概率分布，q(x)" role="presentation" style=" display: inline; line-height: normal; word-spacing: normal; overflow-wrap: normal; float: none; direction: ltr; max-width: none; max-height: none; min-width: 0px; min-height: 0px; border-width: 0px; border-style: initial; border-color: initial; ">q(x)表示預(yù)測(cè)概率分布。交叉熵?fù)p失函數(shù)通過(guò)縮小兩個(gè)概率分布的差異，來(lái)使預(yù)測(cè)概率分布盡可能達(dá)到真實(shí)概率分布。后來(lái)，谷歌在交叉熵的基礎(chǔ)上，提出了label smoothing(標(biāo)簽平滑)在實(shí)際中，需要用預(yù)測(cè)概率去擬合真實(shí)概率，而擬合one-hot的真實(shí)概率函數(shù)會(huì)帶來(lái)兩個(gè)問(wèn)題：

無(wú)法保證模型的泛化能力，容易造成過(guò)擬合；

全概率和0概率鼓勵(lì)所屬類別和其他類別之間的差距盡可能加大，而由梯度有界可知，這種情況很難適應(yīng)，會(huì)造成模型過(guò)于相信預(yù)測(cè)的類別。

因此，為了減少這種過(guò)于自信，同時(shí)減緩人為標(biāo)注的誤差帶來(lái)的影響，需要對(duì)p(x)" role="presentation" style=" display: inline; line-height: normal; word-spacing: normal; overflow-wrap: normal; float: none; direction: ltr; max-width: none; max-height: none; min-width: 0px; min-height: 0px; border-width: 0px; border-style: initial; border-color: initial; ">p(x)進(jìn)行變化：其中，δ(k,y)" role="presentation" style=" display: inline; line-height: normal; word-spacing: normal; overflow-wrap: normal; float: none; direction: ltr; max-width: none; max-height: none; min-width: 0px; min-height: 0px; border-width: 0px; border-style: initial; border-color: initial; ">δ(k,y)為Dirac函數(shù)，u(k)" role="presentation" style=" display: inline; line-height: normal; word-spacing: normal; overflow-wrap: normal; float: none; direction: ltr; max-width: none; max-height: none; min-width: 0px; min-height: 0px; border-width: 0px; border-style: initial; border-color: initial; ">u(k)為均勻分布。簡(jiǎn)單而言，降低標(biāo)簽y的置信度，提高其余類別的置信度。從而，交叉熵變成：2.3、softmax loss及其變種假如log loss中的f(x)的表現(xiàn)形式是softmax概率的形式，那么交叉熵loss就是熟知的softmax with cross-entropy loss，簡(jiǎn)稱softmax loss，所以說(shuō)softmax loss只是交叉熵的一個(gè)特例。softmax loss被廣泛用于分類分割等任務(wù)，且發(fā)展出了很多的變種，有針對(duì)不平衡樣本問(wèn)題的weighted softmax loss，focal loss，針對(duì)蒸餾學(xué)習(xí)的soft softmax loss，促進(jìn)類內(nèi)更加緊湊的L-softmax Loss等一系列的改進(jìn)。

限于篇幅，更多精彩，請(qǐng)關(guān)注下期內(nèi)容~

推薦閱讀文章

[1]?AI入門(mén)-人工智能的前世今生[2]?AI入門(mén)-深度學(xué)習(xí)綜述[3]?AI入門(mén)-計(jì)算機(jī)視覺(jué)學(xué)習(xí)指南[附資源][4]?深度學(xué)習(xí)框架總結(jié)—國(guó)際篇[5]?深度學(xué)習(xí)-CNN結(jié)構(gòu)設(shè)計(jì)技巧[6]?資源分享-深度學(xué)習(xí)及數(shù)據(jù)分析等資源合集

[7]?今日分享—統(tǒng)計(jì)學(xué)習(xí)方法

[8]?算法總結(jié)—人臉檢測(cè)算法

Bilibili : 洛必達(dá)數(shù)數(shù)CSDN博客：算法之美DLGitHub：statisticszhang關(guān)注AI研習(xí)圖書(shū)館，發(fā)現(xiàn)不一樣的精彩世界 與50位技術(shù)專家面對(duì)面20年技術(shù)見(jiàn)證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的display函数怎么使用_损失函数—深度学习常见损失函数总结【图像分类|上】的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。