?PaperWeekly 原創(chuàng) · 作者?|?尹娟

學(xué)校?|?北京理工大學(xué)博士生

研究方向?|?隨機(jī)過(guò)程、復(fù)雜網(wǎng)絡(luò)單位

引言

該論文是關(guān)于深度學(xué)習(xí)理論性的文章，要知道深度神經(jīng)網(wǎng)絡(luò)經(jīng)常會(huì)對(duì)樣本分布之外的數(shù)據(jù)和對(duì)抗樣本會(huì)出現(xiàn)不可預(yù)測(cè)性。在該論文中作者提出了一個(gè)幾何梯度分析（GGA）來(lái)提高識(shí)別模型不可信的預(yù)測(cè)，該分析方法不需要重新訓(xùn)練給定的模型。基于神經(jīng)網(wǎng)絡(luò)各自輸入的 來(lái)分析神經(jīng)網(wǎng)絡(luò)損失的幾何特征。作者還提供了梯度的幾何性質(zhì)和損失函數(shù)的局部最小值之間的理論聯(lián)系。

論文標(biāo)題：

Identifying Untrustworthy Predictions in Neural Networks by Geometric Gradient Analysis

論文鏈接：

https://arxiv.org/abs/2102.12196

幾何梯度分析

設(shè) 表示在一個(gè)監(jiān)督分類任務(wù)中輸入樣本 及其對(duì)應(yīng)的類標(biāo)簽 。用 表示由參數(shù)向量 參數(shù)化的神經(jīng)網(wǎng)絡(luò)，用 表示神經(jīng)網(wǎng)絡(luò)對(duì)給定樣本 ?預(yù)測(cè)的類別。定義 為神經(jīng)網(wǎng)絡(luò)的損失函數(shù)。將 定義為給定樣本 的第 類 表示為：

其中 表示符號(hào)函數(shù)。忽略對(duì) 的依賴性，對(duì)于給定的樣本 ，余弦相似矩陣 被定義為：

其中 ，并且 表示 和 這兩個(gè) 圖之間的余弦相似度。與以前僅依賴于預(yù)測(cè)類別的顯著性的方法相比，幾何梯度分析考慮了所有可能的輸出類別的 之間的幾何屬性。同時(shí)考慮多個(gè) 使得幾何梯度攻擊檢測(cè)器更難被攻擊。為了欺騙訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)和幾何梯度測(cè)器，攻擊者必須在保留所有輸出類別的 之間的幾何屬性中同時(shí)造成錯(cuò)誤分類。

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練成熟之后，正確分類的輸入 大部分被映射到預(yù)測(cè)類別 的局部最小值中，對(duì)于這些正確分類的樣本，非預(yù)測(cè)類 ，， 的 指向遠(yuǎn)離局部最小值的地方，并且呈現(xiàn)出高的平均余弦值。相反，錯(cuò)誤分類的樣本遠(yuǎn)離這些局部最優(yōu)值的附近，并且對(duì)于不同的類別顯示不同的 ，因此 的平均余弦相似性較低并且方差較大。

損失函數(shù)局部極小的充要條件：為了進(jìn)一步推動(dòng)神經(jīng)網(wǎng)絡(luò)輸入空間中梯度幾何的分析，作者引入了一個(gè)性質(zhì)，能夠識(shí)別給定的數(shù)據(jù)點(diǎn)是否位于損失中的局部極小值上。

定理1： 被定義為：

當(dāng)且僅當(dāng)：

點(diǎn) 在 的局部最小值中。

引理1：令 是一個(gè) 并且 是函數(shù) 的局部最小值點(diǎn)。則有：

證明：在 點(diǎn)進(jìn)行泰勒展開，則有：

進(jìn)一步化簡(jiǎn)可得：

如果 是局部最小值點(diǎn)，則有：

引理2：令 是一個(gè) 。對(duì)于所有的向量 有 ，則有：

證明：計(jì)算：

其中 表示是 的海森矩陣。因?yàn)? 是一個(gè) ，當(dāng) 時(shí)， 收斂到 。

將引理1代入到 ，存在點(diǎn) 有 ，，則：

其中 ，因?yàn)? 是連續(xù)的，則此時(shí)可知 。計(jì)算：

如果這個(gè)表達(dá)式對(duì)于收斂到 的所有 x 都是漸近非負(fù)的，對(duì)于任意的 ，有 ，定義 ：

因?yàn)? 是任意的，這意味著 是損失函數(shù) 的局部最小值。

實(shí)驗(yàn)設(shè)置

為了用 方法識(shí)別模型不可信的預(yù)測(cè)，首先為給定的樣本 ? 生成相應(yīng)的 。然后從 中計(jì)算簡(jiǎn)單的特征，并使用它們來(lái)訓(xùn)練樣本分布之外的點(diǎn)。對(duì)于給定的樣本 ，假設(shè) 是與神經(jīng)網(wǎng)絡(luò) 類的下標(biāo)索引。通過(guò)利用余弦相似矩陣 的對(duì)稱性，并可以觀察到該矩陣主對(duì)角線的元素都等于 。作者對(duì)兩個(gè)不同的集合 和 計(jì)算五個(gè)基本特征，分別是平均值、最大值、最小值、標(biāo)準(zhǔn)偏差和能量，其中 。

作者使用基于 的有目標(biāo)攻擊來(lái)最大化隨機(jī)目標(biāo)類的損失，這種攻擊可能導(dǎo)致所有其他類別的相似顯著圖，因?yàn)楣魧?yōu)化輸入，使目標(biāo)類別的損失達(dá)到局部最小值。作者利用均方誤差和分類交叉熵?fù)p失來(lái)攻擊。對(duì)所有目標(biāo)攻擊使用了相同的步長(zhǎng) 和 100 次攻擊迭代。作者添加余弦相似度目標(biāo)來(lái)優(yōu)化對(duì)抗擾動(dòng)，使得所有非預(yù)測(cè)類 對(duì)齊。余弦相似度目標(biāo)的損失由下式給出：

實(shí)驗(yàn)結(jié)果

如下表所示，在 ，，， 中對(duì)于不同 OOD 數(shù)據(jù)和對(duì)抗攻擊中所有數(shù)值的真實(shí)陽(yáng)性率為 95%。可以發(fā)現(xiàn)，論文中所提出的 GGA 方法對(duì)所有攻擊都表現(xiàn)出較高的識(shí)別性能。

如下表所示，所提出的 方法對(duì)所有自適應(yīng)攻擊都表現(xiàn)出很高的識(shí)別性能。有目標(biāo)的 PGD 攻擊比無(wú)目標(biāo)的 PGD 攻擊成功率高。使用 交叉熵?fù)p失進(jìn)行目標(biāo)攻擊更有效。通過(guò)余弦相似性攻擊 ，可以成功地增加余弦相似性矩陣中非預(yù)測(cè)類之間的余弦相似性。

余弦相似度目標(biāo)的權(quán)重越高，錯(cuò)誤分類越少，反之亦然。 攻擊只能導(dǎo)致分別對(duì) 、 和 數(shù)據(jù)集的 10000 個(gè)樣本中的 561、1354 和 857 個(gè)樣本進(jìn)行錯(cuò)誤分類。相比之下，無(wú)目標(biāo)和有目標(biāo) 攻擊的成功率為 100%，導(dǎo)致所有數(shù)據(jù)集的 10000 幅圖像全部被錯(cuò)誤分類。

如下圖所示，分類器的預(yù)測(cè)標(biāo)簽是彩色編碼的，其中橙色的部分對(duì)應(yīng)于真實(shí)類別，而藍(lán)色的部分對(duì)應(yīng)于對(duì)抗攻擊后預(yù)測(cè)的類別。在決策邊界附近，當(dāng)不同類別的 之間的梯度方向開始發(fā)散時(shí)， 會(huì)發(fā)生特征波動(dòng)。由此可以看出， 的平均值是分類器決策的穩(wěn)定指標(biāo)。

如下表所示為使用的相同的對(duì)抗攻擊和異常數(shù)據(jù)的檢測(cè)性能，這些數(shù)據(jù)僅使用前 個(gè)預(yù)測(cè)進(jìn)行計(jì)算。可以發(fā)現(xiàn)即使只有5%的原始 用于計(jì)算 ，所有檢測(cè)任務(wù)的性能也僅略微下降。可以觀察到預(yù)測(cè)類別和非預(yù)測(cè)類別的梯度之間的余弦相似性對(duì)于檢測(cè)不可信的預(yù)測(cè)來(lái)說(shuō)是足夠的。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競(jìng)賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。

?????稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無(wú)版權(quán)問(wèn)題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競(jìng)爭(zhēng)力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來(lái)稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長(zhǎng)按添加PaperWeekly小編

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的几何梯度分析神经网络中不可信预测性的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。