導(dǎo)讀：

Te road reaches every place, the short cut only one”— James Richardson

見(jiàn)路不走：現(xiàn)在有很多大師都告訴別人要去照抄別人，有的大師告訴別人不要去照抄別人，這兩種說(shuō)法都不全面，首先要分析事物發(fā)生的本質(zhì)，然后再采取相應(yīng)的方式?- 天幕紅塵

深度學(xué)習(xí)面對(duì)的問(wèn)題其實(shí)是同一個(gè)問(wèn)題

人工智能會(huì)很快取代放射科醫(yī)生嗎？最近，研究人員訓(xùn)練了一個(gè)深層神經(jīng)網(wǎng)絡(luò)來(lái)分類(lèi)乳腺癌，達(dá)到了85% 的性能。當(dāng)與其他三種神經(jīng)網(wǎng)絡(luò)模型結(jié)合使用時(shí)，最終的集成方法的分類(lèi)準(zhǔn)確率達(dá)到了99% ，可與經(jīng)過(guò)多年訓(xùn)練的放射科專(zhuān)家相媲美。

上面描述的結(jié)果是真實(shí)的，只是有一個(gè)小小的改變: 研究人員沒(méi)有使用最先進(jìn)的人工深層神經(jīng)網(wǎng)絡(luò)，而是訓(xùn)練“自然”神經(jīng)網(wǎng)絡(luò)——更準(zhǔn)確地說(shuō)，一群四只鴿子——來(lái)診斷乳腺癌。

然而，令人驚訝的是，鴿子從未被視為醫(yī)學(xué)成像的未來(lái)，大公司還沒(méi)有投資數(shù)十億建立大規(guī)模的鴿子養(yǎng)殖場(chǎng): 我們對(duì)鴿子的期望與我們對(duì)深層神經(jīng)網(wǎng)絡(luò)(DNN)的期望相比有些蒼白。

在許多方面，DNN確實(shí)不負(fù)眾望: 它們?cè)谏鐣?huì)、工業(yè)和科學(xué)領(lǐng)域的成功故事是不可否認(rèn)的，新的突破仍然在幾個(gè)月，甚至幾周內(nèi)發(fā)生。然而，緩慢而穩(wěn)定地，失敗案例一直在積累: DNN在識(shí)別物體方面達(dá)到超人的表現(xiàn)，但即使是微小的無(wú)形變化或不同的背景環(huán)境都能夠完全破壞預(yù)測(cè)。

DNN 可以為一張圖片生成一個(gè)看似合理的標(biāo)題，但令人擔(dān)憂(yōu)的是，他們可以這樣做，而不需要真正地看這張圖片。DNN 可以準(zhǔn)確地識(shí)別人臉，但是對(duì)于少數(shù)族群的人臉，它們顯示出很高的錯(cuò)誤率。DNN 可以根據(jù)簡(jiǎn)歷預(yù)測(cè)招聘決策，但是算法的決策偏向于選擇男性。

一方面超人的表現(xiàn)，另一方面驚人的失敗，兩者之間的差異如何調(diào)和？正如自然機(jī)器智能中的“深度神經(jīng)網(wǎng)絡(luò)中的捷徑(shortcut)學(xué)習(xí)”一文中所論述的，并在本文中詳細(xì)闡述的，許多失敗案例并不是獨(dú)立的現(xiàn)象，而是在某種意義上相互關(guān)聯(lián)的，即DNN 遵循意想不到的“捷徑”策略。雖然表面上很成功，但是這些策略在稍微不同的情況下通常會(huì)失敗。

捷徑學(xué)習(xí)不是一個(gè)新奇的現(xiàn)象:，它有很多別名，例如“協(xié)變量轉(zhuǎn)移下的學(xué)習(xí)”、“反因果學(xué)習(xí)”、“數(shù)據(jù)集偏見(jiàn)”、“坦克傳奇”和“聰明漢斯效應(yīng)”。我們?cè)谶@里討論捷徑學(xué)習(xí)如何統(tǒng)一許多深度學(xué)習(xí)的問(wèn)題，以及我們可以做什么來(lái)更好地理解和減輕捷徑學(xué)習(xí)。

什么是捷徑？

在機(jī)器學(xué)習(xí)中，模型可以學(xué)習(xí)的解決方案受到數(shù)據(jù)、模型結(jié)構(gòu)、優(yōu)化器和目標(biāo)函數(shù)的約束。然而，這些約束通常不允許單一的解決方案: 通常有許多不同的方法來(lái)解決一個(gè)問(wèn)題。捷徑是指在典型的測(cè)試環(huán)境中表現(xiàn)良好，但在不同情況下失敗的解決方案，它揭示了與我們的意圖不匹配的問(wèn)題。

舉個(gè)例子，當(dāng)用一個(gè)簡(jiǎn)單的星星和月亮的數(shù)據(jù)集(頂行)訓(xùn)練時(shí)，一個(gè)標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)(三層，完全連接)可以很容易地對(duì)新的類(lèi)似例子進(jìn)行分類(lèi)(數(shù)學(xué)上稱(chēng)為 iid測(cè)試集)。然而，在略有不同的數(shù)據(jù)集(ood test set)上進(jìn)行測(cè)試揭示了一種快捷策略: 網(wǎng)絡(luò)已經(jīng)學(xué)會(huì)了將對(duì)象位置與類(lèi)別關(guān)聯(lián)起來(lái)。

在訓(xùn)練過(guò)程中，恒星總是出現(xiàn)在圖片的左上角或者左下角; 衛(wèi)星則出現(xiàn)在左上角或者右下角。這種模式仍然存在于iid 測(cè)試集(中間一行)的樣本中，但不存在于 ood測(cè)試圖像(下面一行)中，從而暴露了快捷方式。

這里最重要的觀點(diǎn)是，在訓(xùn)練設(shè)置約束下，位置和形狀都是有效的解決方案，因此沒(méi)有理由期望神經(jīng)網(wǎng)絡(luò)更喜歡其中一個(gè)。然而，人類(lèi)對(duì)于使用物體形狀有著強(qiáng)烈的直覺(jué)。正如這個(gè)例子可能看起來(lái)不自然的，對(duì)抗性的例子，有偏見(jiàn)的機(jī)器學(xué)習(xí)模型，領(lǐng)域泛化的缺乏，以及輸入略有改變的失敗都可以被理解為同一個(gè)潛在現(xiàn)象的實(shí)例: 捷徑學(xué)習(xí)。

例如，研究人員開(kāi)發(fā)了一種機(jī)器分類(lèi)器，能夠成功地從許多醫(yī)院的 x 光掃描中檢測(cè)出肺炎，但是在新醫(yī)院的掃描中，其性能卻出人意料地低: 該模型出人意料地以近乎完美的準(zhǔn)確度識(shí)別出特定的醫(yī)院系統(tǒng)(例如，通過(guò)檢測(cè)掃描上的醫(yī)院特有的金屬標(biāo)記，見(jiàn)左)。再加上醫(yī)院的肺炎患病率，在訓(xùn)練期間，它能夠做出相當(dāng)好的預(yù)測(cè)——而對(duì)肺炎完全沒(méi)有了解。分類(lèi)器沒(méi)有學(xué)習(xí)“理解”肺炎，而是選擇了最簡(jiǎn)單的解決方案，并且只考慮token類(lèi)型。

深度學(xué)習(xí)之外的捷徑學(xué)習(xí)

通常這種失敗可以作為機(jī)器學(xué)習(xí)算法不值得信任的例子。然而，生物學(xué)習(xí)者也遭受非常相似的故障模式。在牛津大學(xué)實(shí)驗(yàn)室的一項(xiàng)實(shí)驗(yàn)中，研究人員觀察到老鼠學(xué)會(huì)了通過(guò)一個(gè)復(fù)雜的迷宮，這個(gè)迷宮顯然是基于細(xì)微的顏色差異。考慮到老鼠的視網(wǎng)膜最多只能支持原始的顏色視覺(jué)，這個(gè)實(shí)驗(yàn)非常令人驚訝。對(duì)這一奇怪發(fā)現(xiàn)的深入研究表明，老鼠欺騙了研究人員: 他們?cè)趯?shí)驗(yàn)中根本沒(méi)有使用他們的視覺(jué)系統(tǒng)，而是簡(jiǎn)單地根據(jù)迷宮墻壁上顏色油漆的氣味來(lái)區(qū)分顏色。一旦控制了嗅覺(jué)，這種顯著的辨別顏色的能力就消失了。

動(dòng)物經(jīng)常通過(guò)解決一個(gè)實(shí)驗(yàn)范例(即數(shù)據(jù)集) ，以一種意想不到的方式欺騙實(shí)驗(yàn)者，而不使用人們實(shí)際上感興趣的潛在能力。這凸顯了人類(lèi)想象用人類(lèi)以外的方式來(lái)解決一個(gè)艱難的挑戰(zhàn)是多么難以置信的困難: 當(dāng)然，在實(shí)施層面上，老鼠和人類(lèi)的膚色歧視之間可能存在差異。但是在算法層面，通常有一個(gè)默認(rèn)的假設(shè)，即類(lèi)似人的性能意味著類(lèi)似人的策略(或算法)。

這種“相同的策略假設(shè)”與深度學(xué)習(xí)并行: 即使 DNN 單位不同于生物神經(jīng)元，如果 DNN 成功地識(shí)別物體，那么很自然地假設(shè)它們像人類(lèi)一樣使用物體形狀。因此，我們需要區(qū)分?jǐn)?shù)據(jù)集上的性能和獲得某種能力之間的區(qū)別，并且在將“對(duì)象識(shí)別”或“語(yǔ)言理解”之類(lèi)的高級(jí)能力歸屬于機(jī)器之前，要格外小心，因?yàn)橥ǔＳ幸粋€(gè)更簡(jiǎn)單的解釋:

永遠(yuǎn)不要把那些可以通過(guò)捷徑學(xué)習(xí)得到充分解釋的能力歸因于高水平的能力。

捷徑學(xué)習(xí)需要改變我們衡量進(jìn)步的方式

從歷史上看，機(jī)器學(xué)習(xí)研究是由基準(zhǔn)驅(qū)動(dòng)的，這些基準(zhǔn)通過(guò)在固定的任務(wù)和數(shù)據(jù)集的組合上對(duì)算法進(jìn)行評(píng)估，使算法具有可比性。這種模式在很短的時(shí)間內(nèi)使這個(gè)領(lǐng)域取得了巨大的進(jìn)展。但這并非沒(méi)有缺點(diǎn)。其中一個(gè)影響就是，它給研究人員創(chuàng)造了強(qiáng)大的動(dòng)力，促使他們更多地關(guān)注于改進(jìn)現(xiàn)有基準(zhǔn)的新算法的開(kāi)發(fā)，而不是理解他們的算法或基準(zhǔn)。這種對(duì)理解的忽視是為什么捷徑學(xué)習(xí)成為深度學(xué)習(xí)中如此普遍的問(wèn)題的部分原因。

讓我們來(lái)看一個(gè)突出的例子: ImageNet 數(shù)據(jù)集和挑戰(zhàn)創(chuàng)建于2009年，作為一種新的方式來(lái)衡量在物體識(shí)別，算法識(shí)別和分類(lèi)物體的能力。由于其巨大的規(guī)模 ImageNet 提出了自己作為一個(gè)未解決的問(wèn)題的規(guī)模，沒(méi)有人敢于解決以前。它的多樣性和規(guī)模為當(dāng)前的深度學(xué)習(xí)革命鋪平了道路。

他們2012年的論文論證了帶有學(xué)習(xí)權(quán)重的深層神經(jīng)網(wǎng)絡(luò)是唯一適合處理這種復(fù)雜性的(與當(dāng)時(shí)流行的使用手工特征進(jìn)行圖像分析的方法形成對(duì)比)。在接下來(lái)的幾年里，ImageNet 成為了進(jìn)步和性能的驅(qū)動(dòng)力，在 ImageNet 基準(zhǔn)與計(jì)算機(jī)視覺(jué)的進(jìn)步同義。

直到最近幾年，隨著越來(lái)越多的 DNN 失效案例的出現(xiàn)，這種情況才開(kāi)始慢慢改變。所有這些失敗案例背后的一個(gè)主要原因是，盡管 ImageNet 的規(guī)模和多樣性不需要真正的對(duì)象識(shí)別，也就是說(shuō)模型必須正確識(shí)別和分類(lèi)我們用作標(biāo)簽的前景對(duì)象。相反，在許多情況下，物體同樣可以很好地通過(guò)它們的背景、紋理或其他一些人類(lèi)不太明顯的捷徑來(lái)識(shí)別。如果背景比場(chǎng)景中的主要對(duì)象更容易識(shí)別，那么網(wǎng)絡(luò)通常會(huì)利用這一點(diǎn)進(jìn)行分類(lèi)。

這種行為的后果在普遍意義上是顯著的失敗。請(qǐng)看下面的圖表。在左邊有一些方向，人們期望一個(gè)模型能夠概括。無(wú)論是手繪的黑白照片還是彩色照片上的門(mén)牌號(hào)碼，五都是五。同樣，姿勢(shì)、紋理或背景的輕微扭曲或變化不會(huì)影響我們對(duì)圖像中主要對(duì)象的預(yù)測(cè)。相比之下，一個(gè) DNN 可以很容易地被他們所有愚弄。有趣的是，這并不意味著 DNN 不能一概而論: 事實(shí)上，他們完美地概括了，盡管方向?qū)θ祟?lèi)來(lái)說(shuō)幾乎沒(méi)有意義。下面圖片的右側(cè)顯示了一些例子，從可理解的圖片到完全不可理解的圖片。

導(dǎo)致捷徑學(xué)習(xí)和隨之而來(lái)的泛化失敗的關(guān)鍵問(wèn)題是，我們對(duì)任務(wù)的理解和它實(shí)際上激勵(lì)模型學(xué)習(xí)的東西之間存在差異。我們?nèi)绾尉徍瓦@個(gè)問(wèn)題，并提供對(duì)捷徑學(xué)習(xí)的洞察力？目前大多數(shù)基準(zhǔn)測(cè)試的一個(gè)主要缺點(diǎn)是，它們測(cè)試的圖像與訓(xùn)練期間使用的數(shù)據(jù)分布相同。這種類(lèi)型的評(píng)估只需要一種較弱的概括形式。然而，我們需要的是與我們的直覺(jué)大致相符的強(qiáng)大的概括能力。為了測(cè)試這些，我們需要良好的非分布測(cè)試(o.o.d. 測(cè)試) ，它們具有明確的分布偏移、定義良好的預(yù)期解決方案，并解釋模型學(xué)習(xí)捷徑的方式。

但它并不止于此: 隨著模型越來(lái)越好，它們將學(xué)會(huì)利用更微妙的捷徑，所以我們?cè)O(shè)想 ood 基準(zhǔn)隨著時(shí)間的推移不斷發(fā)展，朝著越來(lái)越強(qiáng)大的測(cè)試。這種類(lèi)型的“滾動(dòng)基準(zhǔn)”可以確保我們?cè)谀Ｐ烷_(kāi)發(fā)過(guò)程中不會(huì)失去最初的目標(biāo)，而是不斷重新集中精力解決我們實(shí)際關(guān)心的潛在問(wèn)題，同時(shí)增加我們對(duì)建模管道和快捷學(xué)習(xí)之間的相互作用的理解。

偏愛(ài)理解之路勝過(guò)捷徑，但是怎么做呢？

科學(xué)的目的在于理解。雖然深度學(xué)習(xí)作為一個(gè)工程學(xué)科在過(guò)去的幾年里取得了巨大的進(jìn)步，但是深度學(xué)習(xí)作為一個(gè)科學(xué)學(xué)科在理解支配機(jī)器如何從數(shù)據(jù)中提取模式的原則和限制方面仍然落后。加深對(duì)如何減少捷徑學(xué)習(xí)的理解，超越了當(dāng)前機(jī)器學(xué)習(xí)的應(yīng)用領(lǐng)域，未來(lái)可能會(huì)產(chǎn)生有趣的機(jī)會(huì)與經(jīng)濟(jì)學(xué)(設(shè)計(jì)不會(huì)因獎(jiǎng)勵(lì)意外的“捷徑”行為而危及長(zhǎng)期成功的管理激勵(lì)措施)或法律(創(chuàng)造沒(méi)有“漏洞”捷徑機(jī)會(huì)的法律)等其它學(xué)科交叉融合。

然而，重要的是要指出，我們可能永遠(yuǎn)不會(huì)完全解決捷徑學(xué)習(xí)。模型的決策總是基于不完全的信息，因此泛化失敗應(yīng)該是預(yù)料之中的: 捷徑學(xué)習(xí)的失敗是常態(tài)，而不是例外。為了增加我們對(duì)捷徑學(xué)習(xí)的理解，甚至可能減少捷徑學(xué)習(xí)的實(shí)例，我們提供以下五點(diǎn)建議:

1 連點(diǎn)成線: 快捷學(xué)習(xí)是無(wú)處不在的

無(wú)論是生物學(xué)還是人工學(xué)習(xí)，快捷學(xué)習(xí)似乎是學(xué)習(xí)系統(tǒng)的一個(gè)普遍特征。深度學(xué)習(xí)的許多問(wèn)題都是通過(guò)快捷學(xué)習(xí)聯(lián)系在一起的——模型利用數(shù)據(jù)集的快捷機(jī)會(huì)，只選擇少數(shù)幾個(gè)預(yù)測(cè)特征，而沒(méi)有仔細(xì)考慮所有可用的證據(jù)，從而遭受意想不到的泛化失敗。在受影響的領(lǐng)域之間“連接點(diǎn)”可能會(huì)促進(jìn)進(jìn)展，并且取得進(jìn)展可以在各種應(yīng)用程序領(lǐng)域產(chǎn)生非常有價(jià)值的影響。

2 認(rèn)真詮釋結(jié)果

發(fā)現(xiàn)快捷方式通常可以揭示看似復(fù)雜數(shù)據(jù)集的簡(jiǎn)單解決方案的存在。我們認(rèn)為，在將“物體識(shí)別”或“語(yǔ)言理解”等高級(jí)能力賦予機(jī)器之前，我們需要非常謹(jǐn)慎，因?yàn)橥ǔＳ幸粋€(gè)更簡(jiǎn)單的解釋。

3 測(cè)試ood數(shù)據(jù)

在iid測(cè)試數(shù)據(jù)上評(píng)估模型性能(就像大多數(shù)當(dāng)前基準(zhǔn)測(cè)試那樣)不足以區(qū)分預(yù)期的和非預(yù)期的(快捷)解決方案。因此，ood 普通化測(cè)試將需要成為規(guī)則，而不是例外。

4 理解什么使解決方案易于學(xué)習(xí)

DNN 總是學(xué)習(xí)一個(gè)問(wèn)題最簡(jiǎn)單的可能的解決方案，但要理解哪些解決方案是容易的(因此可能被學(xué)習(xí)) ，需要分離結(jié)構(gòu)(體系結(jié)構(gòu))、經(jīng)驗(yàn)(培訓(xùn)數(shù)據(jù))、目標(biāo)(損失函數(shù))和學(xué)習(xí)(優(yōu)化)的影響，以及對(duì)這些因素之間的相互作用的徹底理解。

5 首先問(wèn)一個(gè)任務(wù)是否應(yīng)該被解決

捷徑的存在意味著，無(wú)論任務(wù)是否得到充分證實(shí)，DNN 通常都會(huì)找到解決辦法。例如，他們可能會(huì)嘗試從敏感的人口統(tǒng)計(jì)數(shù)據(jù)(比如皮膚顏色或種族)或者膚淺的外表性別來(lái)評(píng)估信用評(píng)分。這是令人擔(dān)憂(yōu)的，因?yàn)樗赡軙?huì)加強(qiáng)錯(cuò)誤的假設(shè)和有問(wèn)題的權(quán)力關(guān)系時(shí)，應(yīng)用機(jī)器學(xué)習(xí)的模糊界定或有害的任務(wù)。快捷鍵可以讓這些有問(wèn)題的任務(wù)看起來(lái)完全可以解決。

然而，DNN 處理高性能任務(wù)或基準(zhǔn)的能力永遠(yuǎn)不能證明任務(wù)的存在或基本假設(shè)是正確的。因此，在評(píng)估一項(xiàng)任務(wù)是否可以解決時(shí)，我們首先需要問(wèn): 它應(yīng)該被解決嗎？如果是這樣，這個(gè)問(wèn)題應(yīng)該由人工智能來(lái)解決嗎？

快捷學(xué)習(xí)解釋了當(dāng)前機(jī)器學(xué)習(xí)模型和人類(lèi)智能之間一些最具代表性的區(qū)別——但具有諷刺意味的是，正是這種對(duì)“作弊”的偏好使得神經(jīng)網(wǎng)絡(luò)看起來(lái)幾乎像人類(lèi): 誰(shuí)從來(lái)沒(méi)有通過(guò)記憶考試材料來(lái)抄近路，而不是投入時(shí)間去真正理解？誰(shuí)從來(lái)沒(méi)有試圖找到一個(gè)規(guī)定的漏洞，而不是堅(jiān)持其精神？歸根結(jié)底，神經(jīng)網(wǎng)絡(luò)或許與懶惰的人類(lèi)并沒(méi)有太大的不同

全文翻譯自：https://thegradient.pub/shortcuts-neural-networks-love-to-cheat/

論文原文：Shortcut learning in deep neural networks

更多閱讀

用深層神經(jīng)網(wǎng)絡(luò)解釋大腦的運(yùn)作

經(jīng)由因果分析，反駁AI監(jiān)控學(xué)生上課，及辨別健康類(lèi)謠言

總結(jié)

以上是生活随笔為你收集整理的dnn神经网络 缺点_抄近路神经网络如何因找捷径而犯错的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。