文 |?Qs.Zhang張拳石@知乎

可解釋性研究一直有兩副嘴臉，一副烈火烹油繁花似錦，一副如履薄冰零丁洋里嘆零丁。

在2018年我開始發知乎是為了“活著”——被刷榜為王的風氣屢屢打擊之后，一朝中稿，倒過一口氣來，終于可以跟大家說一聲：看，在可視化之外，這也是可解釋性，也是一個研究方向。

可我沒想到，兩年后我需要繼續為了“活著”而繼續發知乎——如果研究僅僅停留在自圓其說的直覺層面，如果每種解釋都可以自圓其說，那么就不存在正確的解釋了，而且據我觀察這樣的文章的中稿率是很低的。

在這方面只有個別的扎實的研究，比如Shapley value，它為“正確的歸因熱圖”列出了看似不證自明但又很難實現的四大數學標準，它通過滿足這些性質或標準，來體現其解釋的嚴謹性。如果沒有理論保證其嚴謹性和客觀性，不把技術變成科學，那么解釋性研究遲早進退失據，砸了牌子，覆巢之下無完卵。當然了，在各種學術邀請報告上，還是需要端著第一副嘴臉。

不要誤會，這篇不是可解釋性勸退文，相反我對其有一半的信心：有可能一事無成，到頭來空發一些論文，也可能真正做出少許扎實的工作。這種半生半死的不成熟方向有時候是最精彩的，最有潛力的。可能因為我在學術方面還不夠刻薄，所以在自信和自省的人肉對抗訓練中，前者還沒有敗，還會堅持。

說到可解釋性的“客觀嚴謹性”，往往意味著“一般性”和“唯一性”，即“唯一標準的解釋”。

“一般性” 比較容易理解，就是說算法的建模方法要看上去更加標準，與前人理論有更多的連接，而不是針對特定情景的ad-hoc技術。

相比之下解釋的 “唯一性” 很少有人提及，或者有人不僅反問“憑什么是唯一的呢？”這里我們就要對“什么是好的解釋”提出一些限定性的要求，比如好的解釋必須滿足怎樣的條件，并對這些條件進行建模，這時“唯一性”就體現在滿足這些條件下的唯一解。往小了說，對解釋性的要求條件可以是Shapley value對應的四大公理；往大了說，對解釋性的要求也可以是解釋性指標的適用范圍，比如同一個指標可以“即解釋語義，又解釋泛化，還解釋遷移”。

跳出剛才的話題，現在讓我們面對整個解釋性領域。一個研究方向是否“活著”，或者是否“以后依然可持續活著”，不在于這個領域里面發表了多少篇論文，也不在于有多少引用，而是某個研究方向上還有多少本質的問題點沒有被數學建模沒有被解決（當然這里指的是扎實的建模，而不是刻意掛著某個新概念去炒作）。

歸根到底，我還是繞不開老朱的前瞻和影響，戰略科學家2015年一句“深度學習已經xx了”，足夠我消化十幾年——當一個人幫你把灌水的捷徑全部都堵死的時候，你需要從泥巴里硬刨出一條路，這可能才是學術要走的——雖然很可能死在半道上，早有了“自己的笑話自己看”的心理準備了。

前段臭文藝了，現在回到解釋性問題的原點。神經網絡可解釋性研究的初衷其實非常簡單，就是讓調參或煉丹式的神經網絡訓練和設計得到理論指導，讓神經網絡所建模的信息得到可靠性的檢驗。但是，這樣的初衷所帶來的研究難度也是非常大的，簡要來說，一個可靠的可解釋性研究需要同時滿足以下幾個要求。

需要對解釋目標進行直接的理論建模，而不是基于直覺提出間接的解釋算法。

需要定量的解釋結果，而非定性的解釋結果。

需要對解釋結果的客觀性（或嚴謹性）給出評測，或者證明。而不是僅僅要求解釋結果從直覺上看上去好看。

對于很多新興解釋性問題，有時候我們無法給出直接的評測，或者神經網絡的ground-truth。這時，需要通過更加扎實的理論體系來證明，數學建模的嚴謹性。

• 比如，Shapley value的嚴謹性是通過它滿足四大公理來保證的。類似地，你的建模方法也需要滿足大量的公理，或者展現出很好的性質，來體現此解釋性建模方法的嚴謹性。

• 再比如，不同解釋性算法或者解釋性指標之間，如果可以做到相互印證，這樣的解釋往往是更加嚴謹的。

解釋性理論需要有外延應用上的推導，需要在現實應用中，解釋各種現象，或者可以直接反饋指導神經網絡的設計和訓練。

簡單總結一下，可解釋性不僅僅需要“實驗評測”語義，更需要“理論解釋并建模”語義背后的“信息處理機理”，打通“直覺上的語義”與“數學建模”的壁壘，打通“數學上的泛化邊界”與“符號化語義/知識表達”間的壁壘。讓解釋性變成扎實一些的研究。不把基礎打扎實了，領域的聲譽就壞掉了。

“數學上的泛化邊界”或叫“神經網絡的表達能力”都是目前學界研究的新突破口，只可惜大部分研究沒有把現有理論和語義解釋統一構建在同一個體系。目前在可解釋性領域中，各種算法理論往往都是零丁洋里一個個破碎零丁小點，沒有連接起來，沒有相互印證。沒多少人嘆零丁，更沒多少人填海。

另一方面，上述要求都是讓人崩潰的，需要從頭學從頭補，漫無邊際拍腦袋。這兩年失敗了不知多少次。如果做不出來，我可以去工業界“不如回家賣紅薯”，但是學生們都要發論文畢業的，我就沒有后退的理由了。雖然常常被我批評，但是很多學生都是非常優秀的，很多自覺跟隨的學生一直996，經歷了很多失敗的嘗試，即使做出些東西也未必會被主流認可。這些不是他們的年紀必須承受的，我也無法補償，所以希望大家關注一下他們的成果。我感覺幾年后他們中一些人是可以成長起來的。

當然了，后面講的一些研究都是學生們最近剛剛做的，理論還不牢固，證明中還是需要很多的近似假設，離真正的目標還差得很遠。

總的來說，《神經網絡的交互可解釋性》主要介紹了我們課題組近期五篇論文中的研究內容，基于博弈論來定義、建模、量化神經網絡所建模的變量交互效應，推導相應的定理體系，并基于此博弈交互作用來定量解釋神經網絡所建模的不同語義類型，在知識表達層面解釋對抗攻擊的效用和神經網絡的泛化能力。

神經網絡可解釋性研究需要更多的數學工具和豐富的證明，需要新的體系，需要體系中不同研究間的相互印證，需要在數學層面將網絡結構與知識表達關聯起來，需要將知識表達與模型性能關聯起來。以上種種，都是這些研究的初衷，但遠遠不是幾篇文章可以解決的問題。

目前的成果只是前期的探索，還遠遠稱不上什么體系。寄蜉蝣于天地，渺滄海之一粟。哀吾生之須臾，羨長江之無窮。獨上高樓，望盡天涯路。

文章體系

一、前言，漂在零丁洋里的體系

二、博弈交互概念、定義、定理、推論、與計算

• 動機：建模知識，連接性能

• 背景基礎Shapley value

• 雙變元博弈交互

• 多變元博弈交互，及其近似計算

• 多階博弈交互

• 相關定理與推論

• 自然語言交互樹

三、博弈交互與知識表達的關系

• 為何要對視覺語義進行建模

• 局部紋理特征、全局紋理特征、組成部分半信息特征，組成部分全信息特征的建模

• 語義特征的泛化性

四、博弈交互與對抗攻擊的關系，推導證明與實驗

• 證明博弈交互與對抗遷移性的負相關關系

• 推導證明多個前人遷移性增強算法可近似歸納解釋為對博弈交互的抑制

• 交互損失函數與遷移性的增強

五、博弈交互與泛化能力的關系，推導證明與實驗

• 探索交互強度與泛化能力的關系

• 證明Dropout對交互強度的抑制

• 交互強度損失函數與泛化能力的提升

下面僅介紹第四、第五兩章

博弈交互與對抗攻擊的關系

大家好，我們是王鑫和任潔，是張拳石老師@Qs.Zhang張拳石 的博二、博一的學生。“博弈交互與對抗攻擊的關系”的研究是在張老師的指導下，我們共同牽頭領導完成的。
對應論文 Xin Wang, Jie Ren（共一）, Shuyun Lin, Xiangming Zhu, Yisen Wang, Quanshi Zhang, “A Unified Approach to Interpreting and Boosting Adversarial Transferability” in ICLR 2021

本研究包括以下三個方面。

• 我們提出并驗證了對抗擾動單元間博弈交互與對抗遷移性的負相關關系。

• 我們推導證明了前人的多種遷移性增強算法可以近似歸納解釋為對這種博弈交互的抑制。

• 我們提出一個損失函數在攻擊過程中直接抑制博弈交互，從而增強對抗遷移性。實驗證明，該損失函數在各種設定下均能夠顯著提高對抗擾動的可遷移性。在大多數情況下，相對于對比組，加上抑制博弈交互損失函數后所產生的對抗樣本的可遷移性提升一般都在10%以上。進一步地，我們將能降低博弈交互的攻擊方法進行組合。在我們的實驗中，該方法將所產生的對抗樣本的可遷移性由48.9%~98.5%提升至了69.8%~99.1%。

博弈交互與對抗遷移性的負相關關系

近年來，深度神經網絡的對抗訓練越來越受到關注，很多研究使用在源DNN上生成的擾動攻擊其他目標DNN，探討了對抗擾動的可遷移性，并提出了許多方法增強對抗擾動的可遷移性。但是在前人研究中，這些方法提高遷移性的內在機理仍不清楚。

本研究從對抗擾動內部的博弈交互這一新的角度，解釋對抗擾動的可遷移性，基本思路如下：

首先，我們定義了對抗擾動內部的博弈交互值。

其次，我們推導證明了多步對抗攻擊得到的對抗擾動往往比單步攻擊得到的對抗擾動顯示出更強的博弈交互作用。根據文獻[1]，比起單步攻擊的對抗擾動，多步攻擊產生的對抗擾動往往更容易過擬合源DNN的參數，且可遷移性較低。我們認為復雜的博弈交互反映了對抗擾動對源DNN的過擬合，從而損傷了其在目標網絡中的可遷移性。

因此，我們提出假設：對抗擾動的遷移性與其內部的博弈交互是負相關的。我們進一步通過理論（近似）證明和比較實驗驗證了這一假設。

交互值的定義：我們定義了對抗擾動內部的博弈交互，即基于Shapley Value量化對抗擾動不同單元間的博弈交互值。給定一個輸入x，用δ表示對抗攻擊在樣本x上生成的擾動。δ往往通過優化下面的損失函數得到。

其中??表示分類損失函數。

對于擾動向量δ，我們用Ω={1,2, …, n}表示其中的元素全集，δi表示第個像素上的擾動值，稱為擾動單元。對抗擾動δ的對抗效用被定義為：

我們基于博弈論中的沙普利值（Shapley value）定義兩兩對抗擾動單元之間的博弈交互作用（對博弈交互的詳細的定義與討論，請見第二章）。對于每個對抗擾動單元??，基于Shapley Value計算其對對抗效用Transfer Utility的貢獻度，表示為??。進一步，定義擾動單元和之間的博弈交互為：

其中第一項表示將i, j視為一個整體??時，對對抗效用的總貢獻值, 這時，δi和δj總是同時存在，或同時不存在，因此可以認為此時共有n-1個對抗單元，即??。

第二項為對抗擾動??不存在時，對抗擾動單元對對抗效用的總貢獻值。

第三項為對抗擾動不存在時，對抗擾動單元對對抗效用的總貢獻值。

如果?，說明i，j在一起能獲得比各自單獨貢獻時更大的貢獻值。這是一種1+1>2的效應，代表i，j之間存在正的交互作用。如果，說明在一起能獲得貢獻值反而比各自單獨貢獻時更小。這是一種1+1<2的效應，代表i，j之間存在負的交互作用。

提出假設：基于上述定義，我們提出并（近似）證明了以下proposition。

Proposition 1 表明，一般情況下，與單步攻擊相比，多步攻擊產生的對抗擾動傾向于表現出更強的博弈交互。直觀來看，較強的博弈交互意味著擾動單元之間的緊密聯系，這表明擾動向量對源DNN存在明顯的過擬合。文獻[1]指出多步攻擊往往使產生的對抗擾動更容易過擬合，從而導致可遷移性較低。因此，我們提出假設：對抗擾動的可遷移性與其內部的博弈交互呈負相關。

驗證一： 我們通過實驗比較了可遷移性較弱的對抗擾動和可遷移性較強的對抗擾動的博弈交互, 驗證了這一負相關關系。基于ImageNet數據集，我們在ResNet-34/152(RN-34/152)和DenseNet-121/201(DN-121/201)上分別產生對抗擾動，并將ResNets上產生的擾動遷移到DenseNets中，將DenseNets上產生的擾動遷移到ResNets中。圖1顯示了對抗遷移性與博弈交互之間的負相關關系，其中橫軸表示對抗擾動內部的博弈交互強度，縱軸表示該對抗擾動在目標DNN上的的對抗效用。

推導證明多個前人遷移性增強算法可近似歸納解釋為對博弈交互的抑制

驗證二： 對抗擾動的可遷移性與博弈交互之間的負相關性，可以視為一種統一的角度去解釋目前的遷移性增強算法的內在機理。即，我們分析并（近似）證明了以下三種遷移性增強算法實質上降低了對抗擾動內的博弈交互。與此同時，這些研究也間接驗證了對抗擾動的可遷移性與博弈交互之間的負相關性。

（1）Variance-Reduced Attack (VR Attack) [2]

詳細內容和證明可見論文以及附加材料。

（2）Momentum Iterative Attack (MI Attack) [3]

詳細內容和證明可見論文以及附加材料。

Proposition 2 和 Proposition 3 證明了一般情況下，VR Attack 和MI Attack 相較于普通的多步攻擊，都能夠降低對抗擾動的博弈交互。

（3）Skip Gradient Method (SGM Attack) [4]

SGM Attack利用ResNets中skip-connections的梯度信息來提高對抗擾動的可遷移性。SGM Attack修改了反向傳播中的梯度，可以將其視為在反向傳播中添加了Dropout操作。我們證明了Dropout操作可以降低博弈交互的顯著度（詳情見本文的第五章），從而降低DNN的過擬合。因此，這也證明SGM Attack降低了對抗擾動內的博弈交互。

除了以上理論證明，我們還設計了實驗驗證，比較了以上攻擊方法產生的擾動與baseline攻擊[5]產生的擾動，結果證明以上攻擊方法顯著降低了對抗擾動的博弈交互。

交互損失函數與遷移性的增強

驗證三： 基于以上發現，我們提出了博弈交互損失函數，通過在攻擊過程中降低擾動單元間的博弈交互，提高對抗擾動的可遷移性。基于以下公式，我們同時優化分類損失函數和博弈交互損失函數來生成對抗擾動，該方法被稱為Interaction-Reduced Attack (IR Attack)。

實驗結果表明，博弈交互損失函數可以顯著提高對抗擾動的可遷移性，達到目前最優的遷移性能。在大多數情況下，相對于對比組，加上抑制博弈交互損失函數后所產生的對抗樣本的可遷移性提升都在10%以上。進一步的，我們將能降低博弈交互的攻擊方法進行組合。在我們的實驗中，該方法將所產生的對抗樣本的可遷移性由48.9%~98.5%提升至了69.8%~99.1%。

同時，交互損失函數對遷移性的提升也間接驗證了對抗擾動的可遷移性與博弈交互之間的負相關性。

實驗結果

基于ImageNet數據集，在AlexNet，VGG-16等六種源DNN上，我們使用IR Attack生成對抗擾動并將其遷移到VGG-16，ResNet-152等7種目標DNN上。此外，我們還將IR Attack應用到ensemble-based attack中，如表1所示。與baseline attack [5]相比，IR Attack在各種源DNN和目標DNN上都顯著提升了對抗擾動的可遷移性。

以上實驗中的目標DNN都是未經過對抗訓練的unsecured DNNs，我們還在經過對抗訓練的secured DNNs上對IR Attack產生的對抗擾動的可遷移性進行了測試，其中Translation invariant attack (TI Attack) [6]是議中專門針對目標神經網絡為對抗訓練后的secured DNNs的攻擊方法，我們在TI Attack的基礎上加入博弈交互損失函數得到TI+IR Attack，結果如表2所示。博弈交互損失函數也提升了針對secured DNNs的可遷移性。

我們進一步將博弈交互損失函數和其他降低交互作用的攻擊方法進行結合。如上文提到的，MI Attack，VR Attack，SGM Attack這三種方法都在降低擾動單元之間的博弈交互。并且，SGM Attack是目前遷移性能最好的攻擊方法，我們將博弈交互損失函數作為一種降低博弈交互的工具，添加到SGM Attack中，以進一步提高對抗遷移性。

值得注意的是，interaction loss只是降低博弈交互的一種直接手段，我們可以將以上可以降低擾動間博弈交互的攻擊方法結合到一起去共同降低擾動間的博弈交互，以進一步提高對抗遷移性。因此，我們提出了HybridIR Attack（MI+VR+SGM+IR Attack）。

此外，我們還測試了IR Attack中博弈交互損失函數的權重對可遷移性的影響，圖3(a) 顯示了對抗擾動的可遷移性隨博弈交互損失函數的權重λ增加而增加。說明在一定范圍內， 對抗擾動的可遷移性時隨內部博弈交互的降低而增大的，這反映了對抗擾動的可遷移性與其內部的博弈交互的負相關性。

我們還發現一個現象，即使在不使用分類損失函數，即僅使用博弈交互損失函數，所產生的擾動也具有一定的遷移性。為了進一步研究博弈交互損失函數的影響，我們僅通過博弈交互損失函數來生成對抗擾動，而不使用分類損失函數。圖3(b) 表明這樣生成的對抗擾動仍然具有一定的可遷移性。這可能是由于這些對抗擾動會減少DNN中正常的博弈交互，從而破壞了用于推理的正常pattern。

【作者】

王鑫：上海交通大學博士二年級，師從張拳石副教授。xinwang98.github.io/

任潔：上海交通大學博士一年級，師從張拳石副教授。jie-ren.github.io/

林澍昀：上海交通大學大四本科生，現在張拳石實驗室進行實習研究。

朱祥明：上海交通大學大三本科生，現在張拳石實驗室進行實習研究。

王奕森：北京大學研究員/助理教授。http://www.cis.pku.edu.cn/info/1084/1637.htm

張拳石：上海交通大學副教授，博士生導師。http://qszhang.com

博弈交互與泛化能力的關系

對應論文：Hao Zhang, Sen Li, Yinchao Ma, Mingjie Li, Yichen Xie, Quanshi Zhang, “Interpreting and Boosting Dropout from a Game-Theoretic View” in ICLR 2021.

大家好，我叫張昊（https://haozhang37.github.io），是張拳石老師@Qs.Zhang張拳石 的學生，今年碩士一年級。“博弈交互與泛化能力的關系，證明與實驗”的研究是在張老師的指導下，我跟課題組中李森、馬銀超、李明杰等同學共同完成的。

在本課題中，我們

（1）發現過擬合的樣本中往往建模了更強的博弈交互；
（2）證明了dropout對于博弈交互強度的抑制；
（3）提出了博弈交互損失函數，能夠進一步提升神經網絡的泛化能力。

相比于傳統的Dropout，交互損失函數能更加顯式地控制對交互強度的懲罰，在網絡訓練過程中實現從過擬合到欠擬合的精確控制，并且克服了dropout和batch normalization的不兼容問題。

探索交互強度與泛化能力的關系——過擬合的樣本往往包含了更多的博弈交互

在本課題中，我們將從博弈交互的角度對dropout的效用進行解釋與建模，并提出了dropout的替代算法，能夠更好地發揮dropout的效用。

首先，我們將研究神經網絡的泛化能力與網絡所建模的博弈交互之間的關系。在這里，我們使用的是第二章中所定義的雙變元博弈交互。給定一個神經網絡，?(i)表示在博弈論中定義的某一個輸入變量i的重要性（Shapley值）。兩個輸入變量i和j之間博弈交互值I(i,j)被定義為當變量j存在時和當變量j不存在時，??的變化量，即??。

博弈交互的具體計算方式請參考原論文或第二章。若變量j的存在能夠讓變量i的重要性增加，即二者可以達到1+1>2的效果，那么變量i、j之間的博弈交互為正。否則，二者會有1+1<2的效果，此時二者之間的博弈交互為負。博弈交互值的絕對值可視為博弈交互的強度。下圖對神經網絡所建模的雙變元博弈交互的強度（交互值的絕對值）進行了可視化。人面部的格子往往與周邊格子的博弈交互更大。

進一步地，I(i,j)能夠被分解為不同階的博弈交互分量，如下：

其中Δf(S,i,j)=f(S∪{i,j})-f(S∪{i})-f(S∪{j})+f(S)。s表示像素i、j之外的背景中像素的多少。當背景中有較多的像素時，s較大，此時i和j之間的博弈交互可以視作高階的博弈交互，當背景中的像素數量較少時，s較小，i和j之間的博弈交互為低階的博弈交互。關于上式的推導和多階博弈交互的更多討論，請參考原文或第二章。

我們通過實驗發現，在分類任務中，過擬合的樣本往往包含了更多的博弈交互,而正常的樣本中博弈交互較小。

證明Dropout對交互強度的抑制

接下來，我們將證明dropout是一種能夠有效降低網絡建模的博弈交互的算法。

首先我們證明，輸入變量i與j之間的第s階的博弈交互可以拆分為不同子階的交互分量。

然后，我們證明Dropout操作可以降低全部子階分量的博弈交互強度，從而降低整體的交互強度。

同時，我們設計了一系列實驗，證明了dropout能夠有效降低神經網絡所建模的博弈交互。我們分別在有dropout和沒有dropout參與的情況下訓練神經網絡。如下圖所示，未使用dropout的神經網絡建模了更多的博弈交互。

交互強度損失函數與泛化能力的提升

基于上面的分析，我們設計了交互損失函數作為對dropout效用的提升。我們使用設計的交互損失函數訓練深度神經網絡，可以進一步提升網絡性能。加上原有的分類損失函數，總的損失函數如下：

其中λ>0是交互損失函數的權重。

和dropout相比，我們提出的交互損失函數有如下優勢：

第一，交互損失函數能通過調整權重λ，更加顯式地控制對交互強度的懲罰。這樣的顯式控制能夠在網絡訓練過程中平衡好過擬合和欠擬合。我們在實驗中比較dropout和交互損失函數降低交互的強度，實驗結果驗證了我們的結論。

第二，由于dropout和batch normalization的不兼容性，一般不能在使用了bn的網絡中使用dropout [1]。相較而言，交互損失函數和bn是兼容的。我們的實驗結果也驗證了交互損失函數和bn的兼容性。

在實驗中，我們使用交互強度損失函數訓練了多個神經網絡進行分類任務，并嘗試了不同的權重。

下表給出了使用不同權重的交互損失函數訓練的網絡的準確率和使用dropout訓練的網絡的準確率。

從表中可以看出，一開始隨著權重的不斷增大，準確率也不斷增大，當權重增大到一定程度再繼續增大的時候準確率開始下降。這可能是因為當權重比較小的時候，交互損失函數能消除過擬合的影響；當權重大到一定程度的時候，又會造成欠擬合。此外，當選取合適的權重的時候，使用交互損失函數訓練的網絡的準確率一般會超過使用dropout訓練的網絡。這表明交互損失函數能夠提升dropout的效用。

下圖展示了使用不同權重交互損失函數的網絡在訓練過程中交互強度和準確率的變化曲線。

首先，我們發現隨著權重的增大，交互強度不斷減小，這驗證了交互損失函數的有效性。其次，當權重選擇合理時，使用交互損失函數訓練的網絡的性能一般會超過使用dropout訓練的網絡的性能，可見，交互損失比dropout更能有效地降低交互強度和提升網絡性能。

此外，我們還探究了神經網絡中適合加入交互損失/dropout的位置。如下表所示，交互損失更適合加在低的卷積層。而dropout對于使用的位置并沒有一個明顯的傾向性。

綜上所述，相比dropout，交互損失有兩個優勢。一方面，交互損失能夠更有效地控制網絡建模的過擬合/欠擬合程度，而dropout無法顯式地控制。此外，和dropout不同，交互損失和bn兼容。相較而言，交互損失沒有因bn的使用降低分類準確率。

【作者】

張昊：上海交通大學碩士一年級，師從張拳石副教授。https://haozhang37.github.io

李森：中山大學，2019年本科畢業，現在張拳石實驗室進行實習研究。
馬銀超：華中科技大學大四本科生，現在張拳石實驗室進行實習研究。
李明杰：上海交通大學大四本科生，現在張拳石實驗室進行實習研究。
謝熠辰：上海交通大學大四本科生，現在張拳石實驗室進行實習研究。
張拳石：上海交通大學副教授，博士生導師。qszhang.com

后臺回復關鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺回復關鍵詞【頂會】

獲取ACL、CIKM等各大頂會論文集！

?

[1] Cihang Xie, Zhishuai Zhang, Yuyin Zhou, Song Bai, Jianyu Wang, Zhou Ren, and Alan L Yuille. Improving transferability of adversarial examples with input diversity. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2730–2739, 2019.

[2] Lei Wu, Zhanxing Zhu, and Cheng Tai. Understanding and enhancing the transferability of adversarial examples. arXiv preprint arXiv:1802.09707, 2018.

[3] Yinpeng Dong, Fangzhou Liao, Tianyu Pang, Hang Su, Xiaolin Hu, Jianguo Li , and Jun Zhu. Boosting adversarial attacks with momentum. In CVPR, 2018.

[4] Dongxian Wu, Yisen Wang, Shu-Tao Xia, James Bailey, and Xingjun Ma. Skip connections matter: On the transferability of adversarial examples generated with resnets. In International Conference on Learning Representations, 2020.

[5] Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt, Dimitris Tsipras, and Adrian Vladu. Towards deep learning models resistant to adversarial attacks. In ICLR, 2018.

[6] Yinpeng Dong, Tianyu Pang, Hang Su, and Jun Zhu. Evading defenses to transferable adversarial examples by translation-invariant attacks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 4312–4321, 2019.

[7] ?Xiang Li, Shuo Chen, Xiaolin Hu, and Jian Yang. Understanding the disharmony between dropout and batch normalization by variance shift. In CVPR, pp. 2682–2690, 2019.

總結

以上是生活随笔為你收集整理的上海交大张拳石：神经网络的变量交互可解释性研究的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。