?PaperWeekly 原創(chuàng) ·?作者｜孫裕道

學(xué)校｜北京郵電大學(xué)博士生

研究方向｜GAN圖像生成、情緒對抗樣本生成

論文標題：Quantifying (Hyper) Parameter Leakage in Machine Learning

論文鏈接：https://arxiv.org/abs/1910.14409

引言

AI 模型廣泛應(yīng)用于各種多媒體應(yīng)用中，在云計算上作為一種按需查詢付費的黑盒服務(wù)提供給用戶。這樣的黑盒模型對對手具有商業(yè)價值，所以會對專有模型進行反向工程，從而侵犯模型隱私和知識產(chǎn)權(quán)。對手會通過側(cè)信道泄漏提取模型架構(gòu)或超參數(shù)，在合成數(shù)據(jù)集上訓(xùn)練重構(gòu)架構(gòu)來竊取目標模型的功能。

核心思想

本文提出了一種新的概率框架 AIRAVATA 來估計模型抽取攻擊中的信息泄漏。該框架抓住了由于實驗的不確定性提取精確的目標模型是困難的事實，同時推斷模型的超參數(shù)和隨機性質(zhì)的訓(xùn)練竊取目標模型的功能。

本文使用貝葉斯網(wǎng)絡(luò)來捕捉在基于主觀概率概念的各種提取攻擊下目標模型估計的不確定性。該論文提供了一個實用的工具來推斷有關(guān)提取黑盒模型的可操作細節(jié)，并幫助確定最佳攻擊組合，從而最大限度地從目標模型中提取（或泄漏）知識。

AIRAVATA框架

本文所提出的 AIRAVATA 框架將各種攻擊和推斷的模型屬性表示為具有因果關(guān)系的隨機變量。如果對手選擇了攻擊，那么攻擊變量與貝葉斯網(wǎng)絡(luò)中推斷出的相應(yīng)屬性之間存在聯(lián)系。AIRAVATA 框架的有效性分析在現(xiàn)實中具有一定的適用性。

下圖顯示了 AIRVATA 框架的細節(jié)，攻擊節(jié)點位于頂層，然后是推斷屬性，最后是對手提取的目標知識。模型知識（最后一層）是假設(shè)變量，其值與我們的問題有關(guān)。攻擊節(jié)點（頂層）是被觀測到的信息變量，并影響假設(shè)變量的概率分布。信息變量通過代表推斷屬性的中間變量（中間層）與假設(shè)變量相連。

3.1 攻擊變量

AIRAVATA 框架下的模型根據(jù)攻擊需求（對手模型）和推斷屬性的相似性將攻擊分成不同的隨機變量。

3.1.1 StealFunction

“StealFunction” 節(jié)點捕獲這些攻擊，并能夠推斷學(xué)習(xí)目標中使用的超參數(shù)以及估計模型參數(shù)的值。給定大量的輸入輸出對 ，根據(jù)已知變量求解未知變量的超定方程組，從目標函數(shù)中估計正則化超參數(shù)，而且所有的攻擊在使用主動學(xué)習(xí)或?qū)铣蓴?shù)據(jù)的模型進行再訓(xùn)練屬于功能竊取范疇。

3.1.2 ML vs ML

機器學(xué)習(xí)模型可以訓(xùn)練成根據(jù)輸入輸出預(yù)測模型的屬性。由于攻擊使用 ML 模型，因此在正確預(yù)測模型屬性時存在不確定性和誤差。這些攻擊被抽象到貝葉斯網(wǎng)絡(luò)中的 MLvsML 節(jié)點中，并推斷出層的數(shù)目、激活的類型、每層的參數(shù)數(shù)目和層的類型。

3.1.3 TimingSC

對于不了解目標模型的弱對手，可以通過計算網(wǎng)絡(luò)的總執(zhí)行時間來推斷層數(shù)。該攻擊基于在一個層中的所有節(jié)點被并行計算的思想，而所有層都是按順序計算的，因此總的執(zhí)行時間與層的數(shù)目密切相關(guān)。在該框架中，這種攻擊被捕獲在節(jié)點 “TimingSC” 中，并且只推斷神經(jīng)網(wǎng)絡(luò)的層數(shù)。

3.1.4 HardwareSC

對硬件進行物理訪問的對手可以在模型在硬件上執(zhí)行期間監(jiān)視內(nèi)存訪問模式（內(nèi)存?zhèn)韧ǖ?#xff09;，并利用進程之間的共享資源提取進程詳細信息（緩存?zhèn)韧ǖ?#xff09;。

其他硬件詳細信息（如硬件性能計數(shù)器、緩存未命中和數(shù)據(jù)流）顯示了重要的內(nèi)部模型詳細信息。所有這些攻擊抽象為“硬件”節(jié)點，有助于推斷層數(shù)、激活類型、每層參數(shù)數(shù)和層類型。這與 “MLvsML” 相似，但是由于更強的對手模型，推斷出的信息更細粒度和更準確。

3.1.5 PowerSC

在硬件上執(zhí)行神經(jīng)網(wǎng)絡(luò)的過程中，一個強大的對手可以訪問目標硬件的物理地址，可以監(jiān)視消耗的功率來提取有關(guān)應(yīng)用程序的信息。給定功耗軌跡，攻擊者使用差分功率分析、相關(guān)功率分析和水平功率分析等算法推斷目標黑盒模型細節(jié)。

這在框架內(nèi)被建模為 “PowerSC” 節(jié)點，并在成功執(zhí)行后，幫助對手推斷每層中的參數(shù)數(shù)目、參數(shù)值、總層數(shù)和激活函數(shù)的類型。

3.2 推斷模型屬性

神經(jīng)網(wǎng)絡(luò)有一個很大的超參數(shù)空間，每個超參數(shù)可以取不同范圍的可能值。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)細節(jié)在決定性能方面起著重要的作用。

• ObjHyperParam：訓(xùn)練神經(jīng)網(wǎng)絡(luò)的目標函數(shù)需要學(xué)習(xí)速率和動量等多個超參數(shù)來控制參數(shù)的更新，而權(quán)值衰減則可以提高泛化能力。損失函數(shù)的選擇和優(yōu)化技術(shù)決定了模型的性能。

• Depth：神經(jīng)網(wǎng)絡(luò)越深，性能就越高，因為 ML 社區(qū)一直致力于將神經(jīng)網(wǎng)絡(luò)擴展到大量的層。

• Nodes：每層參數(shù)的個數(shù)和模型深度影響神經(jīng)網(wǎng)絡(luò)的復(fù)雜度，進而影響網(wǎng)絡(luò)的性能。

• Activation：激活函數(shù)的類型 ReLU、Sigmoid 或 Tanh 將每個節(jié)點的個中間矩陣向量計算映射到一個輸出值范圍。

• LayerType：卷積層、maxpool 層或全連通層在決定計算復(fù)雜度和性能方面起著重要作用。

3.3 提取模型知識

對于不同的攻擊，所提出的模型需要捕獲的知識提取程度不同。模型屬性為 ，其中 ，攻擊變量為 ，其中 。目的是推斷假設(shè)隨機變量，即知識提取度 K。最終的知識估計 是給定了了攻擊的手段 情況下，假設(shè)隨機變量 的概率。

在選擇不同的攻擊變量時，根據(jù)影響或關(guān)聯(lián)的屬性數(shù) 將最終提取的知識分為三類。

這些是在推斷目標模型的不同屬性時，根據(jù)搜索空間范圍而選擇的主觀閾值。攻擊變量反過來影響中間信息變量（模型屬性）的概率分布，影響“模型知識”的最終概率分布。

通過變量消去法進行推理后估計出的假設(shè)變量的合成概率，來評估不同的攻擊組合，可以利用所獲得的知識來概率推斷模型信息泄漏。

實驗結(jié)果

4.1 Adversary 1

假設(shè)貝葉斯網(wǎng)絡(luò)模型捕捉了隨機變量之間的聯(lián)合概率分布，根據(jù)提取到的知識的可信度，對模型進行查詢，以判斷不同攻擊的有效性。在對手 1 的情況下，假設(shè)對手很弱，并且只能對目標模型的遠程 API 訪問。

對手可以向目標模型發(fā)送查詢（輸入圖像）并得到相應(yīng)的輸出預(yù)測。對手只能依靠遠程執(zhí)行攻擊，包括：TimingSC、MLvsML 和 StealFunction 攻擊，這些攻擊可以根據(jù)各自的威脅模型進行遠程部署。

對應(yīng)于對手 1 的遠程黑盒設(shè)置提取的知識概率如上表所示，與 MLvsML 相比，TimingSC 和 tealFunction 攻擊所推斷的屬性更少，相應(yīng)的提取“低”知識的置信度分別為 0.7681 和 0.7272。而對于像 MLvsML 這樣的強黑盒攻擊，所提取的知識被歸類為“中等”，其信念得分為 0.7983。

StealFunction 攻擊通常是在推斷目標模型屬性以獲得近似體系結(jié)構(gòu)之后執(zhí)行的。對于第 2 行（表 1）中的單個攻擊的具體情況，考慮的是由對手選擇的隨機架構(gòu)。

4.2 Adversary 2

在對手 2 中假設(shè)一個更強的對手可以物理訪問執(zhí)行神經(jīng)網(wǎng)絡(luò)的硬件。然而，對手沒有 API 訪問權(quán)限來查詢模型，因此可以分析基于邊信道的超參數(shù)推斷攻擊。對手可以通過監(jiān)視硬件在執(zhí)行神經(jīng)網(wǎng)絡(luò)期間消耗的功率來執(zhí)行基于硬件的側(cè)信道攻擊，例如緩存?zhèn)刃诺馈⒋鎯ζ髟L問模式和功率側(cè)信道。

與獨立執(zhí)行攻擊相比，使用 HardwareSC 和 PowerSC 相結(jié)合的信念改善并不顯著。從這一點可以推斷，這兩種攻擊在從目標模型中提取知識方面同樣強大。

然而，結(jié)合這兩種攻擊，會發(fā)現(xiàn)對“高”知識的總體信念從 0.1024 增加到 0.1166。與 HardwareSC 和 MLvsML 攻擊相比，PowerSC 對于“中等”知識提取（0.8181 到 0.7983）有更高的信念。

4.3 Adversary 3

第三個設(shè)置是 AIRAVATA 框架的一部分，對手有物理訪問硬件和遠程 API 查詢模型。這個假設(shè)的設(shè)置允許將來自上述兩個設(shè)置的攻擊結(jié)合起來，以估計提取目標模型知識的總體信念。

如上表所示，將不同的攻擊組合在一起，對目標模型提取“高”知識的最大置信度為 0.7354。通過選擇其他攻擊的仔細組合，可以推斷出相同的知識水平。

參考文獻

[1] M. S. Alvim, K. Chatzikokolakis, C. Palamidessi, and G. Smith, “Measuring information leakage using generalized gain functions,” in 2012 IEEE 25th Computer Security Foundations Symposium, June 2012, pp.265–279.?

[2] X. An, D. Jutla, and N. Cercone, “Privacy intrusion detection using dynamic bayesian networks,” in Proceedings of the 8th International Conference on Electronic Commerce.?

[3] E. T. Axelrad, P . J. Sticha, O. Brdiczka, and J. Shen, “A bayesian network model for predicting insider threats,” in 2013 IEEE Security and Privacy Workshops, May 2013, pp. 82–89.?

[4] L. Batina, S. Bhasin, D. Jap, and S. Picek, “Csi neural network: Using side-channels to recover your artificial neural network information,” Cryptology ePrint Archive, Report 2018/477, 2018, https://eprint.iacr.org/2018/477.

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認每篇文章都是首發(fā)，均會添加“原創(chuàng)”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發(fā)送?

? 請留下即時聯(lián)系方式（微信或手機），以便我們在編輯發(fā)布時和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的AIRAVATA：量化机器学习中的参数泄露的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。