机器学习模型脆弱性和安全性的提议
AI Conference in Beijing
最后機會：AI Conference 2019?北京站門票正在熱銷中，機不可失！
編者注：文中超鏈接如果不能訪問可以點擊“閱讀原文”訪問本文原頁面；查看2019年6月18日至21日在北京舉行的人工智能大會上的相關(guān)議題。
和許多人一樣，我已經(jīng)知道機器學(xué)習(xí)模型本身可能會帶來安全風(fēng)險。最近大量的博文和論文概述了這一內(nèi)容廣泛的主題，列舉出了攻擊方法和一些漏洞，開始提出了防御的解決方案，并為本文提供了必要的框架。本文的目標(biāo)是在流行的、傳統(tǒng)的預(yù)測建模系統(tǒng)（如基于靜態(tài)數(shù)據(jù)集訓(xùn)練的線性和樹型模型）的上下文中，對潛在的安全漏洞和防御方法進(jìn)行頭腦風(fēng)暴。雖然我不是安全專家，但我一直在密切關(guān)注機器學(xué)習(xí)的調(diào)試、解釋、公平性、可解釋性和隱私等領(lǐng)域。我認(rèn)為這些領(lǐng)域中的許多技術(shù)可以應(yīng)用于攻擊和防御預(yù)測性模型系統(tǒng)。
為了進(jìn)一步推動安全專家和應(yīng)用機器學(xué)習(xí)社區(qū)里的實踐者（比如我）之間的討論，這篇文章對通常機構(gòu)運用的典型機器學(xué)習(xí)系統(tǒng)提出幾個可能的攻擊方向，給出可能的防御解決方案，并討論一些常見的關(guān)注點和潛在的最佳實踐。
1.?數(shù)據(jù)投毒攻擊
數(shù)據(jù)投毒是指有人系統(tǒng)地更改訓(xùn)練數(shù)據(jù)以操縱模型的預(yù)測。數(shù)據(jù)投毒攻擊也被稱為“誘發(fā)性”攻擊。為了在數(shù)據(jù)里投毒，攻擊者必須能夠訪問到部分或全部訓(xùn)練數(shù)據(jù)。在許多公司，很多不同的員工、顧問和外包人員是能訪問到數(shù)據(jù)的，而且很少有監(jiān)管。懷有惡意的外部人員也可能通過未授權(quán)途徑訪問部分或全部訓(xùn)練數(shù)據(jù)并投毒。非常直接的數(shù)據(jù)投毒攻擊可能是更改訓(xùn)練數(shù)據(jù)集的標(biāo)簽。因此，無論你的模型用于什么商業(yè)應(yīng)用，攻擊者都可以從模型的預(yù)測中獲益 。例如，通過更改標(biāo)簽，以便讓模型學(xué)會給像攻擊者這樣的人獎勵大額貸款、大額折扣或低保險費。強迫你的模型對攻擊者的利益做出錯誤預(yù)測有時被稱為模型“完整性”的破壞。攻擊者也可能使用數(shù)據(jù)投毒來讓訓(xùn)練出來的模型故意歧視一群人，剝奪他們應(yīng)得的大額貸款、更大的折扣或更低的保費。這就類似于對模型本身的拒絕服務(wù)（DOS）攻擊。強制模型進(jìn)行錯誤預(yù)測以傷害他人有時會被稱為破壞模型的“可用性”。雖將看起來通過更改數(shù)據(jù)集行里面的值來進(jìn)行數(shù)據(jù)投毒可能更簡單，但數(shù)據(jù)投毒也可以通過在數(shù)據(jù)集上添加看似無害或多余的列來進(jìn)行。然后，更改這些列中的值可以觸發(fā)模型預(yù)測的變化。
現(xiàn)在，讓我們討論對于數(shù)據(jù)投毒的一些潛在防御和取證的解決方案：
差異影響分析：許多銀行已經(jīng)出于公平借貸目的進(jìn)行了差異影響分析，以確定他們的模型是否以歧視的方式對待不同類型的人。 然而許多其他機構(gòu)還沒有這么做。差異影響分析可能會發(fā)現(xiàn)模型預(yù)測中的故意歧視。有幾種很好的開源工具可用于檢測歧視和差異影響分析，例如Aequitas、Themis和AIF360。
公平或隱私模型：學(xué)習(xí)公平表示（LFR）和教師模型全體的隱私聚合（PATE）等模型試圖更少關(guān)注個人人口統(tǒng)計特征以進(jìn)行預(yù)測。這些模型也不太容易受到歧視性數(shù)據(jù)投毒攻擊。
拒絕負(fù)面影響（RONI）：RONI是一種從訓(xùn)練數(shù)據(jù)集中刪除會降低預(yù)測精度的數(shù)據(jù)行的技術(shù)。有關(guān)RONI的更多信息，請參見第8節(jié)中的第一篇論文”機器學(xué)習(xí)安全性“。
殘差分析：在模型預(yù)測的殘差中尋找奇怪的、明顯的模式，特別是對于員工、顧問或外包人員。
自我檢查：用模型對員工、顧問和外包人員打分，并尋找異常好的預(yù)測。
差異影響分析、殘差分析和自我檢查可以在訓(xùn)練時間進(jìn)行，也可以作為實時模型監(jiān)測活動的一部分。
2. 水印攻擊
水印是從深度學(xué)習(xí)安全文獻(xiàn)中借用的術(shù)語，通常是指將特殊像素放入圖像中以觸發(fā)期望的模型預(yù)測結(jié)果。完全有可能對客戶或交易數(shù)據(jù)做同樣的事情。考慮到這種情況，即員工、顧問、外包人員或惡意外部人員可以接觸到進(jìn)行實時預(yù)測的模型的生產(chǎn)代碼。這些人可以改變該代碼以識別輸入變量值的奇怪或不可能的組合從而觸發(fā)期望的預(yù)測結(jié)果。與數(shù)據(jù)投毒一樣，水印攻擊可用于攻擊模型的完整性或可用性。例如，為了攻擊模型的完整性，有惡意的內(nèi)部人員可以將一些代碼插入到模型的生產(chǎn)評分代碼中，從而讓代碼可以識別0歲至99歲年齡的組合，以觸發(fā)對他們自己或其同謀的某種有益的預(yù)測結(jié)果。為了破壞模型的可用性，攻擊者可以在模型的評分代碼中插入一個人為的、歧視性的規(guī)則，從而不讓模型為某一類人產(chǎn)生正面的結(jié)果。
對水印攻擊的防御和取證方法可能包括：
異常檢測：自動編碼器是一種欺詐檢測模型，可以識別奇怪或異于其他輸入數(shù)據(jù)的輸入數(shù)據(jù)，但用的是更復(fù)雜的方式。自動編碼器有可能捕獲用于觸發(fā)惡意機制的任何水印。
數(shù)據(jù)完整性約束：許多數(shù)據(jù)庫不允許輸入變量的奇怪或不切實際的組合，這可能會阻止水印攻擊。對實時傳入數(shù)據(jù)流使用數(shù)據(jù)完整性約束可以有相同的好處。
差異影響分析：見第1節(jié)。
版本控制：就像任何其他任務(wù)關(guān)鍵型軟件資產(chǎn)一樣，生產(chǎn)模型的評分代碼應(yīng)該受到管理和版本控制。
異常檢測、數(shù)據(jù)完整性約束和差異影響分析可以在訓(xùn)練時使用，也可以作為實時模型監(jiān)控活動的一部分。
3.?由代理模型反推
反推通常是指將未經(jīng)授權(quán)的信息從模型中取出，而不是正常的將信息輸入模型中。反推也可以被認(rèn)為是“探索性逆向工程”攻擊的一個例子。如果攻擊者可以從模型API或其他端點（網(wǎng)站、應(yīng)用程序等）獲取許多預(yù)測，他們就可以訓(xùn)練自己的代理模型。簡而言之，就是對你的預(yù)測模型進(jìn)行模擬！攻擊者可以預(yù)謀利用它們用于生成接收到的預(yù)測的輸入和接收到的預(yù)測本身來訓(xùn)練這個代理模型。根據(jù)他們可以接收的預(yù)測數(shù)量，代理模型可以成為實際模型的精確模擬。一旦代理模型被訓(xùn)練出來，那么攻擊者就有一個沙箱，可以利用它假冒（即“模仿”）或?qū)箻颖竟裟愕哪Ｐ偷耐暾浴；蛘咚麄兙途邆淞酥亟舾械挠?xùn)練數(shù)據(jù)方面的潛在能力。如ProPublica對COMPAS再犯模型所做的那樣，也可以使用一些和你的模型相似的外部數(shù)據(jù)源來訓(xùn)練代理模型。
想要避免你的模型受到代理模型反推的攻擊，請考慮以下方法：
授權(quán)訪問：需要其他身份驗證（例如2FA）才能接收預(yù)測。
節(jié)流預(yù)測：限制單個用戶的大量的快速預(yù)測; 同時考慮人為增加預(yù)測延遲。
白帽代理模型：作為一種白帽黑入練習(xí)，試試這個方法：對輸入和生產(chǎn)模型的預(yù)測之間訓(xùn)練自己的替代模型，并仔細(xì)觀察：
不同類型的白帽代理模型的準(zhǔn)確性界限; 試圖去發(fā)現(xiàn)代理模型能真正被用于學(xué)習(xí)到模型里不想被發(fā)現(xiàn)的知識的程度有多大。
可以通過白帽代理模型學(xué)習(xí)得到的數(shù)據(jù)趨勢，如由線性模型系數(shù)所代表的線性趨勢。
通過分析分配給某些白帽代理決策樹節(jié)點的個體數(shù)量可以學(xué)習(xí)得到的分段類型或人口統(tǒng)計的分布。
可以從白帽代理決策樹中學(xué)習(xí)到的規(guī)則。例如，如何可靠地冒充一個能獲得有益預(yù)測的人。
4. 對抗樣本攻擊
一個有想法的攻擊者理論上可以通過反復(fù)試錯（即“探索”或“敏感性分析”）、代理模型反推或社會工程來學(xué)習(xí)如何攻擊模型以獲得他們期望的預(yù)測結(jié)果或避免不想要的結(jié)果。專門為此目的設(shè)計一行數(shù)據(jù)來進(jìn)行攻擊被稱為對抗性樣本攻擊（有時也被稱為“探索完整性”攻擊）。攻擊者可以使用對抗樣本攻擊來為自己獲得大額的貸款或更低的保險費，甚至避免由于高犯罪風(fēng)險評分而被拒絕假釋。有些人可能把使用對抗樣本來避免模型預(yù)測的不良后果叫做“遁逃”。
嘗試下面列出的技術(shù)來防御或確認(rèn)是否受到對抗樣本攻擊：
激活分析：激活分析需要對預(yù)測模型的內(nèi)部機制進(jìn)行基準(zhǔn)測試，例如神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的平均激活或隨機森林中每個葉節(jié)點分配樣本的比例。 然后將該信息與模型行為在傳入的真實數(shù)據(jù)流上進(jìn)行比較。正如我的一位同事所說，“這就像看到隨機森林中的一個葉子節(jié)點對應(yīng)于0.1％的訓(xùn)練數(shù)據(jù)，但是在一小時內(nèi)就達(dá)到了75％的生產(chǎn)得分”。這樣的模式可能就是對抗性樣本攻擊的證明。
異常檢測：見第2節(jié)。
授權(quán)訪問：見第3節(jié)。
基準(zhǔn)模型：除了更復(fù)雜的模型，可以在對新數(shù)據(jù)打分時使用高度透明的基準(zhǔn)模型。可解釋的模型被認(rèn)為更難以入侵，因為它們的機制是直接透明的。在對新數(shù)據(jù)進(jìn)行評分時，將新的時髦的機器學(xué)習(xí)模型與受信任的透明模型或在受信任數(shù)據(jù)源和管道上訓(xùn)練的模型進(jìn)行比較。如果更復(fù)雜和不透明的機器學(xué)習(xí)模型與可解釋或可信模型之間的差異太大，則應(yīng)該回退到保守模型的預(yù)測或?qū)?shù)據(jù)進(jìn)行手動處理。同時還應(yīng)該記錄這個事件，因為它可能是一次對抗樣本攻擊。
節(jié)流預(yù)測：見第3節(jié)。
白帽敏感性分析：自己使用敏感性分析進(jìn)行探索性攻擊，以了解哪些變量值（或其組合）可能導(dǎo)致預(yù)測中出現(xiàn)大幅波動。在對新數(shù)據(jù)評分時屏蔽這些值或值的組合。你可能會發(fā)現(xiàn)開源軟件包cleverhans對進(jìn)行白帽探索性分析很有幫助。
白帽代理模型：見第3節(jié)。
激活分析和基準(zhǔn)模型可以在訓(xùn)練時使用，也可以作為實時模型監(jiān)控活動的一部分。
5.?模擬
有想法的攻擊者可以再次通過反復(fù)試驗、代理模型反推或社會工程來學(xué)習(xí)到輸入的類型或個人可獲得期望的預(yù)測結(jié)果。然后攻擊者可以模擬這種輸入或個體以從模型得到他們期望的預(yù)測結(jié)果。模仿攻擊有時也被稱為“仿真”攻擊。從模型的角度來看類似身份盜竊。就像對抗樣本攻擊一樣，模仿攻擊涉及人為地更改給模型的輸入值。與對抗樣本攻擊不同，模仿攻擊可以使用可能的隨機組合的輸入數(shù)據(jù)值來欺騙模型。模仿意味著使用與另一個建模實體相關(guān)的信息（例如定罪、客戶、員工、金融交易、患者、產(chǎn)品等）來獲取模型與該類型實體關(guān)聯(lián)的預(yù)測。例如，攻擊者可以了解到模型與大幅折扣相關(guān)聯(lián)的特征（例如住在賭場為大客戶準(zhǔn)備的房間），然后偽造信息以獲得相同的折扣。他們還可以與他人分享他們的策略，這可能會給相關(guān)公司帶來巨大的損失。
如果你使用的是兩階段模型，請注意“過敏”攻擊。 攻擊者可能冒充模型第一階段的正常輸入數(shù)據(jù)行以攻擊模型的第二階段部分。
模仿攻擊的防御和取證方法可能包括：
激活分析：見第4節(jié)。
授權(quán)訪問：見第3節(jié)。
篩選重復(fù)項：降維空間里使用自動編碼器、多維縮放（MDS）或類似的降維技術(shù)里，在評分時跟蹤模型所處理的相似的記錄的數(shù)量。 如果在某段時間內(nèi)遇到太多類似的行，請采取糾正措施。
安全感知功能：在管道中保留一個功能，例如num_similar_queries。當(dāng)首次訓(xùn)練或部署模型時它可能并沒有用，但可以在評分時（或在未來的模型再訓(xùn)練期間）來使獲得模型或管道的安全感知。例如，如果在評分時間內(nèi)，num_similar_queries的值大于零，則可以發(fā)送評分請求給人工監(jiān)督。將來在重新訓(xùn)練模型時，就可以教它為輸入數(shù)據(jù)行提供高num_similar_queries值的負(fù)向預(yù)測結(jié)果。
激活分析、篩選重復(fù)項和安全感知功能可以在訓(xùn)練時使用，也可以作為實時模型監(jiān)控活動的一部分。
6.普遍性的問題
幾種常見的機器學(xué)習(xí)使用模式也帶來了更普遍的安全問題。
黑箱和不必要的復(fù)雜性：盡管可解釋模型和模型可解釋性的最新發(fā)展給準(zhǔn)確且透明的非線性分類器和回歸器提供了使用機會，但許多機器學(xué)習(xí)工作流仍然是以黑箱模型為核心。在典型的商業(yè)機器學(xué)習(xí)工作流程中，這種黑盒模型通常只是一種不必要的復(fù)雜性。其他可能有害的復(fù)雜性例子有過于奇特的特征或大量的包依賴。由于至少兩個原因，這種復(fù)雜性可能會帶來下述問題：
1.隨著時間的推移，一個專注的、有想法的攻擊者可以比你或你的團隊更了解你們過于復(fù)雜的黑盒模型系統(tǒng)，特別是在今天火爆且流動性大的數(shù)據(jù)“科學(xué)”市場中。為達(dá)到這個目的，他們可以使用許多新的模型無關(guān)的解釋技術(shù)和老派的敏感性分析，以及許多其他更常見的黑客工具。 這種知識不平衡可能被用來進(jìn)行第1到5節(jié)中描述的攻擊或其他未知類型的攻擊。
2.研究和開發(fā)環(huán)境中的機器學(xué)習(xí)高度依賴于開源軟件的多樣化生態(tài)系統(tǒng)。其中一些軟件包有非常多的貢獻(xiàn)者和用戶。 有些包針對得非常具體，只對少數(shù)研究人員或從業(yè)者有用。眾所周知，很多軟件包都是由杰出的統(tǒng)計學(xué)家和機器學(xué)習(xí)研究人員維護(hù)的，他們主要關(guān)注的是數(shù)學(xué)或算法，而不是軟件工程，當(dāng)然也不是安全性。機器學(xué)習(xí)管道依賴于數(shù)十個甚至數(shù)百個外部程序包的情況并不罕見，其中任何一個外部程序包都可能被黑客入侵并隱藏攻擊代碼。
分布式系統(tǒng)和模型：無論好壞，我們都生活在大數(shù)據(jù)時代。許多機構(gòu)現(xiàn)在使用分布式數(shù)據(jù)處理和機器學(xué)習(xí)系統(tǒng)。在機器學(xué)習(xí)的場景下，分布式計算為惡意的內(nèi)部或外部人員提供了大量的攻擊機會。數(shù)據(jù)可能僅在大型分布式數(shù)據(jù)存儲或處理系統(tǒng)的一個或幾個工作節(jié)點上被投毒。用于加水印的后門可以被編碼成大型集成模型的一個模型。 現(xiàn)在從業(yè)者必須檢查分布在大型計算集群中的數(shù)據(jù)或模型，而不是只是調(diào)試一個簡單的數(shù)據(jù)集或模型。
分布式拒絕服務(wù)（DDOS）攻擊：如果預(yù)測模型服務(wù)對機構(gòu)的任務(wù)至關(guān)重要，請確保至少考慮過更常規(guī)的分布式拒絕服務(wù)攻擊，即攻擊者以驚人的大規(guī)模請求來延遲或停止合法用戶的預(yù)測，從而攻擊公開的預(yù)測服務(wù)。
7.一般性問題的解決辦法
一些傳統(tǒng)的和較新穎的通用最佳實踐可以被用來降低安全風(fēng)險，并能提高機器學(xué)習(xí)系統(tǒng)的公平性、可靠性、透明度和可信度。
授權(quán)訪問和預(yù)測限流：標(biāo)準(zhǔn)安全措施（如額外的身份驗證和限流）就能非常有效地阻止第1到5節(jié)中描述的許多攻擊方法。
基準(zhǔn)模型：較傳統(tǒng)的或可信的可解釋建模管道或其他高度透明的預(yù)測器可被用作基準(zhǔn)模型，可被用來測量新的模型的預(yù)測是否被某種方式操控了，比如數(shù)據(jù)投毒、水印攻擊或?qū)箻颖竟簟Ｈ绻阈湃蔚哪Ｐ偷念A(yù)測結(jié)果與更復(fù)雜和不透明模型的預(yù)測之間的差異太大，請記下這些案例，并讓人類分析師參與分析，或采取其他適當(dāng)?shù)娜∽C或補救措施。當(dāng)然，必須采取嚴(yán)格的預(yù)防措施以確保基準(zhǔn)模型和管道安全，并保持其原始可信狀態(tài)不變。
可解釋，公平或隱私模型：可以同時保證準(zhǔn)確性和可解釋性的技術(shù)已經(jīng)存在，例如，單調(diào)GBM（M-GBM），可縮放貝葉斯規(guī)則列表（SBRL），可解釋性神經(jīng)網(wǎng)絡(luò)（XNN）。這些準(zhǔn)確且可解釋的模型比傳統(tǒng)的機器學(xué)習(xí)黑盒更容易做記錄和調(diào)試。較新型的公平和隱私模型（例如，LFR和PATE）也可以基本上不用擔(dān)心對外可見、可被發(fā)現(xiàn)的人口統(tǒng)計特征、通過社交工程設(shè)計對抗樣本攻擊，或被模仿。你是否正在考慮在未來創(chuàng)建新的機器學(xué)習(xí)工作流程？那么需要考慮把它基于低風(fēng)險、可解釋、隱私或公平的模型。這樣的模型更容易調(diào)試，并且可能對單個實體特征的變化具有魯棒性。
對模型安全性做調(diào)試：模型調(diào)試的新領(lǐng)域?qū)Ｗ⒂诎l(fā)現(xiàn)機器學(xué)習(xí)模型的機理和預(yù)測中的錯誤，并修復(fù)這些錯誤。調(diào)試工具（如代理模型、殘差分析和敏感性分析）可用于白帽練習(xí)以了解自己的漏洞，或進(jìn)行取證練習(xí)以發(fā)現(xiàn)可能已發(fā)生或正在發(fā)生的任何潛在攻擊。
模型文檔化和解釋技術(shù)：模型文檔化是一種風(fēng)險緩解策略，已在銀行業(yè)被使用了數(shù)十年。隨著模型所有者團隊隨時間的變化，它可以保留和傳承有關(guān)復(fù)雜建模系統(tǒng)的知識。 傳統(tǒng)上模型文檔化被應(yīng)用于高度透明的線性模型。 但隨著強大、準(zhǔn)確的解釋工具（例如樹SHAP和基于派生的神經(jīng)網(wǎng)絡(luò)局部特征屬性）的出現(xiàn)，已有的黑盒模型工作流至少可以在某種程度上被解釋、調(diào)試和記錄。顯然，現(xiàn)在文檔應(yīng)當(dāng)包括所有的安全目標(biāo)，包括任何已知、已修復(fù)或預(yù)期的安全漏洞。
明確的面向安全的模型監(jiān)控和管理：嚴(yán)肅的從業(yè)者都知道，大多數(shù)模型都是在訓(xùn)練數(shù)據(jù)所代表的現(xiàn)實的靜態(tài)快照上進(jìn)行訓(xùn)練，并且當(dāng)實際情況偏離了訓(xùn)練數(shù)據(jù)代表的過去信息時，他們的預(yù)測準(zhǔn)確性會實時降低。今天，大多數(shù)模型監(jiān)測旨在發(fā)現(xiàn)輸入變量分布的這種導(dǎo)致最終精度衰減的漂移。現(xiàn)在的模型監(jiān)控更應(yīng)該監(jiān)控第1到5節(jié)中所描述的攻擊以及白帽模型調(diào)試練習(xí)發(fā)現(xiàn)的任何其他的潛在威脅。雖然并不總是與安全直接相關(guān)，但我認(rèn)為模型也應(yīng)該針對不同的影響被實時評估。除了模型文檔化，所有建模工件、源代碼和相關(guān)元數(shù)據(jù)都需要進(jìn)行管理、版本化，并像所有的寶貴的商業(yè)資產(chǎn)一樣被安全審計。
安全感知特征：特征、規(guī)則以及預(yù)處理或后處理步驟可以被包含在具有安全意識的模型或管道中。例如模型見到的相似的行數(shù)，當(dāng)前行是否代表員工、外包人員或顧問，或者當(dāng)前行中的值是否與白帽對抗樣本攻擊中的值相似。在首次訓(xùn)練模型時，這些特征可能有用，也可能沒用。但是在對新數(shù)據(jù)評分時，或者在重新訓(xùn)練模型的未來迭代時，為他們保留出位置可能會在某一天非常有益處。
系統(tǒng)性的異常檢測：在整個預(yù)測建模系統(tǒng)的運行統(tǒng)計數(shù)據(jù)（某個時間段內(nèi)的預(yù)測數(shù)量，延遲，CPU，內(nèi)存和磁盤負(fù)載，并發(fā)用戶數(shù)量以及其他所有可以獲得的內(nèi)容）上訓(xùn)練基于自動編碼器的異常檢測元模型，然后密切監(jiān)視這個元模型的異常情況。異常可能會讓你發(fā)現(xiàn)預(yù)測建模系統(tǒng)里有些事情可能不對，需要進(jìn)行后續(xù)調(diào)查或用特定的方法來追查確切問題。
8.參考資料和延伸閱讀
許多現(xiàn)在的機器學(xué)習(xí)學(xué)術(shù)安全文獻(xiàn)側(cè)重于自適應(yīng)學(xué)習(xí)、深度學(xué)習(xí)和加密。但是我不知道從業(yè)者會實際是否會做這些事情。 因此，除了最近發(fā)表的文章和博客之外，我還找到了20世紀(jì)90年代和21世紀(jì)初的關(guān)于網(wǎng)絡(luò)入侵、病毒檢測、垃圾郵件過濾和相關(guān)主題的論文，它們也是有用的資源。 如果想了解更多有關(guān)確保機器學(xué)習(xí)模型安全這一迷人主題的信息，下面是主要的參考資料，包括過去和現(xiàn)在的。我也推薦它們作為延伸閱讀。
Barreno, Marco, et al. “The Security of Machine Learning.” Machine Learning 81.2 (2010): 121-148. URL:?https://people.eecs.berkeley.edu/~adj/publications/paper-files/SecML-MLJ2010.pdf
Kumar, Ajitesh. “Security Attacks: Analysis of Machine Learning Models.” DZone (2018). URL:?https://dzone.com/articles/security-attacks-analysis-of-machine-learning-mode
Lorica, Ben and Loukides, Mike. “You created a machine learning application. Now make sure it’s secure”. O’Reilly Ideas (2019). URL:?https://www.oreilly.com/ideas/you-created-a-machine-learning-application-now-make-sure-its-secure
Papernot, Nicolas. “A Marauder’s Map of Security and Privacy in Machine Learning: An overview of current and future research directions for making machine learning secure and private. ” Proceedings of the 11th ACM Workshop on Artificial Intelligence and Security. ACM (2018). URL:?https://arxiv.org/pdf/1811.01134.pdf
結(jié)論
我非常關(guān)心機器學(xué)習(xí)的科學(xué)和實踐。我現(xiàn)在擔(dān)心機器學(xué)習(xí)黑客的威脅以及日益增加的對侵犯隱私和算法歧視的擔(dān)憂可能會帶來對機器學(xué)習(xí)和AI日漸增多的公眾和政治懷疑。在不久的將來，我們都應(yīng)該留意人工智能的冬天。安全漏洞、隱私侵犯和算法歧視一起可能導(dǎo)致機器學(xué)習(xí)研究的資金減少或?qū)υ擃I(lǐng)域的嚴(yán)格過度監(jiān)管。讓我們繼續(xù)討論和解決這些重要問題，以預(yù)先進(jìn)行危機預(yù)防，而不是被動低進(jìn)行反應(yīng)性回應(yīng)。
致謝
感謝Doug Deloy、Dmitry Larko、Tom Kraljevic和Prashant Shuklabaidya的深刻見解和建議。
This article originally appeared in English: "Proposals for model vulnerability and security".
Patrick Hall
Patrick Hall是H2O.ai的數(shù)據(jù)科學(xué)產(chǎn)品高級主管，主要負(fù)責(zé)模型可解釋性和模型管理。Patrick目前還是喬治華盛頓大學(xué)決策科學(xué)系的兼職教授，他在那里講授數(shù)據(jù)挖掘和機器學(xué)習(xí)的研究生課程。在加入H2O.ai之前，Patrick曾在SAS Institute擔(dān)任全球客戶對話和研發(fā)的角色。
總結(jié)
以上是生活随笔為你收集整理的机器学习模型脆弱性和安全性的提议的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Android下调用收发短信邮件等
- 下一篇： 有趣的纵火案