人工智能風險分析技術研究進展

陳群^1,2,?陳肇強^1,2,?侯博議^1,2,?王麗娟^1,2,?羅雨晨^1,2,?李戰懷^1,2

1?西北工業大學計算機學院，陜西 西安 710129

2?西北工業大學大數據存儲與管理工業和信息化部重點實驗室，陜西 西安 710129

摘要：目前基于深度學習模型的預測在真實場景中具有不確定性和不可解釋性，給人工智能應用的落地帶來了不可避免的風險。首先闡述了風險分析的必要性以及其需要具備的3個基本特征：可量化、可解釋、可學習。接著，分析了風險分析的研究現狀，并重點介紹了筆者最近提出的一個可量化、可解釋和可學習的風險分析技術框架。最后，討論風險分析的現有以及潛在的應用，并展望其未來的研究方向。

關鍵詞：?人工智能?;?風險分析?;?不確定性?;?可解釋性

論文引用格式：

陳群, 陳肇強, 侯博議, 王麗娟, 羅雨晨, 李戰懷.人工智能風險分析技術研究進展. ?大數據[J], 2020, 6(1）：47-59

CHEN Q, CHEN Z Q, HOU B Y, WANG L J, LUO Y C, LI Z H.Research progress on risk analysis for artificial intelligence.?Big Data Research[J], 2020, 6(1):47-59

1 引言

隨著大數據的發展，以深度學習為代表的人工智能技術在計算機視覺、語音識別、視頻處理、自然語言處理等領域得到了廣泛的應用。然而，在真實場景中，由于環境的復雜性，基于深度學習模型的預測具有不確定性，在落地時經常帶來不可預知的風險。例如，2016年5月，一輛特斯拉Model S電動車在自動駕駛狀態下撞上對向正在轉彎的卡車，該事故導致特斯拉駕駛員死亡。據特斯拉公司的解釋，自動駕駛系統在面對明亮的天空時，沒有識別出白色的卡車。基于深度學習模型的人工智能算法的另一個局限是不可解釋性，即難以用人們可理解的方式來解釋算法做出相應決策的原因。可解釋性具有非常重要的意義：一方面，可解釋性是保障人工智能安全性的一個重要手段，如果算法能夠說明所做決策的依據，人們就可以通過分析依據的合理性和內在邏輯評估算法的安全性；另一方面，可解釋性有利于加速推廣人工智能的落地應用。人們普遍難以相信一個不可解釋的黑盒子模型做出的決策。例如，歐盟提出的《通用數據保護條例》要求算法具備可解釋性，數據主體有權獲取算法決策的有關解釋。電氣和電子工程師協會（Institute of Electrical and Electronics Engineers， IEEE）2016年發布的關于人工智能及自動化系統的倫理設計白皮書中，在多個部分提出了對人工智能和自動化系統應有解釋能力的要求；美國計算機協會公共政策委員會在2017年初發布的《關于算法透明性和可問責性的聲明》提出了7項基本原則，其中之一即“解釋”：鼓勵使用算法決策的系統和機構對算法過程和特定決策提供解釋。

綜上所述，目前以深度學習為代表的人工智能技術存在不確定性和不可解釋性的問題。因此，能夠準確預知人工智能算法在什么情況下可能失效，并提供可解釋的原因，是保障人工智能應用安全性的關鍵。在軟件工程中，為確保軟件的安全運行，軟件測試是其中必不可少的一個環節。軟件測試費用達到總開發費用的40%以上。對于某些性命攸關的軟件，其測試費用甚至高達其他軟件工程階段費用總和的3~5倍。然而，目前的軟件測試只能檢測程序的正確性和漏洞，并不能檢測人工智能算法預測錯誤的風險。風險指的是產生損失、造成傷害或者處于不利狀況的可能性，該詞在實際的生產生活中被廣泛運用。在不同的場景中，風險的具體含義通常也不相同。對于人工智能而言，具體的風險包括預測的準確性風險、決策的公平性風險以及決策的道德性風險等。本文主要關注人工智能算法的預測準確性風險。

針對目前人工智能技術存在的不確定性和不可解釋性問題，高效的風險分析技術需要具備以下3個基本特征。

● 可量化：能夠準確分析算法預測錯誤的可能性，實現風險的量化評估。

● 可解釋：可以以人類能理解的方式解釋算法預測錯誤的原因，實現可解釋的根因分析。

● 可學習：鑒于深度學習模型的高度復雜性以及其對環境的高度敏感性，風險分析技術需要能夠根據實際的應用環境，動態調整其風險模型參數，實現風險評估的自適應性。

2 風險分析技術的研究現狀

風險分析在以前的文獻中也被稱為置信度評估（confidence ranking）或信任評分（trust scoring），是新興的研究領域。本節首先回顧與機器學習模型的性能評估和模型可解釋性分析相關的工作，說明其與風險分析的區別，然后著重介紹風險分析的研究現狀。

2.1 機器學習模型的性能評估

為了預測一個已訓練好的機器學習模型在目標數據集上的性能，一個被廣泛運用的方法是從目標數據集中隨機抽取一部分數據進行人工標注，建立驗證集；然后用驗證集來評估模型的預測準確度。當目標數據集未知或者無法提供額外的人工標注時，可以在訓練數據集上采用交叉驗證法（cross-validation），其典型的方式有留一法、十重交叉驗證法。需要指出的是，基于驗證集的模型準確度預測方法評估的是模型的整體表現，無法評估模型在單個實例上的預測行為。然而，風險分析關注的是單個實例的預測風險，如醫學影像分析中單個病人的病情診斷、自動駕駛中某個具體場景的安全分析等。因此，傳統的機器學習模型的性能評估方法并不適用于風險分析。

2.2 機器學習模型的可解釋性分析

由于深度學習模型的不可解釋性，近年來一個熱門的研究方向是對黑盒模型進行可解釋性分析。針對黑盒模型的可解釋性研究可分為3類。

（1）模型解釋

模型解釋即用可解釋的、透明的模型來模擬黑盒模型，以此得到一個全局的解釋。例如，參考文獻提出針對文本分類任務的可解釋的數據表示——詞袋，然后通過學習一個局部的可解釋性模型（比如線性模型）來解釋分析算法的預測結果；參考文獻提出了基于規則來構建局部的可解釋模型，對于符合相同規則的數據，該模型對結果的解釋具有一致性，同時排除了不屬于規則要求的其他特征的干擾。

（2）輸出解釋

輸出解釋即對黑盒模型的輸出進行解釋分析。例如，參考文獻提出利用局部的梯度值來刻畫特征的影響，進而解釋算法的預測結果；參考文獻基于聯合博弈論，通過分析每個輸入特征的貢獻度來解釋任意分類器的輸出結果；參考文獻設計了一個交互式的可視化工具，幫助用戶查看每一個具體數據實例的信息。

（3）模型檢驗

模型檢驗即對黑盒模型的特性進行解釋分析，比如模型的預測行為對輸入特征的敏感度、深度神經網絡模型中的特定神經元對預測結果的影響等。例如，參考文獻提出利用隨機森林分類器中的路徑信息來指導輸入特征的調整，進而改變黑盒模型對某個輸入數據的預測結果。需要指出的是，針對機器學習模型的可解釋分析的研究旨在提供可解釋性的信息，輔助用戶對人工智能算法的結果進行分析，但沒有提供量化的風險評估。

2.3 風險分析

針對實例的風險分析，最簡單的方法就是直接利用模型在每個實例上提供的信息，評估決策的風險。例如，樸素貝葉斯分類器為每個類別標簽都提供了相應的類別概率，可以天然地作為預測標簽的風險度量指標。當分類器的輸出不是概率值時，可以采用不同的方法將其轉化為類別概率。例如，基于Platt校準的方法可以將支持向量分類器的輸出距離轉化為類別概率；softmax函數可以將深度神經網絡模型中神經元的輸出映射為類別概率。然而，模型本身輸出的概率很多時候并不能準確地反映預測的不確定性。為此，有一些工作提出對模型的輸出概率進行校準。然而，這些校準技術并沒有改變實例之間的相對不確定性，而且，當模型的結構復雜或未知時，概率校準極具挑戰。對于主流的深度學習模型，直接基于模型輸出或校準輸出的風險度量方法可解釋性差，而且大量的實驗表明，其在很多情況下無法獲得可靠的風險分析結果。

另外一種方法是通過設計額外的模型來分析原始學習模型在單個實例上的預測行為。例如，參考文獻提出了一種基于距離的風險評估方法，該方法首先為每種標簽構建一個代表該類標簽的簇，然后對于給定的任一測試實例，計算該實例與不同機器標簽所在簇的距離，最后通過比較這些距離來計算該實例標簽的風險。參考文獻[19]則針對計算機視覺的應用場景，首先獲取部分數據的輸入特征和原始模型預測的信息，并以此作為訓練數據，然后訓練一個支持向量機（SVM）模型或者支持向量回歸（SVR）模型，判斷新的輸入數據不能被原始模型正確處理的風險。嚴格地說，這種方法是依據輸入數據的特征提前拒絕高風險的實例，并沒有對原始模型輸出的風險進行量化分析。而且，其可解釋性也較差。

以上的風險分析方法均根據單一的輸出值（如原始學習模型的輸出、獨立模型的輸出）直接度量預測錯誤的風險。參考文獻提出將一個實例的標簽概率用一個分布（比如正態分布）來表示，然后借鑒投資風險分析理論中的風險度量指標（如條件在險價值），量化評估標簽預測錯誤的風險。更具體地說，參考文獻提出將分類模型的輸出作為先驗知識，然后通過訓練數據獲取特征的觀測分布，最后利用貝葉斯推理估計實例標簽的后驗分布。然而，這些方法雖然在風險評估的準確性和可解釋性上取得了比之前的方法更好的效果，但仍然無法根據應用環境動態地調整風險模型，即不是可學習的。

3 可量化、可解釋和可學習的風險分析框架

筆者在參考文獻中提出了一個可量化、可解釋和可學習的風險分析框架，并把它成功應用于實體解析的任務中。實體解析旨在識別出關系數據中表示同一個現實世界實體的記錄。圖1所示為一個實體解析的例子，R1和R2分別表示文獻數據集中的兩張數據表，每張表中包含多條記錄。對于一個記錄對<r1i,r2j>，r1i和r2j分別表示R1和R2中的一條記錄，當且僅當r1i和r2j指向同一篇文章時，稱之為“匹配”，否則，稱之為“不匹配”。在圖1的例子中，r11和r21是匹配的， r11和r22是不匹配的。

風險分析框架如圖2所示，由3個步驟組成：生成風險特征、構建風險模型、訓練風險模型。后文將以實體解析為例，闡述每個技術步驟。需要強調的是，這個框架具備很強的通用性，容易被擴展應用于其他一般性分類問題。

圖1???文獻數據集中的數據表示例

圖2???風險分析框架

3.1 生成風險特征

可解釋的風險特征是進行可解釋性風險分析的前提。為了有效支持風險分析，風險特征必須具備以下3個特點：一是可解釋的；二是高區分度的，風險特征必須在很大程度上是某一類標簽所獨有的，對其有明顯的指示作用；三是高覆蓋率的，風險特征必須被很多個實例共享，只有共享的風險特征才是可學習的。

以實體解析為例，其需要把任一候選記錄對標為“匹配”或“不匹配”。規則是一種常見的而且容易被人類理解的知識，因此筆者提出以規則的形式來表達風險特征。具體地說，首先設計能衡量屬性值的相似度以及差異度的基本指標，然后在帶有真實標簽的記錄對集合上，以這些基本指標為輸入特征，通過生成單邊隨機森林來獲得具有可解釋性、高區分度和高覆蓋率的規則，得到的規則即風險特征。需要指出的是，單邊隨機森林中的每一棵樹都是單邊決策樹。傳統的雙邊均衡的決策樹用于判定實例的標簽，因此其生成的規則有雙向的指示作用。例如，在文獻數據集上，“EditDistance(r1i[title],r2j[title])>0.9→equivalent(r1i,r2j)”作為一個標記規則，其含義如下：如果兩條記錄r1i和r2j在標題這個屬性上的編輯距離相似度大于0.9，那么，這兩條記錄表示同一篇文章；否則，這兩條記錄表示不同的文章。與此不同的是，作為風險特征的規則僅具有單邊的指示作用。例如，在文獻數據集上，規則“r1i[year]≠r2j[year]→inequivalent(r1i,r2j)”是一個有效的風險規則，因為當兩個記錄在年份這個屬性上的值不一樣時，它們表示不同的文章的概率較大。然而，其并不適合作為一個標記規則，因為即便兩個記錄在年份這個屬性上的值一樣，它們也很有可能表示不同的文章。

需要強調的是，基于單邊決策樹的風險特征生成方法具有通用性。對于別的分類問題，只需要設計相應的輸入特征即可，整個規則生成過程是同樣適用的。例如，在文本分類問題中，提取出的關鍵詞可以作為輸入特征；在圖像處理中，單個像素通常不具有明確的語義信息，而較大粒度的像素塊的語義信息則較為直觀；在與抑郁癥相關的研究中，面部表情、頭部運動以及語氣是臨床科學家與臨床醫生們關注的可解釋性特點；在嗅覺科學中，一些化學信息（如氫鍵、芳香環和帶電原子等理化性質）為分子科學家們提供了有效的解釋信息。

3.2 構建風險模型

基于風險特征提供的信息，風險模型選取合適的風險度量方法來評估人工智能模型的決策風險。受到風險分析在金融領域成功應用的啟發，筆者類似地將風險特征提供的信息以概率分布進行表示，然后用風險特征的分布估計目標實例的標簽概率分布，最后利用風險度量指標實現風險的量化分析。

在投資組合理論中，一個資產組合的收益概率分布是由資產組合中的每種證券或資產的收益概率分布疊加而成的；通常采用方差、平均絕對離差、半方差、在險價值（value at risk，VaR）、條件在險價值（conditional value at risk）等風險度量指標評估這個投資組合的風險。類似地，針對人工智能模型的風險分析，對于每一個風險特征fi，假設其蘊含的標簽概率為一個服從某種分布（在參考文獻中假設的是正態分布，但筆者的方法也同樣適用于其他分布）的隨機變量。以實體解析為例，對于風險特征fi，假設其分布的期望為，方差為，權重為wi。那么，對于任一記錄對di，其匹配概率也服從正態分布。如果di包含m個風險特征，那么，其匹配概率的期望可以估計為，方差為，即記錄對的分布根據風險特征的分布加權疊加來估計。

圖3給出了一個當機器標簽為“不匹配”時，計算Va R風險指標的示例。指標VaR反映的是在排除掉最壞(1-θ)的情況后，最大可能的損失。在示例中，當θ=0.8時，其在險價值為VaR1=0.7；當θ=0.95時，其在險價值為VaR2=0.8。

圖3???在險價值的示例

3.3 訓練風險模型

風險模型構建完成后，需要設定可調整的參數，使風險模型能夠從觀測數據中學習調整風險的評估標準，以期風險模型能夠準確地反映人工智能模型在不同環境下的風險。在第3.2節構建的風險模型中，共有3組參數：風險特征分布的期望、風險特征分布的方差、風險特征的權重。在實踐中，可以把風險特征分布的期望當作一種先驗知識，由帶標簽的訓練數據通過統計估算出來，而風險特征的權重和方差為待學習參數。

風險模型的訓練通過學習排序（learn to rank）技術實現。以實體解析為例，學習排序技術是為了使被錯誤分類的記錄對的風險值能夠大于被正確分類的記錄對的風險值。給定2個記錄對di和dj，假設它們對應的被錯誤分類的風險值分別為γi和γj。如果γi>γj，那么di排在dj前面。然后，采用Logistic函數將它們的風險值映射為di排在dj前面的后驗概率：

而其目標概率為：

其中，如果記錄對di被錯誤分類，那么，風險標簽gi=1，否則，gi=0。根據定義的記錄對排序位置的后驗概率和目標概率，在風險模型訓練數據DS上設定目標損失函數為如下的交叉熵損失函數：

最后，采用梯度下降的方法，逐漸減小交叉熵損失函數的值直至收斂，從而優化參數。

4 風險分析的應用

風險分析技術不僅可以直接用于評估人工智能算法所作決策的風險，進行風險的根因解釋，保障人工智能的安全，還可以用于眾包的問題選擇和分類的質量控制等任務。另外，風險分析為理解機器學習和人工智能提供了獨特的分析視角和手段，潛在地可以影響機器學習的幾乎每一個核心環節，包括訓練數據的主動選擇以及模型的訓練等。本章討論風險分析的一些初步應用以及其潛在的更廣泛的應用，并通過它們展望風險分析未來的研究方向。

4.1 眾包

眾包技術旨在將復雜的任務切割并封裝為較簡單的子任務，通過眾包平臺，交給非專業或者只有少量專業知識的普通大眾來完成。眾包通常需要支付酬金給完成任務的人，這會產生人力成本。此外，由于大眾的背景知識和認真程度等因素存在差異，他們回答問題的準確性也參差不齊。因此，眾包的基本挑戰在于從不可靠的答案中推理出準確的答案，并最小化人力成本。為提高答案的準確性，一個典型的做法是將每一個子任務都分配給多個人來完成，然后綜合分析返回的多個答案來決定最終的答案。然而，這樣冗余的方式也大大增加了人力成本。因此，在眾包應用中，可以先對機器的輸出進行風險分析，再根據風險的高低確定不同的人力驗證方案，確保更多的人力花費在那些高風險的子任務上，這樣就可以有效地平衡整體的準確度與人力開銷。

4.2 分類的質量控制

對于分類問題，現有的機器學習模型通常不能保證分類結果的質量。然而，在一些關鍵的應用領域（如金融欺詐檢測和身份識別），經常要求模型的預測結果具有很高的質量，如要求識別的準確率大于一個給定的閾值（如0.99），并且召回率大于一個給定的閾值（如0.99）。在這種情況下，完全基于機器的自動分類往往難以達到設定的質量要求，因此需要人工的介入。在參考文獻[29]中，筆者提出了一個人機協作（human and machine cooperation， HUMO）的架構，如圖4所示，通過人機協作實現分類問題的質量控制。其基本思路是對機器自動分類的結果進行風險分析，將風險較低的實例交由機器自動標注，而將較高風險的實例交給人工驗證，這樣就可以以少量的人工實現質量控制。在此HUMO的基礎上，參考文獻進一步提出了一個改進的交互式人機協作框架——r-HUMO（risk-aware HUMO），如圖5所示。與HUMO靜態批量地選擇人工工作量不同，r-HUMO通過實時的風險分析漸進地選擇人工工作量。相比HUMO， r-HUMO在滿足相同質量要求的前提下，能有效地減少所需的人工成本。需要強調的是，雖然參考文獻和參考文獻的工作針對的是實體解析任務，但是它們提出的框架和技術也能夠被擴展應用于其他的通用分類任務。

圖4???HUMO系統框架

圖5???r-HUMO系統框架

4.3 訓練數據的主動選擇

人工智能模型的訓練通常需要標注大量的數據。然而，在真實的應用場景中，訓練數據的獲取往往比較困難且標注的代價較高。因此，需要通過主動學習來減少所需的訓練數據。主動學習技術能夠選擇那些最有助于改善當前模型的數據，并將它們進行人工標注后作為訓練數據。相比于隨機選擇訓練數據，主動學習能夠有效地減少數據的標注成本。目前的主動學習技術主要通過不確定性和代表性等指標或融合了不確定性和代表性的混合指標選擇訓練數據。不確定性的度量方法包括置信度、離邊界的距離、預測類別的熵以及模型委員會的選舉等。代表性的度量主要通過計算實例之間的距離實現。有實驗表明，當批量選取的訓練數據量較大時（如大于1 000），主動學習最好的方法仍是基于模型輸出的不確定性。由于風險分析可以更準確地評估不確定性，其自然也可以用于主動學習中訓練數據的選取，即每輪都選取風險最高的一組數據來標注。如果可選取的整體數據量有限，則可以綜合考慮風險和代表性等指標。

4.4 模型的訓練

目前，深度學習模型普遍存在過于樂觀的問題，即當目標數據不在模型預測任務的范圍內時，模型也可能會給出一個置信度較高的預測結果。參考文獻提出，可以通過新增一個離群點檢測（outlier exposure）模塊改善過于樂觀的問題。具體地，在深度學習模型的優化目標函數中新增一個衡量離群數據預測值的損失函數，并增加一個離群數據訓練集，通過對模型進行重新訓練來改進模型，使新模型能夠較好地識別異常數據，并給出較低的預測置信度。然而，目前的方法沒有考慮如何提高模型在預期任務上的預測準確度問題。由于風險分析能夠評估模型預測的風險并給出解釋，那么，它也可以被用來指導模型的設計和訓練過程。如何利用風險分析的反饋指導和改善人工智能模型的訓練是未來一個非常有價值的研究方向。

5 結束語

當前，基于深度學習的人工智能預測模型普遍存在不確定性和不可解釋性的問題。因此，可量化、可解釋和可學習的風險分析技術對保障人工智能的安全至關重要。在本文中，筆者系統地總結了風險分析技術的研究進展，并介紹了一些應用案例，如眾包和分類的質量控制等。筆者進一步指出，風險分析為理解人工智能提供了獨特的分析視角和手段，其潛在的影響不是局限于目前參考文獻中提及的應用案例，而是幾乎涉及機器學習的每一個核心環節，包括訓練數據的選擇和模型的訓練等。因此，風險分析是一個非常有價值和前景的研究方向，對推動人工智能的發展具有重要的戰略意義。

作者簡介

陳群（1976-），男，博士，西北工業大學計算機學院教授、博士生導師，主要研究方向為人工智能風險分析等大數據分析技術 。

陳肇強（1988-），男，西北工業大學計算機學院博士生，主要研究方向為人工智能風險分析等大數據分析技術 。

侯博議（1990-），男，西北工業大學計算機學院博士生，主要研究方向為人工智能風險分析等大數據分析技術 。

王麗娟（1992-），女，西北工業大學計算機學院碩士生，主要研究方向為人工智能風險分析等大數據分析技術 。

羅雨晨（1997-），女，西北工業大學計算機學院碩士生，主要研究方向為人工智能風險分析等大數據分析技術 。

李戰懷（1961-），男，博士，西北工業大學計算機學院教授、博士生導師，大數據存儲與管理工業和信息化部重點實驗室主任，主要研究方向為大數據管理技術、海量信息存儲系統等 。

《大數據》期刊

《大數據（Big Data Research，BDR）》雙月刊是由中華人民共和國工業和信息化部主管，人民郵電出版社主辦，中國計算機學會大數據專家委員會學術指導，北京信通傳媒有限責任公司出版的中文科技核心期刊。

關注《大數據》期刊微信公眾號，獲取更多內容

往期文章回顧

基于SARIMA-LSTM的門診量預測研究

一種基于隨機投影的本地差分隱私高維數值型數據收集算法

基于安全壓縮感知的大數據隱私保護

基于同源策略的移動應用細粒度隱私保護技術

人工智能時代的數據隱私、壟斷與公平

---

總結

以上是生活随笔為你收集整理的人工智能风险分析技术研究进展的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。