可解釋機(jī)器學(xué)習(xí)最新綜述：應(yīng)用于實(shí)時(shí)場景中的機(jī)遇與挑戰(zhàn)
加入技術(shù)交流群
大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自將門創(chuàng)投
作者：Guanchu Wang
論文鏈接：
https://arxiv.org/abs/2302.03225代碼鏈接：https://github.com/ynchuang/awesome-efficient-xai
什么是可解釋機(jī)器學(xué)習(xí)？
深度模型（神經(jīng)網(wǎng)絡(luò)）的推理過程是黑盒化的、不可解釋的。機(jī)器學(xué)習(xí)發(fā)展至今仍然無法完全打開這個(gè)黑盒子?？山忉寵C(jī)器學(xué)習(xí)的研究內(nèi)容就是為深度模型的推理結(jié)果提供人類可以理解的解釋（原因）。這在有道德約束下的應(yīng)用場景中是極其重要的。例如，某****利用深度學(xué)習(xí)算法來預(yù)測用戶的信用度以決定是否貸款給用戶。對于信用度預(yù)測值較低的用戶，****有責(zé)任提供合理的解釋來說明認(rèn)定該用戶信用度低的原因。
模型解釋可分為兩種：模型層面的解釋和樣本層面的解釋，如圖1所示。模型層面的解釋是展示出模型判斷的邏輯，如圖1（a）所示；樣本層面的解釋是展示出每個(gè)樣本的不同特征對于模型預(yù)測的貢獻(xiàn)度，如圖1（b）所示。由于復(fù)雜模型對于不同樣本的推理過程是多樣性的，所以宏觀的模型層面解釋很難適用于所有樣本。目前主流的研究工作更關(guān)注樣本層面的解釋。
因此，本文所討論的解釋算法都是樣本層面的解釋，不涉及模型層面的解釋。
實(shí)時(shí)系統(tǒng)需要怎樣的模型解釋算法？
雖然解釋算法能夠客觀地反映深度模型的推理依據(jù)，但是為每個(gè)樣本生成解釋的過程有相當(dāng)高的計(jì)算復(fù)雜度。以目前主流的解釋算法為例：Shapley解釋如式（1）所示，其中 U 是全部特征組成的集合。計(jì)算規(guī)模隨著特征數(shù)量的增多而指數(shù)級(jí)增長；積分梯度是一種有效的圖像解釋算法，如式（2）所示。它需要沿著積分路徑多次采樣模型的梯度值來近似估計(jì)積分值。然而，在實(shí)時(shí)場景中，如在線推薦系統(tǒng)，醫(yī)療系統(tǒng)的實(shí)時(shí)監(jiān)測以及自動(dòng)駕駛的實(shí)時(shí)目標(biāo)檢測等，我們需要算法可以快速高效地生成解釋。這就需要對現(xiàn)有解釋算法進(jìn)行加速，以滿足實(shí)時(shí)系統(tǒng)的需求。本文匯總了目前主流的（算法層面）加速模型解釋算法（不涉及系統(tǒng)層面），分析了已有工作的局限性，并提出了未來研究的技術(shù)難點(diǎn)。
非批量解釋的加速方法
非批量解釋的加速是指直接加速解釋量的估計(jì)，即直接加速式（1）以及式（2）或者其他解釋量的估計(jì)。該類方法可以分為以下幾種技術(shù)路線：優(yōu)化特征選取、優(yōu)化采樣過程、基于近似算法加速等。下面詳細(xì)描述每一種技術(shù)路線的代表工作。
優(yōu)化特征選?。?nbsp;這類方法通過去掉在Shapley解釋的估計(jì)過程中影響較小的特征來減少計(jì)算復(fù)雜度。比較有代表性的工作是 SHEAR [1]。SHEAR 選取每個(gè)特征與待估計(jì)特征的相互作用強(qiáng)度來選取少量的伴隨特征，這樣。其他有代表性的工作是 L-Shapley 和 C-Shapley [2]。該工作在圖結(jié)構(gòu)的解釋中提出兩種概念：Local Shapley 和 Connected Shapley，分別指的是每個(gè)節(jié)點(diǎn)在其所在子圖中的貢獻(xiàn)以及邊緣貢獻(xiàn)。L-Shapley 和 C-Shapley 可以通過對鄰居節(jié)點(diǎn)的枚舉快速估計(jì)。進(jìn)一步，該工作指出 L-Shapley 和 C-Shapley 在某些條件下是 Shapley 解釋的無偏估計(jì)。因此可通過估計(jì) L-Shapley 和 C-Shapley 來近似加速 Shapley 解釋。
優(yōu)化采樣過程： 這類方法通過優(yōu)化采樣分布來加速Shapley解釋估計(jì)的收斂速度。比較有代表性的工作是 APS [3] 和 OSC [4]。APS 的全稱是 Antithetical Permutation Sampling。該工作提出一種對稱采樣策略（Antithetical Sampling）來減小 Permutation Sampling 對于Shapley解釋的估計(jì)方差，從而加速估計(jì)值收斂與Shapley解釋；同理，OSC 是 Orthogonal Spherical Codes 的縮寫。該方法提出了在希爾伯特空間選取相互正交的特征排序。這種特征排序可以應(yīng)用到估計(jì)Shapley解釋中來提高估計(jì)值收斂于真值的速度。
基于近似算法加速： 這類方法通過將不可解釋的深度模型近似為可解釋的模型進(jìn)而實(shí)現(xiàn)快速得到解釋。具有代表性的工作是 Tree-SHAP [5] 和 Fast-IG [6]。Tree-SHAP 是針對樹模型的解釋算法，其時(shí)間復(fù)雜度是 O(TLD2)，其中T、L和D分別是樹的數(shù)量、平均葉子數(shù)和平均深度。實(shí)際應(yīng)用中，可以用樹模型來逼近神經(jīng)網(wǎng)絡(luò)這類黑盒模型的輸出，進(jìn)而用樹模型的解釋來代表神經(jīng)網(wǎng)絡(luò)的解釋；Fast-IG 是一種加速積分梯度的算法。該工作發(fā)現(xiàn)具有非負(fù)齊次性的模型的積分梯度解釋可以通過模型的一次前饋傳播估計(jì)得到。但是神經(jīng)網(wǎng)絡(luò)模型不具有非負(fù)齊次的性質(zhì)，因此該工作提出了將神經(jīng)網(wǎng)絡(luò)模型進(jìn)行適當(dāng)?shù)慕茝亩鴿M足非負(fù)齊次性，進(jìn)而實(shí)現(xiàn)加速模型解釋?；诮扑惴ǖ募铀儆捎趯υＰ瓦M(jìn)行了一定近似，所以會(huì)影響模型的性能（準(zhǔn)確率、召回率、F1得分等）。
批量解釋的方法
批量解釋方法是針對實(shí)時(shí)場景的解釋方法。從本文前幾段的內(nèi)容可知，非批量解釋方法對每一個(gè)樣本的解釋都是分別進(jìn)行的，即對每個(gè)樣本都分別執(zhí)行一次解釋過程，如圖3（a）所示。這無疑是浪費(fèi)時(shí)間的。為了實(shí)現(xiàn)高速估計(jì)模型解釋，一些工作開創(chuàng)性地提出了批量解釋方法，如圖3（b）所示。
總的來說，批量解釋方法假設(shè)模型解釋的結(jié)果服從某種分布，這種分布可以通過一個(gè)全局解釋器來學(xué)習(xí)。學(xué)習(xí)過程在訓(xùn)練集上進(jìn)行，訓(xùn)練好的解釋器可以在實(shí)際場景中批量生成解釋。批量解釋方法是模型解釋加速的質(zhì)的飛躍。
批量模型解釋的技術(shù)路線有：基于預(yù)測模型、基于生成模型和基于強(qiáng)化學(xué)習(xí)等。下面詳細(xì)敘述每一條技術(shù)路線的代表工作。
基于預(yù)測模型： 這類方法通過監(jiān)督或者半監(jiān)督的方式來學(xué)習(xí)全局解釋器。代表作有 L2X [7]、FastSHAP [8] 以及 CORTX [9]。L2X 訓(xùn)練全局解釋器對數(shù)據(jù)特征進(jìn)行遮掩，訓(xùn)練目標(biāo)是遮掩的特征不影響原模型的推理過程。這樣未被遮掩的特征就是重要特征。L2X 只能將特征大致分為重要的和不重要的。FastSHAP 訓(xùn)練全局解釋器生成Shapley解釋，訓(xùn)練目標(biāo)是Shapley解釋的必要條件：任何一個(gè)特征子集的Shapley解釋之和表征了原模型基于該特征子集的預(yù)測值。FastSHAP 可以快速生成較為精確的解釋，但是需要利用原模型進(jìn)行監(jiān)督訓(xùn)練。CORTX 開創(chuàng)性地提出通過對比學(xué)習(xí)的方式來預(yù)訓(xùn)練解釋器，而后通過少量的解釋標(biāo)注來 Fine-tune 解釋器，從而實(shí)現(xiàn)輕量級(jí)的解釋器訓(xùn)練以及實(shí)際場景中的高精度解釋。
基于生成模型： 這類方法通過訓(xùn)練生成模型來快速提供因果解釋。代表作有 MCS [10] 和 DiVE [11]。MCS 通過訓(xùn)練一個(gè)條件對抗生成網(wǎng)絡(luò)來生成反事實(shí)樣本。反事實(shí)樣本可以推翻原模型的預(yù)測結(jié)果，這樣從原樣本到反事實(shí)樣本變化量就是模型預(yù)測值的因果解釋。DiVE 通過一個(gè)變分自編碼器來學(xué)習(xí)特征空間的非耦合隱空間（特征在原空間中是相互耦合的），進(jìn)而在隱空間中生成反事實(shí)樣本，在通過變分自編碼器把反事實(shí)樣本映射至原空間進(jìn)而估計(jì)解釋值。
基于強(qiáng)化學(xué)習(xí)： 這類方法通過強(qiáng)化學(xué)習(xí)來優(yōu)化反事實(shí)樣本的生成過程。代表作有 RELAX [12] 和 FASTAR [13]。這類將原樣本變換為反事實(shí)樣本的過程抽象為馬爾科夫過程決策過程，即原樣本在每個(gè)時(shí)刻都發(fā)生一點(diǎn)變化，經(jīng)過多個(gè)時(shí)刻的演化最終變?yōu)榉词聦?shí)樣本。RELAX 和 FASTAR 用強(qiáng)化學(xué)習(xí)的方式學(xué)習(xí)一個(gè)演化策略。原樣本經(jīng)過演化策略生成的一系列變化量成為反事實(shí)樣本，累計(jì)變化量就是原模型的因果解釋值。
現(xiàn)有工作的局限性及未來研究的難點(diǎn)
解釋性能和速度的此消彼長： 目前大部分的模型解釋方法都存在解釋性能和速度的此消彼長，例如 KernelSHAP [14]、LIME [15]、IG [16] 等。
對原模型采樣更多的預(yù)測值可以提高解釋的精度，但是會(huì)降低解釋生成的速度。此外，批量解釋方法需要在訓(xùn)練集上學(xué)習(xí)全局解釋器。訓(xùn)練過程的時(shí)間及空間消耗和訓(xùn)練精度之間也存在類似的平衡關(guān)系。已有工作為可解釋機(jī)器學(xué)習(xí)提供了基準(zhǔn)，未來解釋算法需要能達(dá)到性能和速度二者更優(yōu)的平衡。
解釋方法的部署： 在已有工作中，解釋及加速方法的設(shè)計(jì)、實(shí)現(xiàn)及驗(yàn)證都是基于 CPU 和 GPU結(jié)構(gòu)的硬件。但是在實(shí)際應(yīng)用場景中有很多其他種類及結(jié)構(gòu)的硬件。已有算法無法從系統(tǒng)層面上達(dá)到最優(yōu)的性能（內(nèi)存消耗及運(yùn)行速度）。部署模型解釋方法以適應(yīng)不用種類及結(jié)構(gòu)的硬件系統(tǒng)將會(huì)推動(dòng)可解釋機(jī)器學(xué)習(xí)走向?qū)嶋H應(yīng)用。
全局解釋器的隱私保障： 在目前批量解釋算法中，由于全局解釋器學(xué)到了訓(xùn)練數(shù)據(jù)的分布，因此這會(huì)有信息泄露的風(fēng)險(xiǎn)。所謂信息泄露指的是第三方可以從訓(xùn)練好的全局解釋器中恢復(fù)出訓(xùn)練數(shù)據(jù)的分布。因此防止解釋器泄露訓(xùn)練數(shù)據(jù)的分布也是推動(dòng)可解釋機(jī)器學(xué)習(xí)走向?qū)嶋H應(yīng)用需要克服的困難之一。
加速方法的選擇： 本文所介紹的以及更多的模型解釋算法都存在此消彼長的關(guān)系，即不存在某一種算法在所有的應(yīng)用場景中都是最優(yōu)的。然而決策者需要在實(shí)際應(yīng)用中從眾多的解釋方法中選取最符合需求的一種或者幾種解釋方法。這無疑是困難的。一個(gè)解決方案是用算法來實(shí)現(xiàn)解釋方法的選取，這使得決策者在不用了解所有解釋方法的情況下仍然可以得到一種符合需求的解釋方法。
結(jié)束語
本文首先闡明了可解釋機(jī)器學(xué)習(xí)部署到實(shí)際場景中的速度需求，進(jìn)而系統(tǒng)地介紹了目前主流的加速模型解釋算法；最后分析了已有工作的局限性，并提出了未來研究的技術(shù)難點(diǎn)。
如果讀者想要了解更多內(nèi)容，歡迎閱讀綜述原文：
http://128.84.21.203/abs/2302.03225
綜述論文所涉及的所有技術(shù)論文已被匯總于：https://github.com/ynchuang/awesome-efficient-xai
參考文獻(xiàn)
[1] Chuang Y N, Wang G, Yang F, et al. “Efficient XAI Techniques: A Taxonomic Survey.” arXiv preprint arXiv:2302.03225, 2023.
[2] J. Chen, L. Song, M. J. Wainwright, and M. I. Jordan, “L-shapley and c-shapley: Efficient model interpretation for structured data,” arXiv preprint arXiv:1808.02610, 2018.
[3] Rubinstein R Y, Kroese D P. “Simulation and the Monte Carlo method.” John Wiley & Sons, 2016.
[4] R. Mitchell, J. Cooper, E. Frank, and G. Holmes, “Sampling permutations for shapley value estimation,” 2022.
[5] S. M. Lundberg, G. Erion, H. Chen, A. DeGrave, J. M. Prutkin, B. Nair, R. Katz, J. Himmelfarb, N. Bansal, and S.-I. Lee, “From local explanations to global understanding with explainable ai for trees,” Nature machine intelligence, vol. 2, no. 1, pp. 56–67, 2020.
[6] Hesse R, Schaub-Meyer S, Roth S. “Fast axiomatic attribution for neural networks.” Advances in Neural Information Processing Systems, 2021.
[7] Chen J, Song L, Wainwright M, et al. “Learning to explain: An information-theoretic perspective on model interpretation”, International Conference on Machine Learning. PMLR, 2018.
[8] N. Jethani, M. Sudarshan, I. C. Covert, S.-I. Lee, and R. Ranganath, “Fastshap: Real-time shapley value estimation,” in International Conference on Learning Representations, 2021
[9] Yu-Neng Chuang, Guanchu Wang, Fan Yang, Quan Zhou, Pushkar Tripathi, Xuanting Cai, Xia Hu, “CoRTX: Contrastive Framework for Real-time Explanation,” in International Conference on Learning Representations, 2022.
[10] Yang F, Alva S S, Chen J, et al. “Model-based counterfactual synthesizer for interpretation,” Proceedings of the 27th ACM SIGKDD conference on knowledge discovery & data mining. 2021.
[11] Rodriguez, Pau, et al. “Beyond trivial counterfactual explanations with diverse valuable explanations.” Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.
[12] Chen, Ziheng, et al. “ReLAX: Reinforcement Learning Agent Explainer for Arbitrary Predictive Models.” Proceedings of the 31st ACM International Conference on Information & Knowledge Management. 2022.
[13] Verma, Sahil, Keegan Hines, and John P. Dickerson. “Amortized generation of sequential algorithmic recourses for black-box models.” Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 36. No. 8. 2022.
[14] Lundberg, Scott M., and Su-In Lee. “A unified approach to interpreting model predictions.” Advances in neural information processing systems, 2017.
[15] Ribeiro, Marco Tulio, Sameer Singh, and Carlos Guestrin. “Why should i trust you? Explaining the predictions of any classifier.” Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. 2016.
[16] Sundararajan, Mukund, Ankur Taly, and Qiqi Yan. “Axiomatic attribution for deep networks.” International conference on machine learning. PMLR, 2017.
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請聯(lián)系工作人員刪除。
