顶会新热门：机器学习可解释性

 

🧀机器学习模型的可解释性一直是研究的热点和挑战之一，同样也是近两年各大顶会的投稿热门。

🧀这是因为模型的决策过程不仅需要高准确性，还需要能被我们理解，不然我们很难将它迁移到其它的问题中，也很难进行算法的debug。

🧀更重要的是，提高机器学习可解释性可以帮助我们提高模型的透明度和用户信任度，还能引导模型的开发和优化过程，有效识别和防止潜在的偏差问题，这对金融、医疗等领域至关重要。

🧀目前这方向有四种主流方法：局部解释性方法、全局解释性方法、基于规则的解释性方法和机制性解释性方法。为了方便大家找idea，我根据这四种方法整理好了15篇最新的论文，开源代码已附，想发论文的朋友别错过。

有需要的小伙伴可以关注人人人人公众号（AI科技探寻）免费领取

我还整理出了相关的论文+开源代码，以下是精选部分论文

 

论文1

标题：

Further Insights: Balancing Privacy, Explainability, and Utility in Machine Learning-based Tabular Data Analysis

进一步见解：平衡基于机器学习的表格数据分析中的隐私性、可解释性和效用性

方法：

• 隐私保护机制：采用(𝜖,𝛿)-差分隐私与生成对抗网络（GAN）相结合的方法，通过向数据中添加噪声来保护隐私。

• 效用评估：通过比较模型在原始数据集和匿名化数据集上的准确率来量化数据效用损失。

• 可解释性评估：使用多种模型解释方法，如模型性能评估、变量重要性分析、部分依赖曲线（PD）和累积局部依赖（AL）曲线，来评估模型的可解释性。

• 优化方法：定义了一个综合的权衡标准，通过线性优化方法和兼容性矩阵，系统地探索不同的隐私参数配置，以找到最优的隐私增益和可解释性相似度，同时最小化效用损失。

创新点：

• 隐私与效用的平衡：通过优化方法，成功地在保护隐私的同时，最小化了数据效用的损失。例如，在使用Logistic回归分类器时，当隐私参数𝜎=1时，隐私增益达到最大，同时效用损失保持在较低水平。

• 可解释性的提升：通过引入多种解释方法，显著提高了模型的可解释性。例如，对于Gaussian NB分类器，使用变量重要性解释方法时，可解释性相似度在𝜎=0.8时达到0.58，表明模型在隐私保护下仍能提供高质量的解释。

• 综合权衡标准：提出了一个综合的权衡标准，能够同时考虑隐私、效用和可解释性，为实际应用中平衡这些因素提供了有效的工具。通过兼容性矩阵，能够为不同的分类器和数据集找到最优的配置，确保在隐私保护和模型解释性之间达到最佳平衡。

 

论文2

标题：

Investigating Adversarial Attacks in Software Analytics via Machine Learning Explainability

通过机器学习可解释性研究软件分析中的对抗性攻击

方法：

• 对抗性攻击方法：提出了一种基于机器学习可解释性的对抗性攻击方法，通过修改模型解释技术识别的前𝑘个重要特征来生成对抗性样本。

• 特征重要性评估：使用SHAP、LIME和PyExplainer等可解释性技术来识别对模型决策影响最大的特征。

• 攻击效果评估：通过攻击成功率（ASR）指标来评估对抗性攻击的效果，同时考虑了攻击的不可感知性（ℓ0扰动）。

• 多目标优化：采用多目标优化方法，同时最大化ASR和最小化需要修改的特征数量，以实现攻击效果和不可感知性之间的平衡。

创新点：

• 攻击成功率的显著提升：通过修改仅前3个重要特征，攻击成功率（ASR）最高可达86.6%，显著高于现有方法。例如，在使用SHAP解释方法时，对Postgres数据集的攻击成功率达到了80.3%。

• 不可感知性的优化：在保持高攻击成功率的同时，通过最小化ℓ0扰动，确保了攻击的不可感知性。与现有方法相比，该方法在不可感知性方面表现更优，例如在对CLCDSA数据集的攻击中，仅需修改1个特征即可达到61.4%的ASR。

• 对多种模型和数据集的普适性：该方法不仅适用于单一模型或数据集，而且在多种机器学习模型和软件分析任务数据集上均表现出色，具有广泛的适用性。

 

论文3

标题：

Regulating Explainability in Machine Learning Applications – Observations from a Policy Design Experiment

监管机器学习应用中的可解释性——政策设计实验的观察

方法：

• 跨学科合作：通过跨学科团队（包括AI和政策背景的研究人员）的持续合作，进行为期十周的实验研究，共同设计可解释性政策。

• 迭代政策设计：采用迭代方法，每周进行政策草案的制定、尝试遵守和评估，逐步改进政策内容。

• 证据评估：讨论和评估不同类型的证据（如技术解释、用户研究等）在证明政策合规性中的作用。

• 案例研究：基于医疗和金融领域的实际案例，评估政策在不同场景下的适用性和有效性

创新点：

• 政策设计的可行性验证：通过实验验证了跨学科团队在短时间内设计出可行的可解释性政策的可能性，为政策制定提供了新的思路和方法。

• 政策内容的改进：通过迭代过程，显著改进了政策内容，使其更加具体、可操作和可执行。例如，在第七周的政策草案中，详细规定了对最终用户和受影响用户的解释要求。

• 证据评估的重要性：强调了在政策设计过程中讨论证据的重要性，特别是用户研究在评估解释有效性中的关键作用。这一发现为政策制定提供了新的视角，确保政策不仅在技术上可行，而且在实际应用中有效。

 

论文4

标题：

The efficacy of machine learning models in lung cancer risk prediction with explainability

机器学习模型在肺癌风险预测中的效能与可解释性

方法：

• 数据集分析：使用包含22个肺癌相关特征的公开数据集，分析特征之间的关系和分布。

• 模型选择与训练：选择并训练了四种机器学习模型（SVM、KNN、DT、RF），通过网格搜索算法进行超参数调优，以提高模型性能。

• 模型解释方法：使用决策边界、LIME和决策树提取等方法对模型的预测结果进行解释，提高模型的可解释性。

• 性能评估：通过交叉验证和测试集评估模型的准确率、精确率、召回率和F1分数，同时分析学习曲线以评估模型的训练效果。

创新点：

• 模型性能的显著提升：通过超参数调优，四种模型的准确率均达到了99%以上，其中SVM和KNN的准确率从95%和92%分别提升到100%和99%，显著提高了模型的预测性能。

• 可解释性的增强：通过多种解释方法，为非技术用户提供了模型决策的逻辑解释，增强了用户对模型的信任。例如，使用LIME方法解释KNN模型时，能够清晰地展示影响预测结果的关键特征及其值范围。

• 实际应用的可行性：研究结果表明，这些机器学习模型不仅在性能上表现出色，而且在实际应用中具有高度的可行性和可解释性，为肺癌风险预测提供了有力的工具。