了解“黑匣子”机械学习模型预测后面的机制

机器学习模型通常被称为“黑匣子”,因为它们的知识表示不直观,而且,因此,很难理解他们的工作原理。可解释的机器学习是指克服大多数机器学习算法的黑匣子性质的技术。通过揭示各种功能如何为预测贡献(或不贡献),您可以验证该模型正在使用正确的证据,以获得其预测,并找到在培训期间不明显的模型偏差。

从业者寻求模型解释性,主要有三个原因:

  1. 指南:“黑匣子”模型违反了许多企业技术的最佳实践和个人喜好。
  2. 验证:了解预测出错的地方或为什么运行“When-If”方案以改善模型鲁棒性并消除偏差的尺寸是有价值的。
  3. 法规:规模可解释性必须遵守政府对敏感申请的规定,例如金融,公共卫生和运输。

可解释的机器学习解决了这些问题,并在预测解释的情况下增加了模型的信任,这是重要的或要求的。

可解释的机器学习在三个层面上工作:

当地的:解释个人预测背后的因素,例如贷款申请被拒绝的原因

队列:展示模型如何在培训或测试数据集中对特定人口或组进行预测,例如将一组制成的产品被归类为缺陷的原因下载188bet金宝搏

全球的:了解机器学习模型如何在整个培训或测试数据集上工作,例如由模型分类放射学图像考虑哪些因素

一些机器学习模型,例如线性回归和决策树,是固有的解释。但是,解释性通常以牺牲功率和准确性为代价。

图1:模型性能与解释性之间的权衡。

使用马铃薯®用于机器学习,您可以应用技术来解释和解释最受欢迎和高度准确的机器学习模型,该模型并不固有地解释。

本地可解释模型 - 不可知的解释(石灰):用简单的可解释模型(例如线性模型或决策树)近似于对兴趣预测的邻域的复杂模型,并将其作为代理以解释原始(复杂)模型的工作原理。下面的图2说明了涂抹石灰的三个主要步骤。

图2:如何获取本地可解释的模型 - 不可知的解释(石灰)。

部分依赖和个人有条件期望地块:通过在所有可能的特征值上平均模型的输出来检查一个或两个预测器对整体预测的影响

图3:显示X1是否高于或低于3000的部分依赖性图,这对预测产生了很大差异

您可以使用MATLAB进行其他流行的解释性方法,包括:

  • 置换预测值重要性:查看测试或培训数据集的模型预测错误并将预测器的值进行洗牌。误差变化的大小从破坏预测器的值对应于预测器的重要性。
  • 福利价值:源于合作博弈论,福利价值是各种可能的“联盟”的特定特征的平均边际贡献,即特征的组合。评估所有特征组合通常需要很长时间,因此在实践中,抑制诸定应用Monte Carlo仿真近似。
总之,模型可解释性的主要用例是:
当地的 队列 全球的
解释说: 个人预测 人口小组上的模型行为 模型行为“任何地方”
用例

当个人预测出错时

预测似乎是反直观的

什么 - 如果分析

防止偏见

验证特定群体的结果

展示模型的工作原理

比较不同的部署模型

适用的解释性方法

酸橙

局部决策树

匀称价值

数据子集的全局方法

PDP /冰

全球决策树

特征重要性

解释性方法有自己的限制。最佳实践是要知道将这些算法适合各种用例的限制。可解释性工具可帮助您理解为什么机器学习模型使其成为预测,这是验证和验证AI应用的关键部分。认证机构目前正在开展认证AI的框架,用于敏感应用,如自主运输和医学。