机器学习模型通常被称为“黑箱”，因为它们对知识的表示不直观，因此很难理解它们是如何工作的。可解释性是指克服大多数机器学习算法的黑盒性质的技术。
通过揭示各种功能如何为预测贡献（或不贡献），您可以验证该模型正在使用正确的证据，以获得其预测，并找到在培训期间不明显的模型偏差。一些机器学习模型，如线性回归，决策树和生成的添加剂模型是固有的解释。然而，可解释性通常以预测功率和准确性为代价（图1）。
图1：模型性能和可解释性之间的权衡。
应用可解释性
从业者寻求模型的可解释性主要有三个原因：
- 调试：理解预测哪里出错或为什么出错并运行“假设”场景可以提高模型的稳健性并消除偏差。
- 准则：“黑箱”模式违反了许多公司技术最佳实践和个人偏好。
- 法规：对于金融、公共卫生和交通等敏感应用，模型的可解释性需要符合政府法规。
模型解释性地解决了这些问题，并在用于预测的解释的情况下增加了模型的信任，这是由监管重要的或要求的。
可解释性可以应用于三个级别，如下图2所示。
- 当地的：解释个人预测背后的因素，如贷款申请被拒绝的原因
- 队列：演示模型如何在培训或测试数据集中对特定人群或群体进行预测，例如为什么一组制造产品被归类为故障产品下载188bet金宝搏
- 全球的：了解机器学习模型如何在整个培训或测试数据集上工作，例如由模型分类放射学图像考虑哪些因素
图2：模型可解释性的用例。
在MATLAB中使用解释性技术
使用马铃薯®对于机器学习，您可以应用一些技术来解释和解释大多数流行的、高度精确的机器学习模型，这些模型本质上是不可解释的。
本地可解释模型 - 不可知的解释（石灰）：用简单的可解释模型（例如线性模型或决策树）近似于对兴趣预测的邻域的复杂模型，并将其作为代理以解释原始（复杂）模型的工作原理。下面图3说明了涂抹石灰的三个主要步骤。
图3：通过适合A.石灰物体，一个简单的可解释模型，可以在MATLAB中获得解释。
部分相关性（PDP）和个体条件期望（ICE）图：通过在所有可能的特征值上平均模型的输出，检查一个或两个预测值对总体预测的影响。下面的图4显示了使用MATLAB函数生成的部分依赖图绘图竞争依赖性.
图4：显示x1是否高于或低于3000的部分依赖图，这对预测和模型解释性有很大影响。
Shapley值：通过计算感兴趣预测与平均值的偏差，说明每个预测值对预测的贡献程度。这种方法在金融业很流行，因为它源自博弈论，并且满足提供完整解释的监管要求：所有特征的Shapley值之和对应于预测与平均值的总偏差。这个Matlab功能夏普利计算福利值的查询点。
图5：福利值表示每个预测器偏离兴趣点的平均预测。
评估所有功能组合通常需要很长时间。因此，在实践中，福利值通常通过施用来近似蒙特卡罗模拟.
Matlab还支持随机森金宝app林的允许预测标志重要性，这L观察测试或训练数据集上的模型预测误差，并对预测值进行无序排列，并根据预测值的重要性对其进行无序排列，从而估计误差变化的幅度。
选择一种可解释性的方法
图6概述了固有的可说明的机器学习，各种（模型 - 不可知）可解释性方法以及何时应用它们的指导。
图6：如何选择适当的解释性方法。
可解释性方法有其自身的局限性。最佳实践是在将这些算法适合于各种用例时注意这些限制。可解释性工具可帮助您理解机器学习模型为何会做出预测，这是验证和验证AI应用程序的关键部分。认证机构目前正在制定一个框架，用于为诸如自动运输和医药等敏感应用程序认证人工智能。
