机器学习模型通常被称为“黑盒子”，因为它们对知识的表示不是直观的，因此很难理解它们是如何工作的。可解释性是指克服大多数机器学习算法的黑箱特性的技术。
通过揭示功能如何促进各种（或不参与）来预测，你可以验证该模型是使用其预测正确的证据，并发现，训练过程中没有明显的模式偏差。有些机器学习模型，如线性回归，决策树，并生成相加模型本质上是可解释的。然而，经常解释性正值预测能力和精度（图1）为代价的。
图1:模型性能和可解释性之间的权衡。
应用可解释性
实践者寻求模型可解释性主要有三个原因:
- 调试:理解预测出错的原因和原因，并运行“假设”场景，可以提高模型的稳健性并消除偏差。
- 指南:“黑盒”模型违背了许多公司技术最佳实践和个人偏好。
- 法规：为符合政府对金融、公共卫生和交通等敏感应用的规定，需要模型可解释性。
型号解释性解决了这些问题，并增加了信任模型在预测为解释是重要或法规要求的情况。
解释性可以在三个水平示于下面图2来施加。
- 当地的：解释个人预测背后的因素，比如贷款申请被拒绝的原因
- 人群：演示模型如何在训练或测试数据集中对特定人群或组进行预测，例如为什么一组制造的产品被归类为错误产品下载188bet金宝搏
- 全球:了解机器学习模型作品在整个训练或测试数据如何设置，如哪些因素通过模型分级放射影像考虑
图2:模型可解释性的用例。
在MATLAB中使用可解释性技术
使用马铃薯®机器学习,你可以应用技术来解释和解释最流行的、高度精确的机器学习模型，这些模型本质上是无法解释的。
当地解释的模型无关的解释（LIME）：在近似用一个简单的解释模型，感兴趣的预测附近一个复杂的模型，如线性模型或决策树，并把它作为一个替代解释如何原来的（复杂）的样板工程。图3示出了下面将石灰的三个主要步骤。
图3：通过配件一石灰对象，一个简单的可解释模型，可以在MATLAB中获得LIME解释。
部分依赖(PDP)和个人条件期望(ICE)图:通过在所有可能的特征值上平均模型的输出，检验一个或两个预测器对整体预测的影响。下面的图4显示了用MATLAB函数生成的部分依赖图plotPartialDependence．
图4：部分相关图，显示x1是否高于或低于3000，这对预测有很大的影响，因此，模型的可解释性。
沙普利值:通过计算兴趣预测的偏离平均值，解释每个预测器对预测的贡献。这种方法在金融行业很受欢迎，因为它源于博弈论，满足了提供完整解释的监管要求:所有特征的Shapley值之和对应于预测的总偏离平均值。的MATLAB功能沙普利单位计算沙普利值感兴趣的查询点。
图5：夏普利值表明有多少每个预测与平均预测的关注点偏离。
评估的特征的所有组合通常需要很长的时间。因此，在实践中的Shapley值通常通过应用近似蒙特卡罗模拟．
MATLAB还支持随机森金宝app林，置换预测其重要性l在测试或训练数据集上查找模型预测错误，并洗选一个预测器的值，并估计从洗选预测器的值对应于预测器的重要性的误差变化的幅度。
选择适合解释性一个方法
图6提供了固有地解释的学习机，各种（模型无关）解释性方法，和指导的关于何时应用这些的概述。
图6：如何选择合适的解释性方法。
可解释性方法有其自身的局限性。最佳实践是，当您将这些算法应用于不同的用例时，要意识到这些限制。可解释性工具帮助你理解为什么机器学习模型会做出这样的预测，这是验证和验证人工智能应用的关键部分。认证机构目前正在制定一个框架，对自动交通和医疗等敏感应用的人工智能进行认证。
