这篇文章来自总局品牌工程和计算机科学教授、博士和能力。

这是第三个帖子3-post系列可辩解的人工智能(新品)。在第一篇文章,我们显示的例子,提供实用的建议如何以及何时使用新品技术为计算机视觉任务。在第二个帖子,我们提供的谨慎和讨论了限制。在这篇文章中,我们总结系列提供开始使用explainability实用指南,包括技巧和例子。

在这篇文章中,我们集中在图像分类任务,并提供4实用技巧,帮助你做出最简单的人工智能技术,如果你准备在你的工作实现explainability。

技巧1:explainability为什么重要?

深入许多实用的细节与之前使用的新品技术在你的工作,你应该先检查你使用explainability的理由。Explainability可以帮助你更好地理解模型的预测和揭示错误在您的数据模型和偏见。

在本系列的第二篇博文,我们评论使用因果的新品技术协助诊断潜在的错误,深度学习模型可能使;即生产结果看似正确但模型显示,“看错了地方。”文学中一个典型的例子证明哈士奇和狼图像分类算法事实上,“雪探测器。”(图1)。

图1:错误分类的例子“哈士奇和狼”的形象分类器由于伪相关的图像之间狼和雪的存在。右边的图片,显示的结果石灰因果的新品技术,抓住了分类器错误。(源]

这些例子并不多。但高风险的领域(如医疗)和敏感话题在AI(偏见和公平等)?在放射学领域,有一个著名的例子模型旨在确定肺炎在胸部x光学会识别金属标记放射技师在角落里放置的图片(图2)。这个标记通常是用来表示源医院形象。结果,模型进行有效地分析图像时从医院他们训练,但是当面对挣扎图像从其他医院有不同的标记。最重要的是,可辩解的人工智能显示,模型没有诊断肺炎但分类存在的金属标志。

图2:深度学习模型检测肺炎:CNN已经学会检测金属牌,放射学技术在图像的病人在角落里的视野时捕获的图像。当这些强大的功能与疾病患病率,模型可以利用它们来间接地预测疾病。(源]

例子

这个例子显示了MATLAB代码产生事后归因的解释(使用两个流行的因果的新品技术,Grad-CAM和图像石灰)医学图像分类任务。

技巧2:你可以使用一个固有的可说明的模型?

深度学习模型通常是首选考虑,但他们应该吗?问题涉及(字母数字混合)表格数据有许多可判断的ML技术可供选择,包括:决策树、线性回归,逻辑回归,广义线性模型(glm)和广义可加模型(gam)。然而,在计算机视觉,深度学习的流行架构如卷积神经网络(cnn),最近,视觉变形金刚,使得有必要实现可视化网络预测机制后的事实。

在一个具有里程碑意义的论文辛西娅·鲁丁,杜克大学的研究员和教授做了一个坚定的主张的可翻译的模型(而不是因果的新品技术应用于一个不透明的模型)。唉,处方使用的解释模型和成功是两个截然不同的东西;例如,一个可翻译的模型从鲁丁的研究小组,ProtoPNet,取得了相对温和的成功和受欢迎程度。

总之,从务实的角度来看,你最好不要用pretrained模型等的在这里和处理他们的不透明性通过明智地使用因果的新品技术比着手一个耗时的研究项目。

例子

这个MATLAB页面简要的概述可解释性和explainability,许多代码示例的链接。

技巧3:如何选择正确的explainability技术?

有许多因果的新品技术可供选择,其中几个可用MATLAB库函数,包括Grad-CAM和石灰。这是两个最受欢迎的方法在一个日益增长的领域,有30多个技术可供选择(截至2022年12月)。因此,选择最佳的方法,则可能让人生畏。在人工智能与许多其他决定,我建议首先最受欢迎的,广泛的可用方法。以后,如果你收集足够的证据(例如通过运行试验与人工智能解决方案的用户),某些技术工作最好在某些情况下,您可以测试和采取其他方法。

感知的图像分类的情况下,提供的附加价值的新品技术还可以关联到的视觉显示结果。图3提供了五个例子新品的可视化结果的使用不同的技术。其中视觉结果明显不同,这可能会导致不同的用户选择不同的方法。

图3:不同的因果的新品技术的例子和相关可视化选项。(源]

例子

基于gui的UNPIC应用让你探索一个图像分类模型的预测使用几个深度学习可视化和新品技术。

技巧4:你能提高新品的结果,使他们更多的以用户为中心?

您可以查看可辩解的人工智能技术作为一个选项解释模型的决策以及一系列其他选项(图4)。例如,在医学图像分类、人工智能解决方案,预测疾病的病人的胸部x光片可能使用逐渐增加程度的explainability: (1)没有explainability信息,只是结果/预测;(2)添加输出概率最有可能的预测,给与其关联的信心;(3)添加视觉特点信息描述图像的领域推动预测;(4)结合预测结果从医学案例检索系统(MCR)和指示与真实情况下这可能影响预测;(5)添加电脑语义解释。

图4:新品是一个渐进的方式:除了模型的预测,可以添加不同类型的支持信息解释的决定。金宝app(源]

例子

这个例子显示了MATLAB代码产生事后归因的解释(热图)和输出概率食物图像分类任务,展示了其效用评价的误分类的结果。

一个备忘单与实际的建议、提示和技巧

使用因果的新品可以帮助,但不应该被视为一种灵丹妙药。我们希望讨论,想法,建议在这个博客系列是对你的专业有用的需求。最后,我们提出一个备忘单与一些关键的建议对于那些想要使用可辩解的AI在他们的工作:

1	开始于一个清晰的理解你试图解决的问题的具体原因,您可能希望使用可辩解的人工智能模型。
2	只要有可能,本质上使用一个简单模型,如决策树,或基于规则的模型。另一方面,cnn服从因果的新品技术是基于梯度和重量值。
3	可视化和评估模型输出。这可以帮助您理解如何决策模型并识别任何可能出现的问题。
4	考虑在决策过程最终用户提供额外的上下文,如功能重要性和敏感性分析。这可以帮助建立信任模型中,增加透明度。
5	最后,文档的整个过程,包括使用的数据、模型体系结构,用于评估模型的性能的方法。这将确保再现性,并允许其他人来验证你的结果。

阅读更多关于它:

• Christoph Molnar的书“可翻译的机器学习”(可用在这里)是一个很好的参考绝大的主题解释/可辩解的人工智能。
• 这2022年的论文Soltani,考夫曼和Pazzani正在进行的研究提供了一个示例的重点转移的新品解释向以用户为中心(而不是开发者)的解释。
• 2021年博客图像识别的视觉诠释的历史阿里·阿布达拉,提供了一个丰富的插图介绍最流行的因果的新品技术和为他们的发展提供了历史背景。