可解释人工智能

发布的Johanna Pingel,2019年6月20日

90个视图（过去30天）| 0喜欢| 3评论

6月初，我有幸受邀参加MathWorks研究峰会，由Heather Gorr (https://github.com/hgorr)关于“可解释的人工智能”，由研究人员、实践者和各种行业专家组成的多元化团队。我想重述一些讨论，并提供一个与更多观众保持对话的场所。

Heather首先对可解释人工智能进行了概述，并对其进行了定义，为谈话定下了基调:“你想知道人工智能为什么会做出某种决定，这可能涉及从信用评分到自动驾驶的广泛应用。”

座谈小组和观众随后提出了一系列问题、想法和主题:

可解释是什么意思?

可解释性可能有很多含义。根据定义，“解释”与推理和明确推理有关。但还有其他方式来思考这个术语：

- 可辩解的可能意味着可说明的.
  - 事实上，可解释性甚至可能比可解释性更重要:如果一个设备给出了一个解释，我们能否在我们试图实现的背景下解释它?例如，符号形式的数学公式或决策假设用户对这些公式和符号的含义有所了解。

- 另一个关键术语是抽象:我们需要多少解释?
  - 例如，如果您使用的是神经网络，您是否需要了解每个节点末端发生了什么？在每层的末尾？在分类层？
  - 你的听众是谁：他们是经理吗？他们是工程师吗？他们是最终用户吗？如果你是一名工程师，试图给出花费公司预算的理由，你需要找到一种方法向经理解释这一层面的原因。两位科学家进行对话和一位科学家在另一个领域与随机的人交谈是有区别的。

可解释性是关于需要一个“模型”来验证您所开发的内容。为了共同工作并保持信任，人类需要一个计算机正在做什么的“模型”，就像计算机需要一个人类正在做的“模型”一样。

模型也需要理解

挑战在于人们不理解系统，系统也不理解人们。我们需要系统的模型来向人类理解和解释事物。我们还需要人类头脑中关于系统功能的模型。

这方面的一个例子是在空间中导航的服务机器人，它有一定的限制，比如安全问题(不会撞到人)、电池寿命和规划的路径。当出现问题时，机器人可以解释他们的马尔科夫模型，但这对路过的终端用户没有任何意义。

您可能希望计算机提供人类可读的输出，而不是马尔可夫模型。这可能会让系统付出代价。也许这减慢了系统的速度，或者由于在UI中生成输出而使构建成本更高。

提问：你可能想问系统一些问题来验证结果:

“你想做什么，你的目标是什么?”
“你为什么做出这个决定？”
“哪些是合理的替代方案，为什么会被拒绝?”

如果计算机能够合理地回答这些问题，用户很可能会对结果感到更舒服。

例如，预测天气事件。如果您看到一个决策树，这可能不能完全解释为什么预测某个事件。将其与下面人类可读的输出进行比较:

预计费尔法克斯县将出现龙卷风预警。这种情况发生的置信度为75%，最小和最大持续时间为1-2小时。这是基于具有相似特征的历史数据，如历史频率、温度、风速和晴雨表读数。”

讨论中的其他想法

下面是该小组提出的问题、评论和开放式陈述的列表。

风险与信心:如果我对结果有信心，我有多大可能想要看到解释?我们在日常生活中使用风险和自信。例如，像谷歌地图这样的地图软件——我们不一定知道为什么算法会指引人们这样或那样。图书推荐是另一个低风险预测的例子。如果推荐系统出错，最糟糕的情况是什么?
- 如果神经网络在100%置信度下100%工作，我们真的关心解释能力吗？
关于可解释性的讨论在各个行业中都有很大的差异。
- 金融vs.航空vs.自动驾驶。这些都有不同的要求。
安全比解释更重要。一个通向另一个吗？
关于高等教育：如果我们不解决人工智能的可解释性问题，我们最终将教育博士生，他们只知道如何盲目地训练神经网络，而不知道它们为什么工作（或为什么不工作）
在某些应用中，尤其是对安全至关重要的应用，验证过程的一部分将是有人试图破坏它。
- 这可能包括测试数据，如已知会混淆系统的假输入数据，并可能给出不正确的结果。
测试网络:如果模型呈现的是完全陌生的东西，而不是在原始数据集中，该怎么办?系统将如何回应?
一个系统如何“忘记”错误的决定?作为人类，我们可以说“那个决定对我不再有效，我固有的决策不起作用了。”
- 遗忘对于人类和机器来说都是一个难题。如果你不知道你的AI为什么/如何学习，你如何让它忘记一些东西?
- 网络可能比人类更具优势的一个例子是肌肉记忆。例如，美国的行人本能地学会在过马路前先向右看。网络没有这种“肌肉记忆”，可以通过训练来学习世界某一地区的规则。
- 当我们试图使用对抗性网络时，我们能使用它吗不了解图像的各个方面？
网络应该根据任务和他们期望遇到的情况而被很好的定义。如果我们保持我们的网络透明(训练数据和网络架构都是透明的)，并且在一个定义良好的问题范围内，这可能会消除错误。