Bernhard Suhm, MathWorks
建立良好的机器学习模型是困难和耗时的,很少有工程师和科学家有必要的经验。自动机器学习(AutoML)将这一过程简化为几个步骤,只需一步就能识别出最佳模型并优化超参数,因此任何工程师都可以使用机器学习。我们还将演示MATLAB中可用的各种可解释方法,这些方法克服了机器学习的黑箱特性,降低了在无法容忍黑箱模型的行业中采用机器学习的门槛,包括金融和医疗应用。最后,我们解释了增量学习如何使模型随着时间的推移而改进,并适应不断变化的条件。
Bernhard Suhm是MathWorks的机器学习产品经理。他与客户和开发团队紧密合作,以解决我们的机器学习相关产品的客户需求和市场趋势,主要是统计和机器学习工具箱。下载188bet金宝搏在加入MathWorks之前,Bernhard曾在卡耐基梅隆大学和卡尔斯鲁厄大学(德国)攻读语音用户界面博士学位,并将分析学应用于呼叫中心客户服务的优化交付。
录制时间:2020年12月15日
你好。我叫Bernhard Suhm。我是MathWorks统计和机器学习的产品经理。欢迎参加本次网络研讨会,讨论如何通过AutoML和Interpretability降低AI采用的障碍。
人工智能在哪里遇到了应用障碍?这里有几个例子。人工智能模型不像传统方法那么容易解释。这家金融服务公司的数据科学团队开发了另一个基于神经网络的流动性模型,但无法向高层利益相关者解释它是如何工作的,这些人后来拒绝了他们的批准。
意外的偏见潜入模型。[??imodel?]使用用于确定信用限制的信用卡发卡者对女性卡用户展示了意外偏见。作为第三个例子,长期以来已经预期数据驱动的方法有助于改善保健的交付。该和类似的文章识别在该部分中采用的多个障碍。例如,害怕无法解释的致命错误,或者自动化被视为对现有工作的威胁。
今天我们将重点讨论解决这两个障碍——在没有大量迭代调优工作和使用AutoML的专业知识的情况下获得优化的模型。第二,克服对人工智能模型黑箱性质的反对。
我将使用两个例子说明对这些挑战的金宝搏官方网站解决方案 - 人类活动识别;从医疗领域,心电图分类。虽然本演示文稿的大部分侧重于机器学习作为AI,但我将概述深度学习存在的类似解决方案。金宝搏官方网站通过解决AI采用的一些其他障碍,我会得出结论。
退一步来看,人工智能在许多行业中已经被广泛采用,这真的很令人惊讶。这里有一些来自我们用户的例子。宝马使用了各种传感器来预测汽车在哪里进入过度转向[听不清]。在制造方面,半导体公司ASML提高了硅晶圆上覆盖层的测量精度。Atlas Copco通过使用传感器数据更新数字孪生压缩机,以及其他许多例子,改善了数千台已部署压缩机的监控。
在我们深入讨论这个话题之前,让我们先澄清一下我们所说的人工智能是什么意思,因为在社区中有多种概念。从广义上讲,人工智能可以指任何能够让计算机或机器人执行通常与智能相关的任务的程序。然后,在80年代,机器学习出现了,它应用统计方法从数据中学习任务,而不需要明确的编程。
然后深度学习作为一种机器学习出现了,它使用了很多很多层的神经网络。今天的收养有什么限制?高德纳(Gartner)的一项研究对此进行了调查,采访了100多名高管。这就是他们得到的。
靠近顶部,工作人员的技能,不知道如何应用AI,以及可用的数据,范围和质量以及对未知的恐惧,特别是不了解AI的好处以及它如何使用。此类和其他研究确认了成功采用AI的顶级障碍缺乏具有足够技能的员工,AI模型的Blackbox性质以及标记数据的可用性。
今天的谈话将专注于前两个障碍 - 缺乏AI技能和黑箱性质。对这些障碍的有效解决金宝搏官方网站方案需要了解缺乏AI技能和更多透明度会影响建设和将AI模型集成到系统中的工作流程。
这张图显示了机器学习的工作流程。但深度学习也会以类似的方式受到影响,我们稍后会讨论一些细节。所以这些任务是众所周知的耗时和需要大量的专业知识。
预处理后的数据通常会占用数据科学家的大部分时间,然后是特征工程。为了获得好的特征,经常需要领域知识,特别是对于通信、雷达信号和文本处理。
接下来,您需要确定许多型号中哪一个适合您的问题。机器学习中有“没有免费午餐”。考虑到一个具体问题,甚至专家们也不能判断他们最好的模型。选择模型后,您需要调整其Quand参数才能获得良好的性能。
随着您的进步部署,您可能会意识到您的模型的大小太大。因此,您可能需要返回并选择性能功能的子集。最后,将您的模型集成在更大的系统中可能要求您向不熟悉AI工作的利益相关者解释模型行为。
如果您申请深度学习而不是机器学习,您将基本上面临着类似的挑战。您仍然必须调整和高级网络。而不是优化模型,您必须在不同的网络架构之间进行选择。尽管深度学习未知不需要特征,但至少用于信号和文本应用,某种形式的数据减少对于良好的性能至关重要。
我们将在两个应用程序的上下文中展示我们的解决金宝搏官方网站方案,并在这里开始使用数字健康 - 基于ECG日期对心脏状况进行分类的任务。ECG信号通常由所谓的QRS波的特征在于。这是心脏信号中的这种大尖峰。这种信号使心肌强烈地合同并将富含氧气的血液推入所有动脉。它需要很大的力量。
这里的其他方式与将缺氧血液转移到肺部有关。但专家们关注的是这些大的R峰之间的距离,即所谓的R-R间隔。这就是您需要记住的,以便能够遵循我们将要设计的特性类型。
所以我们首先解决降低技能需要构建人工智能模型构建模型交互,就像这里所谓的分类学习者应用程序,让你可以比较不同的性能畅销车型在点击一个按钮,使用不同的指标评估的准确性,然后甚至交互式地调整超参数。
但我们不讨论它,让我们在MATLAB中看看。让我们更详细地讨论我们可以为这个任务使用什么样的特性。当然,你们没有医学知识,但我提到过这些R峰之间的距离很重要,R-R区间。
我们来看三个连续的间隔。我不仅要看它们发生得有多快,还要看它们的比率,1 / 2和3 / 2的比率。我不会告诉你们如何计算这些特征。相反,我们将预先计算它们加载到工作区中。但是你可以在这里,RR0 RR1 RR2,然后是比值。
接下来,我们将在分类学习器中交互式地构建几个模型。你可以在应用程序选项卡上找到它。在加载数据之后,我已经构建了两个模型——查找决策树和逻辑回归,这是解决两个类问题的良好基础模型。但是你看,精确度要低得多。
支撑向量金宝app机也不得多。让我们尝试像中树这样的模型。这表现明显更好。最后,让我们尝试树木或随机森林的样本。
这似乎表现最好。所以这是我们想更稍后分析的那个。因此,为此做准备,我将把它导出为变量。这应该给你一个感觉,它可以建立几个模型,并比较他们的性能。
但是AutoML添加了什么呢?这是我们的工作流程,所有这些复杂的,你刚刚品尝了一些。嗯,AutoML的思想,至少在理论上,是消除所有这些复杂性,理想情况下直接从分类问题中预处理的数据到一个经过优化并准备部署到系统中的模型。目前市场上没有一种AutoML解决方案能够接近这个雄心勃勃的目标。
然而,在MathWorks,我们已经为工程应用开发了AutoML的一个版本。这是我们的工作流程。作为解决特征工程问题的第一步,我们依靠小波的经验。他们非常擅长匹配现实世界信号中的峰值和不规则点。您可能不太了解小波,但这并不妨碍您应用这些技术。
其次,由于通常会生成数百个小波特征——对于小型模型来说太多了——您需要选择性能特征的子集。MATLAB支持多种特征自动选择方法。金宝app最后,关键是内置超参数优化的模型选择。我们有一个单一的步骤功能来实现这些目标,并提供一个优化的模型。
让我们更详细地看看这三个步骤。首先,利用小波散射生成特征。你可能想知道什么是小波。它们帮助我们把信号分解成更小的部分。如果你知道傅里叶分析,它把信号组成窦成分。类似地,小波将信号分解成小波分量。
然而,小波在时间上非常有限,而且它们的宽度可以变化。所以它们非常适合匹配信号中微小的不规则,就像动画中提到的那样。
然后,小波散射将一个复信号分解成不同的小波分量。这样做的好处是你不需要弄清楚是哪种小波。这是自动为你完成的。
然后这些特征也会被计算出来。有些人将其与深层网络的最初做法进行了比较。它们将图像分解成不同的组成部分。小波散射的优势在于,与深度网络不同,您不需要数百万个数据示例。这对信号和图像数据都适用。
下一步,在AutoML语音特征选择中,有许多方法可用。在这里,我只强调一些。NCA在分类回归中工作得很好。不过,最近我们又添加了MRMR,即特征的最小冗余和最大相关性,它计算速度非常快,是模型独立的,并提供了一组强大的特征。如果你有一个高维特征空间,并正在寻找快速计算,这两个单变量方法,我们最近添加的可能会帮助你。
第三,让我们更好地理解带超参数调优的同时模型优化。在接下来的动画中,您可以看到对不同模型类型的优化。在幕后,也有许多不同类型的参数组成,所以错误率在这里显示的蓝色随时间减少并收敛到最小。
为了使这个过程更有效,我们使用了与我们在过去版本中应用于超参数调优相同的贝叶斯优化技术。这使我们能够有效地转移这个大空间的模型和超参数组件,并限制计算时间。然而,说实话,它在计算上仍然很昂贵。因此,您需要在更大的数据集上实现并行化。AutoML函数支持并行计算。金宝app
我们将在人类活动识别任务上演示AutoML,从你手机的加速度计获取传感器数据,然后分类你正在进行的活动类型——走路,站立,躺着。首先,我们将加载这些原始数据并将其可视化,我们称之为堆栈图,这样你就可以从X, Y和Z看到加速度计。
这里我选择了活动从走路变成坐着的部分。你可以看到明显的区别。所以你可能会想什么样的特征会捕捉到这种变化。相反,我们在AutoML中应用小波散射作为第一步,你首先定义小波框架使用这个函数它只有信号长度和采样频率作为输入。
然后,对未缓冲的列车数据和原始测试数据进行小波散射。让我看看这里,它能计算近500个小波特征。所以对于一个小模型来说,这些太多了。
第二步,在AutoML中,我们应用自动特征选择,这里是FS MRMR函数,它代表计算特征的最小冗余和最大相关性。它会对超过500个功能进行排名,只显示前50个。下面是排名。你可以看到分数下降得相当快,但是有一条长尾巴。
因此,为了得到一个更紧凑的模型,我们只选择前25个特征。然后,作为AutoML的第三步和中心步骤,我们应用模型选择和调谐函数fitcauto。让我们开始吧。
您可以确定各种参数。我们将迭代的数量限制为50.所以它很快就会完成。在这里,它开始评估了第一次耦合模型和超参数组合。您可以看到k-最近邻模型,SVM树,判别分析。在这里,您可以了解错误绘图如何开始达到较低的值。
你可能想知道这到底有多有效?我们比较了AutoML,就像你们刚才看到的我在MATLAB中的步骤一样,与手动过程进行比较,首先确定要使用什么特性,然后尝试许多不同的模型,并手动优化超参数。
首先,我们看一下刚才演示的人类识别测试。我们还将其与心音分类相比较,也就是对心音录音进行录音,然后将其分为正常和不正常。这是结果。
AutoML匹配那些在机器学习方面有经验的人试图应用交易技巧并优化模型性能的模型的性能。AutoML的重点并不是它将击败手动优化过程,而是获得一个无需复杂和耗时的模型构建过程就能达到相当精度的模型,这是一个巨大的胜利。
让我们来看看采用人工智能的第二个障碍,即模型的黑箱特性。理想情况下,我们有可解释的、高度精确的可用模型。但这张图表显示了可解释性和预测能力之间的权衡。
有一些很容易解释的模型,比如决策树,逻辑回归,线性模型。但它们的性能不如更复杂的模型,如树、支持向量机和深度学习网络。因此,要克服这种黑箱性质,就需要可解释性。
但更具体地说,至少在某些行业,有监管要求,比如金融业。或者在欧洲,有GDPR。对于医疗设备,美国的食品和药物管理局有相关规定。
最后,数据科学家,为了改进模型,他们喜欢更详细地了解它们是如何工作的。所以,帮助他们恢复可解释性是有帮助的。我用了可解释性,更具体地说,是指传统机器学习中模型决策的因果关系。然而,我认为可解释人工智能主要用于深度神经网络的可视化激活。
让我们更好地理解法规要求可解释性的地方。我已经提到了金融业。在这方面,信用和市场风险模型确实需要解释清楚。原因之一是用于这些用例的传统模型非常容易解释。这正是包括高级管理层和监管机构在内的利益相关者所期待的。
有一些典型的复杂模型,在金融领域非常流行,有树的梯度,还有一些深度神经网络。作为可解释性的方法,Shapely非常流行。过几分钟你就会明白为什么。
相比之下,在汽车和航空行业,你需要满足安全认证要求。采用深度神经网络进行图像识别和强化学习,绘制路径。实际规则尚未最终确定,但MathWorks在此类安全关键应用方面有着丰富的经验,这些应用适用于ISO 262626或飞行规则(例如DO-178)的车辆。这里提到的这两个机构目前正在为人工智能发布类似的指导。MathWorks也参与了其中一些对话。
作为第三产业,至少某些类别的医疗器械需要获得医疗监管部门的批准。深度神经网络也用于图像分析,但也用于经典的机器学习。这里的地貌还没有完全进化。
如果你在不同的行业工作,有特定的可解释性要求,我们很乐意听取你的意见。我在这里提到了几个流行的可解释方法。让我来帮助你理解什么是可使用的解释方法以及何时使用它们。
所以在这个过程开始的时候,你可能会问自己,这些可解释的方法对我的问题有足够的准确性吗?然后,你可以使用那些固有的解释,比如,线性模型和GAMs的权重,或者贝叶斯模型的分支和决策树和后置。
如果这些简单的模型不够精确,你需要考虑更复杂的模型。但下一个问题是,我需要只解释局部行为吗?如果是这种情况,有LIME可用和形状。
区别在于你是否需要一个完整的解释。而只有shaely提供了一个完整的解释,所有因素的贡献。这就是金融监管的要求。这就是沙普利在这个行业受欢迎的原因。然而,如果您正在寻找一个全局解释,那么特性重要性和部分依赖图是可以采用的方法。
石灰代表本地可解释的模型 - 不可止境的解释。这太满了。但在心脏,这是一种相当简单的方法。我们近似复杂的模型,如这里与该复杂决策边界中的蓝色点和绿点。
我们近似不是到处,而是在这里显示的兴趣点附近。为此,您可以在该附近挑选两个类的标记斑点,然后使用那些在这种情况下使用那些类似的模型来构建一个简单的模型。然后,您可以使用该简单模型的固有消耗性来为复杂的模型提供近似值。因此,在该示例中,这些不同因素的权重可以解释这内的复杂行为。
让我们来看看另一个演示而不是更多地谈论它。我们将从ECG分类中返回我们的第一个例子。由于要应用模型可解释性,您需要期望您的模型应该如何表现,从应用程序域中绘制知识或数据。相比之下,难以从人类活动识别示例中自动生成的小波特征导出这样的期望。
记住,在我们训练几个模型之前其中,有一个中等决策树。验证模型的一种方法是利用其固有的消耗性。对于树来说,那是树枝。这里我们展示了这个模型的树形分支。
您可以看到该决定研究了这些RR值。如果他们足够小,你就离开了,再次离开了。然后你最终有一个异常的心脏。那讲得通。
如果这些间隔非常小,说明心脏跳动非常快。所以这可能是一个不好的迹象。但是,详细分析这些数据会很麻烦。让我们看看其他的解释方法——全球性的。
我们可以着眼于复杂袋装树或随机森林的特征重要性。这告诉我们哪些是重要的特征。我们把它画出来。你可以看到这些RR比率,再一次,是最有意义的三个。
然后我们有这些振幅。我们会稍微看一下然后是比率。一个全局的方法是用部分相关图。我们来求其中一个RR比。
正如你们在这张图表中看到的,心脏异常的可能性在0.05之后急剧下降。这意味着如果这些尖刺距离很近,心脏就会跳得很快。很有可能不正常。否则,没关系。
然后我们看到其他的RR值也有类似的情况。现在,我们来看看比率。这里,我们画出这些比值的部分相关图。如果我们看比值,1附近的比值,就像这里,意味着后续的R尖峰有相同的距离。这意味着正常。
但是,如果它们没有相同的距离,例如,对于这些高值,这可能是不规则的心跳。所以这是一个糟糕的标志。所以这就是为什么可能会上涨。
在了解了一些全局可解释性方法之后,让我们看看一些局部方法。你看一个特别感兴趣的点。应用这种方法的一个例子是了解模型何时出错,发生了什么。
让我们来看看一些预测,找出模型出错的部分。我们将在这里找到错误的,然后开始准备应用LIME。然后在这里,我们将LIME对象与第二个错误预测相吻合。
我们在这里看到了什么?这里,我们看到了那个点的LIME模型。我们看到,在RR比率在预测中发挥重要作用之前。这很有道理,没什么好惊讶的。那么,为什么会出现问题呢?
嗯,我们看到RR1和RR2的值仍然具有相当高的重量,均为高于0.05。所以他们在正常心灵的范围内。这就是为什么在这个地方模型预测正常心脏状况,即使它实际上是异常的。因此,这里是如何使用本地模型解释性的示例,以便在模型在预测中发出错误时要理解。
既然你有一个非常好的了解机器学习可用的可解释性,让我们看看深度学习。在那里,它主要是意味着解释为什么深网络做出某些决定。
这是一个例子。这个杯子的图像被错误分类为扣。所以现在你可以看待解释性。图像的深度网络看起来的哪些部分是专注于扣环而不是在杯子上?因此,为您提供了一个暗示您的培训数据中的偏见。
并且解决这一方法的一种方法是在视图中添加没有手和扣的杯子的训练示例。有一堆方法可以进行类似的分析,包括闭塞灵敏度和刻度和图像石灰。
因此,我花了相当多的时间谈论采用人工智能的两个挑战——缺乏人工智能技能和模型的黑箱特性。让我通过讨论一些其他的挑战来结束今天的网络研讨会。
如果你还记得,模型构建工作流,它是从预处理数据开始的。对于数字数据的感觉,MATLAB提供了交互式工具来处理原始数据的常见问题,如填充缺失数据,识别异常值,平滑数据。所以我们有实时任务可以交互地完成这些任务。
在工作流程中,对于受监督学习,拥有足够量的劳动力数据是一个巨大的挑战。专门的标签工具可以提供帮助,特别是如果它们通过应用初始AI模型来获得粗糙标签来自动化一些标签的选项,以便人类注入者必须审查和偶尔纠正此类草稿标签,例如在信号图像中的标签和偶尔信号和图像处理工具箱中可用的视频标签应用程序。
一旦您训练了一个性能模型,您可能需要将它与更大的系统集成。许多行业都使用Simulink和基于模型的设计等仿真环境来促进金宝app系统集成和测试。最后,一旦部署了模型,就必须监视它的性能,可能至少需要偶尔更新它。我们支持一些机金宝app器学习模型和模型更新的增量学习,它们部署模型而不重新生成代码。
让我在最后一点上扩展一点。一旦您已准备好部署的表演初始模型,自动代码生成就可以将高级MATLAB转换为低级CC ++代码,然后可以在硬件上执行,并嵌入在更大的系统中。部署系统后,您通常会收集数据,您可以使用它来改善您的模型,无论是应用增量学习还是将整个模型重新恢复到Matlab中。
现在是关键的一点。当您移动模型时,更新到生产系统中。您希望避免一次又一次地执行认证过程而不得不更新部署的代码。相反,您只需使用通信机制(如空中通信)将更新的模型参数传递到部署的系统。这个工作流的另一个用例是对具有不同模型配置的复杂系统执行软件和硬件的循环测试。
总之,今天,我展示了MATLAB如何降低采用人工智能的障碍,特别是机器学习。我已经花了相当多的时间讨论如何以交互方式或通过领导AutoML来轻松地构建模型,这样没有专业知识的工程师和领域专家就可以自己构建模型,或者即使是有经验的实践者也可以更高效地构建模型。
我刚刚谈到了代码生成,它促进了与Simulink的嵌入式部署和集成,而新的本机机器学习块库使其变得更容易。金宝app类似地,对于深度学习,有模块可以在Simulink模型中集成这些模块。金宝app
如果你想了解更多关于我所讲,分类学习者,作为一个例子的一个互动的工具,使其更容易构建模型,或视频AutoML,与三个简单的步骤,你可以得到优化的模型,和演练如何应用不同的模型解释能力的方法。回到最基础的部分,我们还有两个小时的入门课程,帮助你们熟悉MATLAB中的机器学习,并链接到我在这次演讲中提到的演示。
我的大部分演讲都提到了机器学习,但类似的工具也可以用于深度学习。要了解更多信息,请参考以下资源:介绍视频和交互式深度网络设计器应用程序,举例说明各种可视化技术来解释深度神经网络的行为,使用用于深度学习的实验管理器自动调优超参数,以及两个小时的深度学习Onramp。
你可以在mathworks.com上找到这些资源。例如,从一个用于机器和深度学习的页面解决方案开始。URL显示在这里。你还可以要求免费试用统计、机器学习工具箱和深度学习工具箱,这取决于你使用的是哪种类型的人工智能模型。这次网络研讨会到此结束。非常感谢您的关注。
你也可以从以下列表中选择一个网站:
选择中国网站(以中文或英文)以获取最佳网站性能。其他MathWorks国家网站未优化您的位置。