伯恩哈德苏姆,马努工
建设好机器学习模型是困难和耗时的,少数工程师和科学家都有必要的经验。自动化机器学习(Automl)将该过程简化为几个步骤,识别最佳模型,并在一步中优化其超级参数,从而使机器学习可供任何工程师访问。我们还将展示MATLAB中可用的各种可解释性方法,克服了机器学习的黑匣子性质,降低了不能忍受黑匣子型号的行业采用机器学习的酒吧,包括金融和医疗应用。最后,我们解释了增量学习如何使模型随着时间的推移而改善并采用改变条件。
Bernhard Suhm是Mathworks Mathworks Machine学习的产品经理。他与客户面临和开发团队密切合作,以解决我们机器学习相关产品的客户需求和市场趋势,主要是统计和机器学习工具箱。下载188bet金宝搏在加入Mathworks Bernhard应用分析之前,在Carnegie Mellon和Karlsruhe University(德国)博士学位专门从事呼叫中心的呼叫中心提供客户服务的交付。
记录:2020年12月15日
你好。我叫Bernhard Suhm。我是MathWorks统计和机器学习的产品经理。欢迎参加本次网络研讨会,讨论如何通过AutoML和Interpretability降低AI采用的障碍。
AI击中采用的障碍在哪里?这是几个例子。AI模型并不像传统方法那样解释。金融服务公司的数据科学团队制定了另一种基于神经网络的流动性模型,但无法解释它如何向那时曾经扣留其批准的高级利益攸关方。
意料之外的偏见潜入模型。(?一家信用卡发行商用来确定信用卡额度的工具显示出对女性信用卡用户的无意偏见。第三个例子是,长期以来人们一直期望数据驱动方法有助于改善保健服务的提供。这篇文章和类似的文章在这个部分中指出了多种采用障碍。例如,害怕无法解释的致命错误,或者担心自动化被视为对现有工作的威胁。
今天我们将重点讨论解决这两个障碍——在没有大量迭代调优工作和使用AutoML的专业知识的情况下获得优化的模型。第二,克服对人工智能模型黑箱性质的反对。
我将使用两个例子说明对这些挑战的金宝搏官方网站解决方案 - 人类活动识别;从医疗领域,心电图分类。虽然本演示文稿的大部分侧重于机器学习作为AI,但我将概述深度学习存在的类似解决方案。金宝搏官方网站通过解决AI采用的一些其他障碍,我会得出结论。
踩回来,它实际上非常令人惊讶,许多行业已经采用了多少。以下是我们用户的一些示例。宝马使用了各种传感器来预测车辆进入过流的地方[听不清]。在制造业中,半导体公司ASML改进了硅晶片上覆盖的测量精度。Atlas Copco通过使用传感器数据更新数字双胞胎和许多其他示例来改善数千部署压缩机的监控。
在我们深入了解主题之前,让我们澄清我们的意思,因为社区中有多个概念。在最广泛的级别中,AI可以仅仅意味着任何程序,该程序使计算机或机器人能够执行与智能相关的任务。然后,在'80年代,机器学习出现,它应用了统计方法,以便在没有明确编程的情况下从数据中学习任务。
然后深入学习作为一种机器学习,它使用具有许多多层的神经网络。今天采用的限度是什么?Gartner研究调查了,面试超过100名高管。这就是他们回来的。
靠近顶部,工作人员的技能,不知道如何应用AI,以及可用的数据,范围和质量以及对未知的恐惧,特别是不了解AI的好处以及它如何使用。此类和其他研究确认了成功采用AI的顶级障碍缺乏具有足够技能的员工,AI模型的Blackbox性质以及标记数据的可用性。
今天的演讲将集中讨论两大障碍——缺乏人工智能技能和黑箱天性。有效解决这些障碍需要金宝搏官方网站了解缺乏人工智能技能和更透明的工作流程对构建和集成人工智能模型到系统的影响。
此图显示了机器学习的工作流程。但深度学习以类似的方式影响,我们稍后会触及一些细节。因此,这些是令人惊奇的耗时和需要重大专业知识的任务。
预处理后的数据通常会占用数据科学家的大部分时间,然后是特征工程。为了获得好的特征,经常需要领域知识,特别是对于通信、雷达信号和文本处理。
接下来,您需要决定在许多模型中哪个最适合您的问题。在机器学习中有句话叫“没有免费的午餐”。在特定的问题下,即使是专家也无法判断哪种类型的模型表现最好。一旦选择了模型,就需要调整它的超参数以获得良好的性能。
在进行部署时,您可能会意识到模型的大小太大了。因此,您可能必须返回并选择性能特性的子集。最后,将您的模型集成到一个更大的系统中可能需要您向不熟悉人工智能如何工作的利益相关者解释模型行为。
如果你使用深度学习而不是机器学习,你基本上会面临类似的挑战。你仍然需要调整深度网络的超参数。您必须在不同的网络架构之间进行选择,而不是优化模型。尽管人们已经知道,至少对于信号和文本应用来说,深度学习不需要特征,但某种形式的数据简化对于良好的性能至关重要。
我们将在两个应用程序的上下文中展示我们的解决金宝搏官方网站方案,并在这里开始使用数字健康 - 基于ECG日期对心脏状况进行分类的任务。ECG信号通常由所谓的QRS波的特征在于。这是心脏信号中的这种大尖峰。这种信号使心肌强烈地合同并将富含氧气的血液推入所有动脉。它需要很大的力量。
这里的其他方式与将缺氧血液转移到肺部有关。但专家们关注的是这些大的R峰之间的距离,即所谓的R-R间隔。这就是您需要记住的,以便能够遵循我们将要设计的特性类型。
因此,我们的第一个解决方案来降低构建AI模型所需的技能是以交互方式构建模型,例如在所谓的分类学习者应用程序中显示,允许您在点击按钮点击按钮时比较许多不同流行型号的性能,评估使用不同度量的准确性,然后甚至交互式调整其普遍的公共表。
但我们不讨论它,让我们在MATLAB中看看。让我们更详细地讨论我们可以为这个任务使用什么样的特性。当然,你们没有医学知识,但我提到过这些R峰之间的距离很重要,R-R区间。
我们来看三个连续的间隔。我不仅要看它们发生得有多快,还要看它们的比率,1 / 2和3 / 2的比率。我不会告诉你们如何计算这些特征。相反,我们将预先计算它们加载到工作区中。但是你可以在这里,RR0 RR1 RR2,然后是比值。
接下来,我们将在分类学习器中交互式地构建几个模型。你可以在应用程序选项卡上找到它。在加载数据之后,我已经构建了两个模型——查找决策树和逻辑回归,这是解决两个类问题的良好基础模型。但是你看,精确度要低得多。
支撑向量金宝app机也不得多。让我们尝试像中树这样的模型。这表现明显更好。最后,让我们尝试树木或随机森林的样本。
这种方法似乎效果最好。这是我们以后要进一步分析的。为了做好准备,我将把它作为一个变量导出到工作区中。这应该可以让您了解构建几个模型并比较它们的性能是多么容易。
但是自动案是什么添加的?这是我们的工作流程,其中一些并发症,你刚刚品尝了一些并发症。嗯,至少在理论上,Automl的想法是带走所有这些复杂性,理想情况下直接从分类问题的预处理数据直接到一个优化并准备部署在系统中的模型。今天市场上没有自动化解决方案接近这种抱负的目标。
然而,在MathWorks,我们已经为工程应用开发了AutoML的一个版本。这是我们的工作流程。作为解决特征工程问题的第一步,我们依靠小波的经验。他们非常擅长匹配现实世界信号中的峰值和不规则点。您可能不太了解小波,但这并不妨碍您应用这些技术。
其次,由于通常存在数百个小波功能 - 而且对于小型模型来说,这太多了 - 您需要选择性能功能的子集。Matlab支持许多自动特征选择方法。金宝app最后,在密钥中,使用HyperParameter Optimization内置的模型选择。我们有一个步骤函数,可以完成这些目标并提供优化的模型。
让我们更详细地查看这三个步骤中的每一个。首先,具有小波散射的特征生成。你可能想知道什么是小波。它们帮助我们将信号分解为较小的部分。如果您知道傅立叶分析,则将信号归类为其窦部件。类似地,小波将信号分解为它们的小波分量。
然而,小波在时间上非常有限,而且它们的宽度可以变化。所以它们非常适合匹配信号中微小的不规则,就像动画中提到的那样。
因此,小波播放将复杂信号分解成其各种小波分量。优点是您不必弄清楚什么类型的小波。这为你自动完成。
然后,该功能也适用于您。一些将此与最初在深度网络中进行比较。它们将图像分解为其各种组件。与深网络不同,小波散射的优点是您不需要数百万的数据示例。这适用于信号和图像数据。
下一步,在Automl语音功能选择中,可以使用许多方法。在这里,我将突出一些。NCA适用于分类回归。虽然,最近,我们已经添加了MRMR,最小冗余最大相关性,这些功能非常快,是独立于模型的,并提供了强大的功能。如果您有高维特征空间并且正在寻找快速计算,我们最近添加了这两个单变量方法可以帮助您。
三,让我们了解更好的超参数调整的同时模型优化。在随后的动画中,您可以看到优化评估不同的模型类型。在幕后,也是许多不同类型的参数组件,使得这里以蓝色显示的错误率随着时间的推移而减小,并收敛到最小值。
为了使这个过程更有效,我们采用了相同的贝叶斯优化技术,我们已经应用于过去版本中的HyperParameter调整。这使我们能够有效地传输这种大型的模型和封立的分量组件并限制计算时间。但是,真相告诉,它仍然是计算昂贵的。因此,您需要将并行化带到较大的数据集上。Automl功能支持并行计算。金宝app
我们将在人类活动识别任务上展示自动列志,其中捕获来自移动电话加速度计的传感器数据,然后分类您目前正在执行哪种类型的活动 - 行走,站立,撒谎。首先,我们将加载此原始数据并在我们称之为堆叠的绘图中可视化它,以便您可以从x,y和z看到加速度计。
在这里,我挑选了活动从行走到坐的活动。你可以看到缺点差异。所以你可能会考虑什么样的功能会捕捉这种改变。而是,我们正在将小波散射作为Automl的第一步应用,在那里您首先使用该功能定义小波框架,该功能仅具有信号长度和采样频率作为输入。
然后,将小波散射应用于不安全的列车数据和原始测试数据。让我在这里看到,它计算近500个小波功能。所以那些对于一个小型模型来说太多了。
第二步,在AutoML中,我们应用自动特征选择,这里是FS MRMR函数,它代表计算特征的最小冗余和最大相关性。它会对超过500个功能进行排名,只显示前50个。下面是排名。你可以看到分数下降得相当快,但是有一条长尾巴。
所以要到达更紧凑的模型,我们只需选择前25个功能。然后,作为Automl的第三和中央步骤,我们应用模型选择和调整功能FitCauto。让我们来吧。
你可以确定各种参数。我们将迭代次数限制在50次。所以很快就会结束了。从这里开始计算前一对模型和超参数组合。你可以看到k近邻模型,支持向量机树,判别分析。这里你可以看到误差图是如何收敛到更低的值的。
你可能想知道这到底有多有效?我们比较了AutoML,就像你们刚才看到的我在MATLAB中的步骤一样,与手动过程进行比较,首先确定要使用什么特性,然后尝试许多不同的模型,并手动优化超参数。
首先,我们看了我们刚才证明的人类认可测试。而且我们也比较了心声分类,在那里你采取了心脏录音的唱片,然后将它们分类为正常,异常。这是结果。
Automl匹配模型的性能,其中有人在机器学习中曾经尝试应用交易的技巧并优化模型性能。Automl的重点并不是将击败手动优化过程,但是获得一个模型的巨大胜利,无需复杂且耗时的模型构建过程。
让我们来看看采用人工智能的第二个障碍,即模型的黑箱特性。理想情况下,我们有可解释的、高度精确的可用模型。但这张图表显示了可解释性和预测能力之间的权衡。
有一些很容易解释的模型,比如决策树,逻辑回归,线性模型。但它们的性能不如更复杂的模型,如树、支持向量机和深度学习网络。因此,要克服这种黑箱性质,就需要可解释性。
但更具体地说,至少在某些行业中,您的财务状况如此。或者在欧洲,有GDPR。对于医疗设备,美国FDA在美国的规定。
最后,数据科学家,为了改进模型,他们喜欢更详细地了解它们是如何工作的。所以,帮助他们恢复可解释性是有帮助的。我用了可解释性,更具体地说,是指传统机器学习中模型决策的因果关系。然而,我认为可解释人工智能主要用于深度神经网络的可视化激活。
让我们了解更多的监管要求要求可解释性。我已经提到了金融业。在这里,信用和市场风险模型确实要求可解释。一个原因是用于这些用例的传统模型非常可解释。因此,这是一个利益相关者,包括高级管理层和监管机构。
有典型的复杂模型,非常流行的金融,渐变与树木,也是一些深神经网络。作为方法,对于解释性,匀称非常受欢迎。你会在几分钟内明白为什么。
相比之下,在汽车和航空行业中,您需要满足安全认证要求。深度神经网络用于图像识别和加强学习,以绘制路径。实际规定尚未最终确定,但MathWorks在具有ISO 262626或飞行法规的车辆的安全关键型申请中具有深刻的经验,例如,DO-178为例。此处提到的这两个机构目前正在努力发布人工智能的类似指导。和MathWorks参与其中一些谈话。
作为第三产业,至少某些类别的医疗器械需要获得医疗监管部门的批准。深度神经网络也用于图像分析,但也用于经典的机器学习。这里的地貌还没有完全进化。
如果你在不同的行业工作,有特定的可解释性要求,我们很乐意听取你的意见。我在这里提到了几个流行的可解释方法。让我来帮助你理解什么是可使用的解释方法以及何时使用它们。
所以在这个过程开始的时候,你可能会问自己,这些可解释的方法对我的问题有足够的准确性吗?然后,你可以使用那些固有的解释,比如,线性模型和GAMs的权重,或者贝叶斯模型的分支和决策树和后置。
如果这些简单的模型不够精确,你需要考虑更复杂的模型。但下一个问题是,我需要只解释局部行为吗?如果是这种情况,有LIME可用和形状。
区别在于你是否需要一个完整的解释。而只有shaely提供了一个完整的解释,所有因素的贡献。这就是金融监管的要求。这就是沙普利在这个行业受欢迎的原因。然而,如果您正在寻找一个全局解释,那么特性重要性和部分依赖图是可以采用的方法。
石灰代表本地可解释的模型 - 不可止境的解释。这太满了。但在心脏,这是一种相当简单的方法。我们近似复杂的模型,如这里与该复杂决策边界中的蓝色点和绿点。
我们近似不是到处,而是在这里显示的兴趣点附近。为此,您可以在该附近挑选两个类的标记斑点,然后使用那些在这种情况下使用那些类似的模型来构建一个简单的模型。然后,您可以使用该简单模型的固有消耗性来为复杂的模型提供近似值。因此,在该示例中,这些不同因素的权重可以解释这内的复杂行为。
我们不再讨论它,让我们看另一个演示。我们将回到第一个关于心电图分类的例子。因为要应用模型可解释性,您需要期望您的模型应该如何行为,利用来自应用程序领域的知识或数据。相比之下,对于我们在人类活动识别例子中自动生成的小波特征,很难得到这样的期望。
好吧,记住,在我们培训了几个模型和其中的培训之前,一个中等决策树。验证模型的一种方法是利用其固有的消耗性。对于树木,这是分支机构。在这里,我们刚刚显示了此模型的树分支。
您可以看到该决定研究了这些RR值。如果他们足够小,你就离开了,再次离开了。然后你最终有一个异常的心脏。这是有道理的。
如果这些间隔非常小,说明心脏跳动非常快。所以这可能是一个不好的迹象。但是,详细分析这些数据会很麻烦。让我们看看其他的解释方法——全球性的。
我们可以看看复杂的袋树或随机森林的特征重要性。这告诉我们哪些是重要的特征。在这里我们会绘制这一点。你可以再次看到那些RR比率,是前三名有意义的。
然后我们有这些振幅。我们会稍微看一下然后是比率。一个全局的方法是用部分相关图。我们来求其中一个RR比。
正如你们在这张图表中看到的,心脏异常的可能性在0.05之后急剧下降。这意味着如果这些尖刺距离很近,心脏就会跳得很快。很有可能不正常。否则,没关系。
然后我们看到其他的RR值也有类似的情况。现在,我们来看看比率。这里,我们画出这些比值的部分相关图。如果我们看比值,1附近的比值,就像这里,意味着后续的R尖峰有相同的距离。这意味着正常。
但是,如果它们没有相同的距离,例如,对于这些高值,这可能是不规则的心跳。所以这是一个糟糕的标志。所以这就是为什么可能会上涨。
在查看一些全球可解释性方法后,让我们来看看一些本地人。所以你看看特定的兴趣点。一个案例申请是要了解模型出错的时候,发生了什么。
所以让我们在某些预测中查看此处,并挑选出模型出错的内容。通过找到错误的然后开始准备涂抹石灰,我们会这样做。然后在这里,我们实际上将石灰对象适合第二个错误的预测。
那么我们在这里看到了什么?在这里,我们看到那个点的石灰模型。我们看到,如,在这些RR比率在预测中发挥着重要作用之前。这是有道理的,没什么令人惊讶的。那为什么会出错?
嗯,我们看到RR1和RR2的值,它们仍然有很高的权重,远远高于0.05。所以它们在正常心脏的范围内。这就是为什么在这个地方模型预测正常的心脏状况,即使它实际上是不正常的。这里有一个例子说明了如何使用局部模型可解释性来理解模型在预测中何时会出现错误。
现在你已经很好地理解了机器学习的可解释性,让我们来看看深度学习。在这里,主要是解释为什么深层网络会做出某些决定。
这是一个例子。这张脸的图片被误认为是扣带。现在你可以看看可解释性了。深度网络查看了图像的哪些部分——关注的是扣环而不是杯子?这就给了你一个提示你的训练数据很可能仍然存在偏差。
并且解决这一方法的一种方法是在视图中添加没有手和扣的杯子的训练示例。有一堆方法可以进行类似的分析,包括闭塞灵敏度和刻度和图像石灰。
因此,我花了相当多的时间谈论采用人工智能的两个挑战——缺乏人工智能技能和模型的黑箱特性。让我通过讨论一些其他的挑战来结束今天的网络研讨会。
如果您还记得,模型构建工作流程,它开始预处理您的数据。出于数字数据的感觉,MATLAB提供交互式工具来解决原始数据的常见问题,例如填充缺失数据,识别异常值,平滑数据。所以我们有可用的实时任务以交互方式。
在工作流程中,对于受监督学习,拥有足够量的劳动力数据是一个巨大的挑战。专门的标签工具可以提供帮助,特别是如果它们通过应用初始AI模型来获得粗糙标签来自动化一些标签的选项,以便人类注入者必须审查和偶尔纠正此类草稿标签,例如在信号图像中的标签和偶尔信号和图像处理工具箱中可用的视频标签应用程序。
一旦您培训了绩效模型,您需要使用更大的系统将其集成。仿真环境如Simulink和基于模型的设计,用于许多行业,以便金宝app于系统集成和测试。最后,一旦部署了您的模型,您必须监控其性能,并且可能需要至少偶尔更新它。我们支持递增学金宝app习,为某些机器学习模型和模型更新在没有重新生成代码的情况下部署模型。
让我在最后一点上扩展一点。一旦您已准备好部署的表演初始模型,自动代码生成就可以将高级MATLAB转换为低级CC ++代码,然后可以在硬件上执行,并嵌入在更大的系统中。部署系统后,您通常会收集数据,您可以使用它来改善您的模型,无论是应用增量学习还是将整个模型重新恢复到Matlab中。
现在是关键的一点。当您移动模型时,更新到生产系统中。您希望避免一次又一次地执行认证过程而不得不更新部署的代码。相反,您只需使用通信机制(如空中通信)将更新的模型参数传递到部署的系统。这个工作流的另一个用例是对具有不同模型配置的复杂系统执行软件和硬件的循环测试。
因此,总之,今天,我已经证明了Matlab如何降低采用AI的障碍,特别是机器学习。我已经花了很少的时间谈论易于互动或领导自动上的建筑模型,以便没有专业知识的工程师和域专家可以构建模型本身,或者甚至有经验的从业者是更加富有成效的建筑模型。
我刚刚触及代码生成,便于嵌入部署和与Simulink集成的集成,这是一个更容易的本机机学习块。金宝app同样,对于深度学习,有可用于集成Simulink模型中的块。金宝app
如果你想了解更多关于我所讲,分类学习者,作为一个例子的一个互动的工具,使其更容易构建模型,或视频AutoML,与三个简单的步骤,你可以得到优化的模型,和演练如何应用不同的模型解释能力的方法。回到最基础的部分,我们还有两个小时的入门课程,帮助你们熟悉MATLAB中的机器学习,并链接到我在这次演讲中提到的演示。
我的大部分演示文稿提到了机器学习,但也可以为深度学习提供类似的工具。要了解更多信息,请参阅这些资源 - 一个介绍视频和交互式深度网络设计器应用程序,示例说明了解释深神经网络的行为的各种可视化技术,自动调整使用实验经理进行深度学习的超级参数,以及两个 -小时深入学习ondramp。
您可以在MathWorks.com上找到这些资源。例如,从一个机器和深度学习的页面开始。此处显示URL。您还可以请求统计和机器学习工具箱和深度学习工具箱的免费试用,具体取决于您申请的AI型号的类型。这让我到了这个网络研讨会的尽头。非常感谢您的兴趣。
特色产品
你也可以从以下列表中选择一个网站:
选择中国网站(以中文或英文)以获取最佳网站性能。其他MathWorks国家网站未优化您的位置。