伯恩哈德苏姆,马努工
建设好机器学习模型是困难和耗时的,少数工程师和科学家都有必要的经验。自动化机器学习(Automl)将该过程简化为几个步骤,识别最佳模型,并在一步中优化其超级参数,从而使机器学习可供任何工程师访问。我们还将展示MATLAB中可用的各种可解释性方法,克服了机器学习的黑匣子性质,降低了不能忍受黑匣子型号的行业采用机器学习的酒吧,包括金融和医疗应用。最后,我们解释了增量学习如何使模型随着时间的推移而改善并采用改变条件。
Bernhard Suhm是MathWorks的机器学习产品经理。他与面向客户和开发团队紧密合作,解决客户需求和机器学习相关产品的市场趋势,主要是统计和机器学习工具箱。下载188bet金宝搏在加入MathWorks之前,Bernhard在卡内基梅隆大学(Carnegie Mellon University)和德国卡尔斯鲁厄大学(Karlsruhe University)获得博士学位,专攻语音用户界面,并应用分析技术优化呼叫中心的客户服务交付。
记录:2020年12月15日
你好。我的名字是Bernhard Suhm。而且我是Mathworks的统计和机器学习的产品经理。欢迎来到本网络研讨会,以如何利用自动规则和可口译能力降低均衡障碍。
人工智能在哪些方面遇到了应用障碍?这里有几个例子。人工智能建模不像传统方法那样容易解释。这家金融服务公司的数据科学团队开发了另一个基于神经网络的流动性模型,但无法向当时拒绝批准的高级利益相关者解释它是如何运作的。
意想不到的偏差潜入模型。(?信用卡发行者用来确定信用额度的信用卡显示出了对女性信用卡用户的无意识偏见。第三个例子是,长期以来人们一直期望数据驱动的方法有助于改善卫生保健的提供。这篇和类似的文章指出了在这个部分中采用的多种障碍。例如,对无法解释的致命错误的恐惧,或者对自动化被视为对现有工作的威胁的恐惧。
今天我们将重点讨论如何解决这两个障碍——通过使用AutoML,在没有大量迭代调优工作和专业知识的情况下获得优化的模型。第二,克服对人工智能模型黑箱性质的反对。
我将使用两个例子说明对这些挑战的金宝搏官方网站解决方案 - 人类活动识别;从医疗领域,心电图分类。虽然本演示文稿的大部分侧重于机器学习作为AI,但我将概述深度学习存在的类似解决方案。金宝搏官方网站通过解决AI采用的一些其他障碍,我会得出结论。
踩回来,它实际上非常令人惊讶,许多行业已经采用了多少。以下是我们用户的一些示例。宝马使用了各种传感器来预测车辆进入过流的地方[听不清]。在制造业中,半导体公司ASML改进了硅晶片上覆盖的测量精度。Atlas Copco通过使用传感器数据更新数字双胞胎和许多其他示例来改善数千部署压缩机的监控。
在我们深入讨论这个话题之前,让我们先澄清一下AI的含义,因为在这个社区中有很多概念。在最广泛的层面上,人工智能可以是指任何能让计算机或机器人执行通常与智能有关的任务的程序。然后,在80年代,机器学习出现了,它应用统计学方法从数据中学习任务,而无需明确编程。
然后深入学习作为一种机器学习,它使用具有许多多层的神经网络。今天采用的限度是什么?Gartner研究调查了,面试超过100名高管。这就是他们回来的。
靠近顶部,工作人员的技能,不知道如何应用AI,以及可用的数据,范围和质量以及对未知的恐惧,特别是不了解AI的好处以及它如何使用。此类和其他研究确认了成功采用AI的顶级障碍缺乏具有足够技能的员工,AI模型的Blackbox性质以及标记数据的可用性。
今天的演讲将聚焦于最主要的两个障碍——缺乏人工智能技能和黑盒子性质。这些障碍的有效解决方金宝搏官方网站案需要了解缺乏AI技能和更多透明度对构建和集成AI模型到系统中的工作流的影响。
此图显示了机器学习的工作流程。但深度学习以类似的方式影响,我们稍后会触及一些细节。因此,这些是令人惊奇的耗时和需要重大专业知识的任务。
在预处理之后,通常需要大多数数据科学家的数据来源于特征工程。为了获得良好的功能,经常需要域知识,特别是用于通信,雷达信号和文本处理。
接下来,您需要决定许多模型中哪个最适合您的问题。在机器学习中有句老话叫“没有免费的午餐”。即使是专家也不知道在给定一个特定的问题时,哪种模型的性能最好。一旦您选择了模型,您需要调整它的超参数以获得良好的性能。
在进行部署时,您可能会意识到模型的大小太大了。因此,您可能需要返回并选择性能特性的子集。最后,将你的模型集成到一个更大的系统中可能需要你向不熟悉AI工作方式的涉众解释模型行为。
如果你使用深度学习而不是机器学习,你基本上会面临类似的挑战。您仍然需要调整深度网络的超参数。您必须在不同的网络架构之间进行选择,而不是优化模型。尽管人们已经知道深度学习不需要特征,至少对于信号和文本应用来说,某种形式的数据缩减对于良好的性能是至关重要的。
我们将在两个应用程序的上下文中展示我们的解决金宝搏官方网站方案,并在这里开始使用数字健康 - 基于ECG日期对心脏状况进行分类的任务。ECG信号通常由所谓的QRS波的特征在于。这是心脏信号中的这种大尖峰。这种信号使心肌强烈地合同并将富含氧气的血液推入所有动脉。它需要很大的力量。
这里的其他方法与将缺氧的血液输送到肺部有关。但专家关注的是这些R峰值之间的距离,即所谓的R-R间隔。这就是你所需要记住的,以便能够遵循我们要设计的功能类型。
因此,我们的第一个解决方案来降低构建AI模型所需的技能是以交互方式构建模型,例如在所谓的分类学习者应用程序中显示,允许您在点击按钮点击按钮时比较许多不同流行型号的性能,评估使用不同度量的准确性,然后甚至交互式调整其普遍的公共表。
但我们不讨论它,而是在MATLAB中看看。让我们更详细地讨论在此任务中可以使用哪些特性。当然,你没有医学知识,但我提到过这些R峰之间的距离很重要,R-R间隔。
我们将三次连续三次进行。而且我不仅会看他们发生的速度,而是比率,第一个到第二个和第三个比率的比率。我不会介绍如何计算这些功能。相反,我们将将它们加载到工作区中。但您可以在RR0,RR1,RR2,然后是比率。
接下来,我们将在分类学习者中互动地构建一些模型。您可以在Apps选项卡上找到它。加载数据后,我已经建立了几个模型 - 找到决策树和逻辑回归,这是两个类问题的良好基础模型。但是你看到的准确性要低得多。
支撑向量金宝app机也不得多。让我们尝试像中树这样的模型。这表现明显更好。最后,让我们尝试树木或随机森林的样本。
这个似乎表现最好。这是我们以后要进一步分析的。为此,我将把它作为变量导出到工作区中。这应该能让你明白构建两个模型并比较它们的性能是多么容易。
但是自动案是什么添加的?这是我们的工作流程,其中一些并发症,你刚刚品尝了一些并发症。嗯,至少在理论上,Automl的想法是带走所有这些复杂性,理想情况下直接从分类问题的预处理数据直接到一个优化并准备部署在系统中的模型。今天市场上没有自动化解决方案接近这种抱负的目标。
然而,在MathWorks,我们为工程应用开发了一个版本的AutoML。这又是我们的工作流程。作为解决特征工程问题的第一步,我们依靠小波的经验。他们非常擅长匹配真实世界信号中的尖峰和不规则。你可能不太了解小波,但这并不妨碍你应用这些技术。
其次,由于通常要生成数百个小波特征——这对于小型模型来说太多了——您需要选择性能特征的一个子集。MATLAB支持多种自动特征选择方法。金宝app最后,在关键部分,采用内置超参数优化的模型选择。我们有一个单步函数来实现这些目标,并交付一个优化的模型。
让我们更详细地看看这三个步骤中的每一个。首先,利用小波散射进行特征生成。你可能想知道什么是小波。它们帮助我们将信号分解成更小的部分。如果你知道傅里叶分析,它将信号组成它们的窦部成分。类似地,小波将信号分解为小波分量。
然而,小波在时间内非常受约束,它们的宽度可以变化。因此,它们非常适合匹配信号中的小不规则性,如在此动画中提到。
然后,小波散射将一个复杂的信号分解成各种小波分量。这样做的好处是你不需要弄清楚是哪种小波。这是自动完成的。
然后,该功能也适用于您。一些将此与最初在深度网络中进行比较。它们将图像分解为其各种组件。与深网络不同,小波散射的优点是您不需要数百万的数据示例。这适用于信号和图像数据。
下一步,在Automl语音功能选择中,可以使用许多方法。在这里,我将突出一些。NCA适用于分类回归。虽然,最近,我们已经添加了MRMR,最小冗余最大相关性,这些功能非常快,是独立于模型的,并提供了强大的功能。如果您有高维特征空间并且正在寻找快速计算,我们最近添加了这两个单变量方法可以帮助您。
三,让我们了解更好的超参数调整的同时模型优化。在随后的动画中,您可以看到优化评估不同的模型类型。在幕后,也是许多不同类型的参数组件,使得这里以蓝色显示的错误率随着时间的推移而减小,并收敛到最小值。
为了使这个过程更有效,我们采用了相同的贝叶斯优化技术,我们已经应用于过去版本中的HyperParameter调整。这使我们能够有效地传输这种大型的模型和封立的分量组件并限制计算时间。但是,真相告诉,它仍然是计算昂贵的。因此,您需要将并行化带到较大的数据集上。Automl功能支持并行计算。金宝app
我们将在人类活动识别任务上展示自动列志,其中捕获来自移动电话加速度计的传感器数据,然后分类您目前正在执行哪种类型的活动 - 行走,站立,撒谎。首先,我们将加载此原始数据并在我们称之为堆叠的绘图中可视化它,以便您可以从x,y和z看到加速度计。
这里我选择了活动从走路变为坐着的部分。你可以看到明显的区别。所以你可能会想什么样的特征可以捕捉这种变化。但相反,我们将小波散射作为AutoML的第一步,你首先用这个函数定义小波框架这个函数只有信号长度和采样频率作为输入。
然后,对未缓冲的列车数据和原始测试数据进行小波散射处理。看这里,它计算了近500个小波特征。所以对于一个小模型来说,这些太多了。
和步骤2,在Automl中,我们应用自动特征选择,以及FS MRMR功能,它代表了计算功能的最小冗余相关性。它将对那些超过500个功能进行排名,只会显示那些的前50个。这是排名。你了解得分如何快速下降,但是有一条长长的尾巴。
所以要到达更紧凑的模型,我们只需选择前25个功能。然后,作为Automl的第三和中央步骤,我们应用模型选择和调整功能FitCauto。让我们来吧。
你可以确定各种参数。我们将迭代次数限制为50次。所以很快就会结束了。这里它开始评估前两个模型和超参数组合。你可以看到k近邻模型,支持向量机树,判别分析。在这里你可以看到误差图开始收敛到更低的值。
你可能想知道这实际上有多工作吗?我们比较了Automl,因为您刚刚在MATLAB中观看了我的步骤,手动过程首先弄清楚使用哪些功能,然后尝试许多不同的模型并手动优化超级参数。
首先,我们看了我们刚才证明的人类认可测试。而且我们也比较了心声分类,在那里你采取了心脏录音的唱片,然后将它们分类为正常,异常。这是结果。
Automl匹配模型的性能,其中有人在机器学习中曾经尝试应用交易的技巧并优化模型性能。Automl的重点并不是将击败手动优化过程,但是获得一个模型的巨大胜利,无需复杂且耗时的模型构建过程。
让我们转移到人工智能采用的第二个障碍,模型的黑箱性质。理想情况下,我们有可解释和高度精确的模型。但这张图表显示了可解释性和预测能力之间的权衡。
有很容易解释的模型,比如决策树,逻辑回归,线性模型。但它们的性能不如树、支持向量机和深度学习网络等更复杂的模型。因此,我们需要可解释性来克服这种黑盒子性质。
但更具体地说,至少在某些行业中,您的财务状况如此。或者在欧洲,有GDPR。对于医疗设备,美国FDA在美国的规定。
最后,数据科学家,为了改进模型,他们喜欢更详细地了解它们是如何工作的。所以为了帮助他们,可解读性是有帮助的。我使用了可解释性——更具体地说,它指的是传统机器学习中模型决策的因果关系。然而,我认为可解释的人工智能最常用于深度神经网络的可视化激活。
让我们更好地理解监管要求可解释性的地方。我已经提到了金融行业。在这里,信用和市场风险模型确实需要解释清楚。一个原因是,用于这些用例的传统模型非常容易解释。这就是包括高级管理层和监管机构在内的利益相关者所期望的。
有典型的复杂模型,非常流行的金融,渐变与树木,也是一些深神经网络。作为方法,对于解释性,匀称非常受欢迎。你会在几分钟内明白为什么。
相比之下,在汽车和航空行业中,您需要满足安全认证要求。深度神经网络用于图像识别和加强学习,以绘制路径。实际规定尚未最终确定,但MathWorks在具有ISO 262626或飞行法规的车辆的安全关键型申请中具有深刻的经验,例如,DO-178为例。此处提到的这两个机构目前正在努力发布人工智能的类似指导。和MathWorks参与其中一些谈话。
作为第三产业,至少某些类别的医疗器械需要获得医疗监管部门的批准。深度神经网络也用于图像分析,也用于经典的机器学习。地貌还没有完全进化。
如果您在不同的行业工作,具有特定的可诠释性要求,我们很乐意收到您的来信。我在这里提到了几种流行的解释性方法。让我帮助您了解可用的可解释性方法以及使用时。
所以在这个过程的开始时,你可能会问自己这个问题,可说明的方法是否为我的问题提供足够的准确性?然后,您可以只使用那些中可用的固有解释,例如,线性模型和Gams的权重,或者是贝叶斯模型的分支和决策树和后索。
如果那些简单的模型不够准确,则需要查看更复杂的模型。但是,下一个问题是,我需要解释当地的行为吗?如果是这种情况,则有石灰可用和匀称。
区分是你是否需要完整的解释。并且只屈服地提供了完全解释所有因素的贡献。这就是财务监管所要求的。这就是为什么福芙在那个行业中很受欢迎。但是,如果您正在寻找全局解释,则特征重要性和部分依赖性地块是使用的方法。
石灰代表本地可解释的模型 - 不可止境的解释。这太满了。但在心脏,这是一种相当简单的方法。我们近似复杂的模型,如这里与该复杂决策边界中的蓝色点和绿点。
我们近似不是到处,而是在这里显示的兴趣点附近。为此,您可以在该附近挑选两个类的标记斑点,然后使用那些在这种情况下使用那些类似的模型来构建一个简单的模型。然后,您可以使用该简单模型的固有消耗性来为复杂的模型提供近似值。因此,在该示例中,这些不同因素的权重可以解释这内的复杂行为。
我们不再详细讨论它,而是看另一个演示。我们回到心电图分类的第一个例子。因为要应用模型的可解释性,您需要期望模型的行为方式,利用应用程序领域的知识或数据。相比之下,我们在人类活动识别例子中自动生成的小波特征很难得到这样的期望。
好吧,记住,在我们培训了几个模型和其中的培训之前,一个中等决策树。验证模型的一种方法是利用其固有的消耗性。对于树木,这是分支机构。在这里,我们刚刚显示了此模型的树分支。
您可以看到该决定研究了这些RR值。如果他们足够小,你就离开了,再次离开了。然后你最终有一个异常的心脏。那讲得通。
如果这些间隔非常小,说明心脏跳得非常快。所以这可能是个不好的迹象。但是详细分析这些数据将会很麻烦。让我们看看其他的解释性方法——全局的。
我们可以看看复杂的袋树或随机森林的特征重要性。这告诉我们哪些是重要的特征。在这里我们会绘制这一点。你可以再次看到那些RR比率,是前三名有意义的。
然后我们有这些幅度。我们将在一点点看那个,然后是比率。所以要查看全球的一种方法是部分依赖性地块。让我们这样做,这是其中一个RR比率。
正如您在此图中看到的那样,0.05后,心脏异常的可能性会急剧下降。那么这意味着,如果这些尖峰真的紧密,那么心脏就会变得非常快。它可能是异常的。否则,没关系。
然后我们看到其他RR值也有类似的情况。现在,让我们看一下比值。这里,我们画出这两个比值相同的偏相关图。如果我们看比率,接近1的比率,像这里,意味着随后的R峰值有相同的距离。这意味着正常。
但是,如果它们没有相同的距离,例如,对于这些高值,这可能是不规则的心跳。所以这是一个糟糕的标志。所以这就是为什么可能会上涨。
在介绍了一些全局解释性方法之后,让我们来看看一些局部解释性方法。这里你看到了一个有趣的点。一个可以应用的例子是理解模型什么时候出了问题,发生了什么。
所以让我们在某些预测中查看此处,并挑选出模型出错的内容。通过找到错误的然后开始准备涂抹石灰,我们会这样做。然后在这里,我们实际上将石灰对象适合第二个错误的预测。
那么我们在这里看到了什么?在这里,我们看到那个点的石灰模型。我们看到,如,在这些RR比率在预测中发挥着重要作用之前。这是有道理的,没什么令人惊讶的。那为什么会出错?
我们看到RR1和RR2的值,仍然有很高的权重,远高于0。05。所以它们在正常心脏的范围内。这就是为什么这个模型预测的是正常的心脏状况,尽管它实际上是不正常的。这是一个关于如何使用局部模型可解释性来理解模型在预测中出错的例子。
现在你已经很好地理解了机器学习的可解释性,让我们来看看深度学习。在这里,它主要是解释为什么深层网络做出某些决定。
这是一个例子。这张马克杯的照片被错归类为扣带。现在你可以看看可解释性。深层网络关注的是图像的哪一部分——聚焦于扣带而不是杯子?这就给了你一个提示在你的训练数据中很可能仍然存在偏差。
并且解决这一方法的一种方法是在视图中添加没有手和扣的杯子的训练示例。有一堆方法可以进行类似的分析,包括闭塞灵敏度和刻度和图像石灰。
所以我花了很少的时间来谈论采用AI的两个挑战 - 缺乏AI技能和模型的黑箱性质。通过谈论其他一些挑战,让我在今天的网络研讨会上。
如果您还记得,模型构建工作流程,它开始预处理您的数据。出于数字数据的感觉,MATLAB提供交互式工具来解决原始数据的常见问题,例如填充缺失数据,识别异常值,平滑数据。所以我们有可用的实时任务以交互方式。
在工作流程中,对于受监督学习,拥有足够量的劳动力数据是一个巨大的挑战。专门的标签工具可以提供帮助,特别是如果它们通过应用初始AI模型来获得粗糙标签来自动化一些标签的选项,以便人类注入者必须审查和偶尔纠正此类草稿标签,例如在信号图像中的标签和偶尔信号和图像处理工具箱中可用的视频标签应用程序。
一旦您培训了绩效模型,您需要使用更大的系统将其集成。仿真环境如Simulink和基于模型的设计,用于许多行业,以便金宝app于系统集成和测试。最后,一旦部署了您的模型,您必须监控其性能,并且可能需要至少偶尔更新它。我们支持递增学金宝app习,为某些机器学习模型和模型更新在没有重新生成代码的情况下部署模型。
让我在最后一点上扩展一点。一旦您已准备好部署的表演初始模型,自动代码生成就可以将高级MATLAB转换为低级CC ++代码,然后可以在硬件上执行,并嵌入在更大的系统中。部署系统后,您通常会收集数据,您可以使用它来改善您的模型,无论是应用增量学习还是将整个模型重新恢复到Matlab中。
现在是关键点。当您移动模型时,更新到生产系统。您希望避免必须更新已部署的代码,以便在又一遍常常通过认证程序。相反,您只需通过空中的通信机制将更新的型号参数传递到部署的系统中。此工作流的不同用例是在具有不同模型配置的复杂系统的循环测试中执行软件和硬件。
因此,总之,今天,我已经证明了Matlab如何降低采用AI的障碍,特别是机器学习。我已经花了很少的时间谈论易于互动或领导自动上的建筑模型,以便没有专业知识的工程师和域专家可以构建模型本身,或者甚至有经验的从业者是更加富有成效的建筑模型。
我刚刚谈到了代码生成,它促进了与Simulink的嵌入式部署和集成,通过一个新的本机机器学习块库,Simulink变得更加容易。金宝app类似地,对于深度学习,有一些模块可用于在Simulink模型中集成这些模块。金宝app
如果您想了解有关我所讨厌的内容,分类学习者的更多信息,作为一个交互式工具的示例,可以更轻松地构建模型,或者在Automl上的视频,其中包含三个简单的步骤,您可以获得优化的型号以及散步如何应用不同的模型解释性方法。回到基础知识,我们还有一个两小时的ondamp,可以帮助您熟悉Matlab中的机器学习,并链接到我在本演示文稿中提到的演示。
我演讲的大部分内容都是关于机器学习,但深度学习也可以使用类似的工具。要了解更多信息,请参考这些资源——介绍视频和交互式深度网络设计应用程序,举例说明各种可视化技术来解释深度神经网络的行为,使用实验管理器自动调整超参数进行深度学习,以及两个小时的深度学习Onramp。
你可以在mathworks.com上找到这些资源。例如,从机器和深度学习的页面解决方案开始。URL显示在这里。你也可以要求免费试用统计和机器学习工具箱和深度学习工具箱,这取决于你应用的是哪种类型的AI模型。这次网络研讨会到此结束。非常感谢您的关注。
你也可以从以下列表中选择一个网站:
选择中国网站(以中文或英文)以获取最佳网站性能。其他MathWorks国家网站未优化您的位置。