你好，我的名字是约翰娜这里加布里埃尔，我们要深谈学习计算机视觉。我们已经有了一些新的伟大的演示和能力给你看。因此，让我们开始吧。

是啊，所以我们将通过设置一些情境开始。我们有其他深学习视频留在我们的网站上它比本次网络研讨会要短得多，而且你一定要看着他们，也是如此。但最主要的是，我们将进入更深入的在这个研讨会上与其他影片。我们谈论的是深度学习计算机视觉。什么是深度学习？这是得知获悉功能和任务直接从数据，这可能是图片，文字，声音或一个类型的机器。

因为我们正在讨论计算机视觉，我们会很自然地看着图像数据。但是，仅仅记住，深度学习适用于不与图像处理许多其他任务。

对。所以，让我们来看看学习有多深工作的快速流程。比方说，我们有一组，每个图像包含一个或四个不同类型的对象的图像。而我们想要的东西，可以自动识别哪个对象是每一个形象。我们先从标记的图像，这只是意味着我们告诉深度学习算法什么形象包含的内容。有了这样的信息，它开始了解对象的具体特点，并将其与相应类别相关联。

你会注意到，任务从数据来看，这也意味着我们没有在功能正在学到的任何影响直接了解到。你可能听说过这种被称为端至端的学习，但在任何情况下，只要记住，深度学习获悉直接从数据功能。

这就是深度学习的基本工作。虽然深度学习的概念已经存在了一段时间，它已经成为近来更受欢迎，因为已经极大的改进这些分类的准确性，在那里他们胜过人在图像分类点技术。因此，也有一些因素，使深度学习，包括大型成套标签数据，强大的GPU来加速训练，以及使用其他人的工作为出发点，以培养自己的深层神经网络，我们将谈论的能力后来。

是的，我们会。所以，正确的在我们深入的东西，我们希望给您为什么我们做这个研讨会的一些背景和框架。深度学习是困难的。它的尖端技术，它可能很复杂，无论你在处理网络体系结构，了解如何培养一个精确的模型，并结合数千训练图像。

是啊，更不用说每个人最喜欢的任务了——试着找出为什么有些东西不工作了。

我们要MATLAB进行深度学习方便，向所有人。在这个研讨会，我们的网站上的其他资源一起，我们将解释如何，你可以很快上手使用MATLAB深度学习。在我们的网络研讨会中的示例还将演示如何处理大量图像集，轻松地集成图形处理器更快地培养深度学习模式，了解什么是模型，因为它的培训内发生的事情，并建立在模型从该领域的专家，所以你不要不得不从头开始。有了这样的，让我们来看看它。

是的。我们开始做吧。所以，我们要覆盖使用预训练的网络深度学习，图像分类的三个例子，传递学习新的对象分类，目标检测中的图像和视频。所以，首先是使用预训练网络图像分类。所以，我在这里的辣椒有一个形象，我希望能够进行分类。而且不管你信不信，我可以在代码中有四个基本路线与MATLAB做到这一点。

一，进口预训练模式。二，在图像中带来的。三，调整图像大小。四，分类图像。

好了。

就是这样了。

很酷。

好吧，就移动到第二人口统计学

他是在开玩笑。

是啊，我在开玩笑。因此，我们将谈论什么是怎么回事。

所以，这是什么AlexNet中的第一行代码？谁是亚历克斯，我们为什么用他的网呢？

为了直接回答你的问题，AlexNet是一个由很多人设计的卷积神经网络，包括Alex Krizhevsky。但我应该提供一些背景。有一个与MATLAB无关的独立项目叫做ImageNet项目。它的目标是拥有一个庞大的视觉内容库，比如图像，供人们用于研究和设计视觉对象识别。

从2010年开始。他们每年都会举办一场名为ImageNet的大型视觉识别挑战赛。

哦,是的。老ILSVRC。

是的，那场比赛。所以竞争对手提交上竞争的正确分类，并在[听不清]检测物体的软件程序。现在，直到2012年，实行计算机视觉的标准方法是通过这个过程被称为功能的工程，而不是AlexNet，其使用和基于深学习方法改进。所以你可能已经猜到，AlexNet下了队名监督，一个字提交2012 ILSVRC。它吹响了比赛出来的水，我猜可能是指的竞争对手和竞争本身两者。

而且有很多炒作的周围，因为人们意识到深度学习不只是理论上的。这真是实用和它做事情的方式更好，比我们一直在做之前。所以，历史课之外，AlexNet被训练识别准确地1000个不同的对象，我猜有一些东西需要与ILSVRC 2012年的胜利条件这几个预训练的网络之一，你可以从MATLAB，其中还包括VGG-访问16和19。

我们是否有一个历史的教训？

我不会为那些人上历史课。让我们回到我们的四行代码。首先看看MATLAB是如何让导入一个预训练的模型变得非常简单的。没有比这更简单的了。如果你的电脑上没有AlexNet，你只需要下载一次，不管是通过add-on manager还是使用错误中的链接(如果你没有下载代码)。现在你可以用它来做这个演示和任何你想要的东西。

因此，在第二行，你将在图像中。这似乎很简单。但是为什么你调整图像大小？所以我第一次这样做，我试图将所有的聪明，做三行代码。

如果不调整大小？

是的。而我得到这个错误，其中提到一些关于大小，这意味着，耶，我得弄清楚为什么它不工作。

大家最喜欢做的事。

所以，如果我做的净点层，它会告诉我的网络的架构。而起初看上去吓人，但第一层，输入层，拥有大小227 227像素。在端部的X3是RGB值，因为这是一个彩色照片。所以看到的是，我想，哦，好。只需使用MATLAB来调整图片的大小，所以当它传递到网络时，它不会报错了。而我们的代码最后一行现在可以进行分类的图像。

所以你刚才提到，AlexNet是卷积神经网络。这是什么意思，我可以请叫它CNN短？

我的意思是，只要观众不具有一定的有线电视新闻混淆网络研讨会网络有线新闻哦。这就是CNN表示，不是吗？那么，除了CNN是一个自我指涉的有线电视新闻网，它在深度学习的图像和计算机视觉问题的一种流行的架构。和独立AlexNet的，三个主要的事情是了解有关细胞神经网络的卷积，激活和池。

卷积是，你可能还记得从什么大学课程向您介绍了傅立叶和拉普拉斯变换，或好或坏的数学运算。这个想法是我们把我们的输入图像通过多种变换和他们每个人从图像中提取的某些特征。激活应用变换以卷积的输出。一种流行的活化功能RELU，或RELU，番茄番茄，这只是简单地采用输出，并将其映射到最高正值。最后，拉动是我们通过采取只有一个值进行到下一层，这有助于减少的参数，该模型需要了解的数量简化输出的过程。

所以重复这三个步骤以形成整个CNN架构，其可具有几十或几百层的，其中每一个的学习，以检测不同的特征。所以关于MATLAB一个整洁的事情是，它可以让你看的特征图。所以，如果你比较功能更接近初始层与功能更接近最后一层，他们变得越来越复杂，从颜色和边缘去的东西，似乎更详细说明。

让我们来看看，又在AlexNet的层。你可以看到盘旋，激活和池。一些其他网络将具有这些层的不同的配置，但在最后，他们都会有其执行的分类的最终层。随着代码的几行，我们可以重复显示什么AlexNet认为这是一起的图像。有时它得到它，有时没有。但是，这是相当不错的，只要对象是在原来设定的1000。

这引出了一个问题，你能做些什么，如果它不是？

那么，请允许我说，这是使用预训练模型图像分类回答这个问题。让我们给我们的第二个演示的举动。

好吧。在接下来的演示中，我们有汽车驾驶沿着高速公路的视频。我们希望能够将这些归类为汽车，卡车，越野车或。我们将使用AlexNet和微调网络只是我们的对象类，称为转移学习的过程，它可以被用于分类的对象不是在原来的网络。

还有就是我们的回答前面的问题。快速跟进你。所以，如果你有一个分类任务，其中你的对象正好是1000的一个，在那里你不会只使用AlexNet任何理由。

好问题。以转让在这种情况下学习的主要好处是有一个特定的分类器对您的数据。如果你训练较少的类别，你可以潜在地提高精度。

说得通。

所以我从我的手机上拍下了这个视频，我可以用IP网络摄像头把它自动带到MATLAB中。这个功能允许我记录汽车在办公室窗外行驶的几个小时的视频。现在，使用MATLAB和计算机视觉，我能够根据汽车的运动，用一个相对简单的过程，即背景减法，从每一帧视频中提取汽车。

这只是观察两个连续图像之间的像素差异然后找出足够不同的东西的问题。

现在，当车辆经过时，我们想把它们分为轿车、卡车或SUV。而这并不是AlexNet认为我们所关注的。所以如果我们当前的模型对数据不起作用，我们就需要一个新的模型。假设我们要给五种不同的车辆分类——轿车、卡车、大型卡车、suv和货车。我们的计划是使用AlexNet作为一个起点，并使用转移学习来创建一个特定于这五个类别的模型。

那么，你为什么要使用转移学习，而不是从头开始训练一个网络呢?

所以从头训练绝对是你可以试试。我们给你MATLAB所有的工具来做到这一点。但也有几个非常实用的理由这样做迁移学习代替。例如，您不必建立自己的网络架构，它需要大量的试验和错误的发现层的良好结合。此外，转让的学习并不需要几乎同样多的图像相比从头开始培训，以建立一个精确的模型。最后，你可以从深度学习领域的顶尖研究人员谁花更多的时间训练模式比我们充分利用知识和专业技能。

听起来不错。

这里有五个文件夹，包含了我们五个类别的很多图片。我们想要一个简单的方法来把这些数据传递给我们的深度学习算法。早些时候，加布里埃尔使用imread作为一种方式，把辣椒的形象。但我们不想对每个图像都这样做。相反，我将使用一个名为图像数据存储的函数，这是一种引入数据的有效方法。

我们应该注意到，有内MATLAB许多不同类型的数据存储于不同的大数据和数据分析任务。因此，它不只是图像。如果你有大量的数据，数据存储是你的朋友。

因此，一旦该点的图像数据存储到我的文件夹，它会自动标示基于包含图像的文件夹的名称我所有的数据。所以，没有必要通过一个做一个。一旦我这样做，我有机会获得有用的功能，就像看到我有多少图片为每个类别，并能我的图片迅速分成训练集和测试集。

如果需要，还可以指定自定义读取函数。图像数据存储为imread，默认情况下读取所有图像，这对于标准的图像格式来说非常棒。但如果你碰巧有非标准的图像格式imread不知道如何处理，你只需要编写自己的函数，把它传递到图像数据存储中，然后你就可以开始了。

即使你确实有标准的图像格式，你可以做一个自定义的阅读功能，做图像的预处理，如调整大小，锐化，降噪或。在我们的例子中，使用AlexNet，我们需要所以我们使用这个定制这里读取功能对他们提高227调整为227。

我注意到你没有直接调整大小。看起来你在填充图像。原因是什么?

这是我个人的经验。我试着调整图像的大小，但网络运行得不是很好。当我自己看着这些图片时，我分不清汽车和suv的区别。所以我做了一些同样的效果裁剪图像和保持高宽比。由于这有助于保持结构上的差异，我认为这可能对网络有帮助。之前你看到AlexNet在分类汽车和卡车方面做得很差。所以我们需要调整网络。

如果我们看一下层，你可以看到代表1000个类别AlexNet是在训练的最后的完全连接层。要执行迁移学习，我们在更换1000五我们的五类对象。然后，这条线将重置分类，手段忘记你学会了1,000个对象的那些名字。你只在乎这五个新的。

这就是你需要做的唯一的核心变化？

是的。这就是你需要做的所有的网络操作。如果你跑了这一点，你会得到一个分类器将这些五保对象的输出之一。

所以我想的问题是，它是如何做的？

所以我们事先训练的这个网络，它实际上得到了真正的好成绩，像97％的准确率。

这是因为，像两个小的改动代码相当令人印象深刻。

不过，说实话，你可能无法得到该点的时候了。请记住，AlexNet是上百万张图片，其中包括一些车辆训练。所以这是合理的假设，它发生在很顺利地转移到我们的数据。但是，如果你要学会转移从原来的设定等，非常不同的图像，也许你可能需要做一些更多的变化。

说得通。那么，什么是一些事情，如果他们发现自己与准确性欠佳的人可以尝试一下呢？

你可以尝试很多事情。然后进入快速射击模式。你可以跟着这张幻灯片。首先，在您开始更改参数之前，您可以做一些事情。检查你的数据。这一点我再怎么强调也不过分。最初，我的火车模型错误地分类了很多图像。我意识到我的一些数据在错误的文件夹里。显然，如果你的设置不准确，无论是错误的文件夹还是糟糕的训练数据，你都不会取得很大的进步。

接下来，尝试获得更多的数据。有时分类需要更多的图像，以便更好地理解这个问题。最后，尝试不同的网络。我们正在与AlexNet工作，但正如我们提到的，还有其他的网络，提供给您。它可能是一个不同的CNN可以提供更好的结果。

听起来不错。所以我们可以说我敢肯定，我有我的设置正确。我现在能做什么？

所以现在的问题是改变网络和培训过程。让我们从网络开始。更改网络意味着添加、删除或修改层。您可以向网络添加另一个全连接层，从而增加网络的非线性，并根据数据帮助提高网络的准确性。您还可以修改新层的学习权重，使它们比网络的早期原始层学习得更快。如果您希望保留网络先前了解的关于原始数据的丰富特性，那么这是非常有用的。

为改变训练过程中，它的改变培训方式的问题。你可以尝试更多的阶段，较少的阶段，和其他选项，以及为这你可以找到我们的网站上的文档。

因此，它是公平的，我说这个。所有的选项似乎是一样，你对待网络就像一个黑盒子。如果你训练它，它不是很好，然后你把这些修改它的一个，告诉它开始训练，等待出十足的等待时间，然后你会发现，如果它确实是好还是坏事情变得简单。那么，有什么我们可以做，说，在这个过程中的中间？

绝对。我们有一组输出功能，可以告诉我们发生了什么网络，因为它的训练英寸第一个情节，因为它训练网络的精度。理想情况下，你想向上看到的准确性趋势随着时间的推移。如果这不是你所看到的，你可以停止训练，并尝试修复它之前，你可能浪费时间在未改善一些训练。您也可以提前停止训练，根据一定的条件。在这里，我说的是网络停机，如果我达到99.5％的准确度。

我猜这是为了避免过度训练过度适应网络。

是的。我们也有检查点的概念。您可以在一个特定的点停止网络训练，看看它是如何以及是否在测试集，然后如果你决定它需要更多的训练，你不必从头开始。您只需拿起您离开的地方训练。正如你所期望的，对我们的网站，我们的许多不同的培训选项文档。如果你看看这里，你可以看到的选项我刚才概述积训练精度，并在这里，在规定的精度停止。所以，一定要试试这些例子。

是的，请。复制粘贴此代码。还有人在那里谁从来没有像复制，粘贴代码，你在互联网上找到。我得到他们的意思，就好，不要盲目照搬的东西，它想到刚工作。但严重的家伙，让他谁是没有复制粘贴的互联网代码投第一个错误信息。

你一定要复制我们的代码。不需要自己编写所有的代码，并且在训练过程中有一些更好的控制起点，这是很好的。

假设我真的很想让我的网络得到良好的调整，我想要尽可能地消除网络的黑箱方面。所以我想你可能不能直接看到网络看到的东西。但是，我们如何才能开始更深入地了解我们的网络呢?

有一两件事你可以做的是什么可视化的网络发现在我们的图像中的特征。我们可以看一下过滤器，我们可以看看图像的结果已经应用了这些过滤器之后。在第一个回旋，我们看到我们提取出边，深色和浅色图案。他们可能是非常明显的，或者没有这么多。而这一切都依赖于这些功能有多强的形象。

所以你可以在网络的任何一层都这样做?

是的。让我们看看另一个。这个图像的第四次卷积的输出产生了一些更抽象但有趣的特征。你可以假设这个特殊的渠道是找到车轮和保险杠的汽车作为特点。为了验证我们的理论，让我们尝试另一张图片，在图片左边的后轮是不可见的。如果我们的假设是正确的，那么这个通道的输出不应该激活图像左侧的那么多。这就是我们所看到的。

好了。因此，如果您想调试您的网络，这种技术可以为您提供您的网络所看到内容的可视化表示，并可能帮助您更好地理解正在发生的事情。

是。而所有的代码的文件中。网站上的例子经过在的脸上找到的功能，但它是同一个概念。我们来看一个更工具，你可能会发现有用就叫深沉的梦想。深梦想可以用来做非常有趣，显得扑朔迷离的图像，你可能已经在网上看到。但是，它的另一个工具，我们可以用它来了解网络。深梦想是要输出表示它已经在整个训练过程中学习到的特征的图像。

所以理解这个说法是不是给网络的图像，并具有将其连接到一个班级，让我们反向走。我们给网络一个类，我们把它给我们一个图像。那么，为什么这是很有帮助的。

因此，让我们看看文档。神经网络工具箱对深学习有很大的页面。其中的一个概念，这里是深的梦想，并使用AlexNet深梦想的一个例子。我们可以看到在这里我要请母鸡，AlexNet是在训练类别之一。而深的梦想让我在一个什么样的母鸡看起来像它有些抽象的版本。我们可以为我们的任何网络中的类别产生深梦想图像。

所以如果我们看到的东西看起来不像类别，我们可以假设我们的网络可能没有正确地学习类别。

是的，这可能是培训数据的问题。我给你们举个例子。在AlexNet最初的1000个分类中，它有一个松鼠分类。我正好有一堆松鼠的照片，所以我们可以在我们的网络上试试。我们看到所有的预测都是正确的，除了这一个。如果我们看《松鼠的深梦》，我们会看到什么?至于头发呢?它被误认为是什么?有一些充满活力的颜色，很好地符合我们最初尝试的几个图像。你可以看到与尾巴相关的特征。这些都是这幅图没有的强大特征。

从这一点上，我想我们可以添加更多的测试图像，包含这些类型的功能或缺乏我们的网络。

所以，现在你有足够的上手深度学习，更具体地说，转移学习。但我们不能完全用我们的例子完成。请记住，影片中，我们表现出了一阵汽车的后面开车上路？我们试图用AlexNet分类，这就是为什么我们通过所有的麻烦去创建自己的自定义模式。使用相同的算法之前检测汽车的形象，我现在可以使用分类我们的模型。我们可以看到我们的模型认为他们是和预测的能力。

非常好。

这就是转移学习的开始，还有很多关于理解你的网络并做出改进的提示和技巧。我们希望您已经看到MATLAB是如何简化处理大量图像、访问该领域专家的模型、可视化和调试网络以及使用gpu加速深度学习的。

等一下，你完全没有覆盖最后一个。

啊，所以你被关注。

是的，我是。

是的，我们并没有明确覆盖。但是，如果你在训练剪辑仔细看，输出消息表明，我们正在培训一个单一的GPU，NVIDIA的^®3.0计算能力的GPU，这是使用用于深度学习一个GPU的最低要求。和GPU与MATLAB计算美是这一切都在后台处理。而你，作为一个用户，不必对此担心。MATLAB在默认情况下使用GPU，如果你有一个，如果您使用的是GPU或GPU或GPU的云计算集群，甚至是CPU没有的功能改变。

你可以用一样，一个CPU的培训？我喜欢你的大，大，最大的是如何去，然后缩减到裸露的骨头计算。

是的，技术上你可以使用CPU。但是让我们来看看这个在CPU和GPU上训练相同深度学习算法的视频。

哇。这是非常出众。

是的。而这一切适用于训练过程中的任何一部分，无论是培训，测试，或可视化网络。因此，如果CPU是你唯一的选择，然后去了。但是，我们鼓励您使用GPU进行培训，或者至少确保你去当培训模式很长的茶点。

好吧。因此，对于我们最后的演示中，我们将讨论这往往被提请我们注意一个有点更具挑战性的问题。看看这里这个形象。如果我们把它呈现给我们的网络，会是什么觉得它是什么？在任何情况下，到目前为止，我们只显示整个图像分成一类的例子。但这个形象，显然有多种类型的车辆在多个位置。我们训练有素的网络不能够告诉我们。

所以这个经典问题被称为对象检测场景定位对象。因此，在这个例子中，我们看到的几辆车的背面。而我们的目标就是要检测。因此，我们需要创建一种能够承认我们关心的对象的对象检测器。现在，我们应该如何去这样做？

那么，此次研讨会的主题已深深学习，因此，如何深度学习？

太棒了。所以，如果我们要培养一个车辆检测器从背后认车，它需要大量的图片进行训练。现在，问题是我们的图像数据并没有被裁剪细分到个人的汽车，其手段乍一看我们必须要经过裁剪和标签我们所有的图像从无到有的乏味的任务。这个研讨会是多久应该是什么？

30分钟或更少。

我不认为我们可以做到这一点。除非我们有MATLAB。好极了。对不起。因此MATLAB有内置的应用程序来帮助您完成此过程。首先，你可以快速地浏览你的所有数据，并绘制场景中的物体周围的边框。现在，尽管这比手工裁剪好，你不希望有这样做100或1000倍。所以，如果你有一个视频或图像序列，MATLAB可以自动场景标记对象的过程。

在视频的第一帧，我指定其中对象是。现在，MATLAB将跟踪它在整个视频。就这样，我有数以百计的汽车的新标背上，而不必做100次。所以现在我们有我们所有的图像与我们关心的对象的边界框。再次，对现实世界和强大的解决方案，你需要的对象的例子数千或数百万。金宝搏官方网站所以，想象试图做的是手工，没有应用程式。

回深的学问。我们将使用CNN培养目标探测器。我们可以完全导入预训练CNN像我们以前那样，那会完全工作。但是你的新节目什么的家伙，我们要从头开始创建CNN架构。所以我们不会打字了实时的一切，但在MATLAB从头创建一个CNN只是卷积，激活的问题，并拉动层的三件事情你之前谈到。

而这正是我们在这里按顺序排列。你对过滤器的使用次数决定。而且，由于我们会让所有这些代码提供给您，可随时使用它，并让你的脚与从头开始创建自己的CNN湿。所以，现在是时候来训练我们的探测器。随着MATLAB的计算机视觉工具，我们实际上有几个对象检测器，你可以从中选择。什么是好的是，你可以使用相同的训练数据，你选择其中的任何一个。所以你可以从这个代码中看到的，你可以尝试所有的人都非常简单，看看他们是怎么做的。

我们有关于这些探测器的文档，它将提供在特定场景中使用哪种探测器的建议。所以，如果你打算利用对象检测，一定要注意这一点。

是的。所以我们训练了我们的探测器。我们将在一个样本图像上尝试一下。你可以在这里看到结果。看起来很好。但为了更令人印象深刻的演示，让我们在视频中尝试一下。你可以看到，它在高速公路上行驶。它会对所有的车进行分类。这是相当漂亮的。对于高级用户，您可以访问helper函数来更好地了解它的性能。

这里的MATLAB如何可以很容易地从快速标签数据的内置应用程序，并与深学习和计算机视觉等工具训练你的算法做目标检测。为了总结的东西了，记住的是，虽然我们在我们的例子中使用了大量的车辆，MATLAB和深度学习不仅限于车辆进行分类。因此，无论是人的脸，狗品种，或巨松鼠集合，你可以用MATLAB很容易地做到这一点。

我要赶紧拨打我们的支持解决回归问题与深学习，这意味着不是输出类金宝app或类别，可以输出的数值。我们的这一点，在那里你可以在道路上检测车道边界的一些例子。而对于那些你听腻了车，我们有一个在我们预测的面部关键点，它可以用来预测一个人的面部表情。

所以今天我们看到了一些新的东西，你可以用MATLAB和深度学习做。我们希望你能清楚地看到MATLAB如何使深度学习的艰巨任务要容易得多。所以一定要看看我们的网络研讨会中使用的所有代码，并尝试一下你自己的数据。

如果你去加上经理，你会得到我们的预训练的网络，你可以在同一个地方找到一些其他资源起床和深学习，包括一个视频展示了如何使用MATLAB提供一个可快速对象分类运行摄像头。

看看我们的其他资源在我们的网站开始使用深度学习，并随时与任何问题，给我们发电子邮件image-processing@mathworks.com。