自动微分后台- MATLAB & Simulink - MathWorks España金宝app - 金宝app,下载188bet金宝搏,金宝搏官方网站

自动判别背景

什么是自动差异化?

自动微分(也称为autodiff，广告,或算法的区别)是一种广泛用于深度学习的工具。它对于创建和训练复杂的深度学习模型特别有用，而不需要手动计算导数以进行优化。有关演示如何创建和定制深度学习模型、训练循环和损失函数的示例，请参见定义自定义训练循环、损失函数和网络．

自动微分是一套数值计算导数(梯度)的技术。该方法使用符号规则求导，比有限差分逼近更精确。与纯符号方法不同，自动微分在计算的早期计算表达式的数值，而不是进行大量的符号计算。换句话说，自动微分计算在特定数值上的导数;它不构造导数的符号表达式。

转发模式通过对函数本身求值的同时进行初等导数运算来求数值导数。下一节将详细介绍，该软件在计算图上执行这些计算。
反模式自动微分使用正向模式计算图的扩展，通过对图的反向遍历来实现梯度的计算。当软件运行代码来计算函数及其导数时，它将操作记录在名为a的数据结构中跟踪．

正如许多研究人员所指出的(例如，Baydin, Pearlmutter, Radul和Siskind)[1])，对于多变量的标量函数，反向模式比正向模式更有效地计算梯度。因为深度学习损失函数是所有权重的标量函数，深度学习工具箱™自动微分使用反向模式。

转发模式

考虑计算这个函数及其梯度的问题:

$f （ x ）＝ x_{1} 经验值（ - \frac{1}{2} （ x_{1}^{2} + x_{2}^{2} ））．$

自动微分作用于特定点。在这种情况下，拿x₁= 2,x₂= 1/2。

下面的计算图编码了函数的计算f（x）.

计算的梯度f（x)使用正向模式，您可以在相同的方向上计算相同的图形，但根据基本的微分规则修改计算。为了进一步简化计算，您填写每个子表达式的导数值u_我就在你走的时候。为了计算整个梯度，你必须遍历图两次，一次是关于每个自变量的偏导数。链式法则中的每个子表达式都有一个数值，因此整个表达式具有与函数本身相同的计算图。

计算是链式法则的重复应用。在这个例子中，求导f关于x₁展开为以下表达式:

$\begin{matrix} \frac{d f}{d x_{1}} ＝ \frac{d u_{6}}{d x_{1}} \\ ＝ \frac{\partial u_{6}}{\partial u_{- 1}} + \frac{\partial u_{6}}{\partial u_{5}} \frac{\partial u_{5}}{\partial x_{1}} \\ ＝ \frac{\partial u_{6}}{\partial u_{- 1}} + \frac{\partial u_{6}}{\partial u_{5}} \frac{\partial u_{5}}{\partial u_{4}} \frac{\partial u_{4}}{\partial x_{1}} \\ ＝ \frac{\partial u_{6}}{\partial u_{- 1}} + \frac{\partial u_{6}}{\partial u_{5}} \frac{\partial u_{5}}{\partial u_{4}} \frac{\partial u_{4}}{\partial u_{3.}} \frac{\partial u_{3.}}{\partial x_{1}} \\ ＝ \frac{\partial u_{6}}{\partial u_{- 1}} + \frac{\partial u_{6}}{\partial u_{5}} \frac{\partial u_{5}}{\partial u_{4}} \frac{\partial u_{4}}{\partial u_{3.}} \frac{\partial u_{3.}}{\partial u_{1}} \frac{\partial u_{1}}{\partial x_{1}} ． \end{matrix}$

让 ${\dot{u}}_{我}$ 表示表达式的导数u_我关于x₁．的评估值u_我从函数求值，你可以计算偏导数f关于x₁如下图所示。的所有值 ${\dot{u}}_{我}$ 在从上到下遍历图形时变得可用。

求关于的偏导数x₂，您将遍历一个类似的计算图。因此，当你计算函数的梯度时，图遍历的次数与变量的数量相同。对于典型的深度学习应用程序来说，这个过程太慢了，因为它有数千或数百万个变量。

反模式

反向模式使用计算图的一次正向遍历来设置跟踪。然后，它在反方向遍历图的一次过程中计算函数的整个梯度。对于深度学习应用来说，这种模式效率要高得多。

逆向模式背后的理论也是基于链式法则，以及用超棒表示的相关伴随变量。伴随变量为u_我是

${\bar{u}}_{我} ＝ \frac{\partial f}{\partial u_{我}} ．$

在计算图上，根据链式法则，每个从变量向外的箭头都通过其项贡献给相应的伴随变量。例如，变量u₁有指向两个变量的箭头，u₁而且u₆．图中有相关的方程

$\begin{matrix} \frac{\partial f}{\partial u_{- 1}} ＝ \frac{\partial f}{\partial u_{1}} \frac{\partial u_{1}}{\partial u_{- 1}} + \frac{\partial f}{\partial u_{6}} \frac{\partial u_{6}}{\partial u_{- 1}} \\ ＝ {\bar{u}}_{1} \frac{\partial u_{1}}{\partial u_{- 1}} + {\bar{u}}_{6} \frac{\partial u_{6}}{\partial u_{- 1}} ． \end{matrix}$

在这个计算中，回想一下 $u_{1} ＝ u_{- 1}^{2}$ 而且u₆＝u₅u₁，你得到

${\bar{u}}_{- 1} ＝ {\bar{u}}_{1} 2 u_{- 1} + {\bar{u}}_{6} u_{5} ．$

在图的正向遍历过程中，软件计算中间变量u_我．在反向遍历期间，从种子值开始 ${\bar{u}}_{6} ＝ \frac{\partial f}{\partial f} ＝ 1$ ，反模式计算得到所有变量的伴随值。因此，反向模式只需一次计算梯度，与正向模式相比节省了大量的时间。

下图显示了该函数在反向模式下的梯度计算

$f （ x ）＝ x_{1} 经验值（ - \frac{1}{2} （ x_{1}^{2} + x_{2}^{2} ））．$

同样，计算需要x₁= 2,x₂= 1/2。反向模式计算依赖于u_我在原始计算图中函数的计算过程中获得的值。在图的右侧，使用图左侧的公式，伴随变量的计算值出现在伴随变量名旁边。

最终的梯度值显示为 ${\bar{u}}_{0} ＝ \frac{\partial f}{\partial u_{0}} ＝ \frac{\partial f}{\partial x_{2}}$ 而且 ${\bar{u}}_{- 1} ＝ \frac{\partial f}{\partial u_{- 1}} ＝ \frac{\partial f}{\partial x_{1}}$ ．

要了解更多细节，请参阅Baydin, Pearlmutter, Radul和Siskind[1]或Wikipedia关于自动微分[2]的文章。

参考文献

[1]贝丁，a.g.， B. A.皮尔穆特，A. A.拉杜，J. M.西斯金德。《机器学习中的自动区分:综述》机器学习研究杂志，18(153)， 2018，第1-43页。可以在https://arxiv.org/abs/1502.05767．

[２]自动分化。维基百科。可以在https://en.wikipedia.org/wiki/Automatic_differentiation．

另请参阅

dlarray|dlgradient|dlfeval|dlnetwork

自动判别背景

什么是自动差异化?

转发模式

反模式

参考文献

另请参阅

相关的话题