神经元模型
简单的神经元
神经网络的基本构建块输入神经元,如这个例子。
有三个不同的功能操作,发生在这个例子中神经元。首先,输入标量p乘以标量吗重量w形成了产品wp,再一个标量。第二,加权输入wp添加到标量吗偏见b形成了净输入n。(在本例中,您可以查看偏见转移函数f左边的金额b。偏见就像重量,除了它有一个常数输入1。)最后,通过净输入传递函数f,标量输出一个。名字给这三个过程是:重量函数,净输入函数和传递函数。
对于许多类型的神经网络,权函数是一个产品的重量乘以输入,但其他权重函数(例如,重量和输入之间的距离,|w−p|)有时被使用。(权重函数的列表类型帮助nnweight)。最常见的净输入函数加权求和的输入与偏见,但其他操作,可以使用乘法等。(净输入函数的列表类型帮助nnnetinput)。介绍了径向基神经网络讨论了如何使用距离加权函数和乘法可以用作净输入函数。也有许多类型的转移函数。各种传输函数的例子转移函数。(转移函数的列表类型帮助nntransfer)。
请注意,w和b都是可调神经元的标量参数。神经网络的中心思想是,这些参数可以调整,网络展览一些所需的或有趣的行为。因此,您可以列车网络做一个特定的工作通过调整重量或偏差参数。
所有的神经元深度学习工具箱™软件提供了一个偏见,偏见是用在许多的例子,假设在大多数工具箱。然而,你可以省略神经元中的偏见。
转移函数
许多转移函数包含在深度学习工具箱软件。
两种最常用的函数如下所示。
下图说明了线性传递函数。
这种类型的神经元用于最后一层的多层网络用作函数的估计值。这是所示多层浅神经网络和反向传播训练。
的乙状结肠传递函数如下所示的输入,可有任何价值+和-∞之间,和南瓜输出到0到1之间。
传递函数是常用的隐藏层的多层网络,部分是因为它是可微的。
的象征在广场的右边每个传递函数图如上所示表示相关的传递函数。这些图标替换一般f在网络图块显示所使用的特殊的传递函数。
传递函数的完整列表类型帮助nntransfer。您还可以指定自己的转移函数。
你可以尝试一个简单的神经元和各种转移函数通过运行示例程序nnd2n1。
神经元的输入向量
简单的神经元可以扩展到处理的输入向量。与单个神经元R有效输入向量如下所示。在这里,个人输入元素
是乘以权重
美联储和加权值求和结。它们的和是Wp的内积(单列)矩阵W和向量p。(还有其他的权重函数,除了点积,比如权重矩阵的行之间的距离和输入向量,如介绍了径向基神经网络)。
神经元有偏见b与加权输入,这是总结形成净输入n。(除了求和,可以使用其他净输入功能,如用于乘法介绍了径向基神经网络)。净输入n传递函数的参数吗f。
当然,这个表达式可以是用MATLAB编写的®代码
n = W * p + b
然而,你很少会写代码在这个级别,这样的代码已经内置函数定义和模拟整个网络。
缩写符号
上面所示的图的单个神经元包含更多的细节。当你考虑和许多神经元网络,甚至许多神经元层,有这么多细节的主要思想往往是输了。因此,作者设计了一个缩写符号对于单个神经元。使用这个符号,在电路的多个神经元,显示在这里。
在这里输入向量p由固体黑色竖线表示在左边。的尺寸p如下所示的符号吗p在图R×1。(注意,一个大写字母,如R在前面的句子,是指的时使用大小一个向量)。因此,p是一个向量的R输入元素。这些输入自右乘单列,R列矩阵W。和之前一样,一个常数1进入神经元作为输入,并乘以一个标量的偏见b。网络传递函数的输入f是n偏见的总和b和产品Wp。这个和传递给传递函数f神经元的输出一个在这种情况下,这是一个标量。请注意,如果有超过一个神经元,网络的输出向量。
一个层网络被定义在前面的图中。一层包括重量,这里的乘法和加法操作(意识到作为一个向量的乘积Wp),偏见b和传递函数f。数组的输入向量p,不包括在或称为层。
与简单的神经元,有三个操作发生在层:权重函数(矩阵乘法,或点积,在这种情况下),净输入函数(求和,在这种情况下),和传递函数。
每次使用这个缩写网络符号,给出了矩阵的大小略低于他们的矩阵变量名。这个符号将让你了解相关的架构和遵循矩阵数学。
讨论了在转移函数,当一个特定的传递函数图,使用的符号,传递函数取代了f如上所示。这里有一些例子。
你可以尝试双元素神经元通过运行示例程序nnd2n2。
