主要内容

径向基础神经网络

神经元模型

这是一个径向基础网络R输入。

请注意,净输入的表达式Radbas.神经元与其他神经元的不同。这里的网输入到了Radbas.传递函数是其权重向量之间的向量距离W和输入矢量P,乘以偏差B.(这||dist||该图中的框接受输入向量P和单行输入权重矩阵,并产生两者的点产品。)

径向基神经元的传递函数为

R A. D B A. s ( N ) = E N 2.

这是一个故事情节Radbas.转换功能。

这个当其输入为0时,径向基函数最多可1个。随着距离之间的距离WP降低,输出增加。因此,径向基神经元作为探测器,每当输入时会产生1P与其重量矢量相同W.

偏见B允许灵敏度Radbas.待调整神经元。例如,如果神经元有0.1的偏差,则为任何输入载体输出0.5P矢量距离为8.326(0.8326 /B)来自其体重载体W.

网络体系结构

径向基础网络由两层:隐藏的径向基础层组成s1.神经元和输出线性层s2.神经元。

这个||dist||该图中的框接受输入向量P和输入权重矩阵IW.1,1,并产生传染媒介s1.元素。元素是输入向量和向量之间的距离IW.1,1由输入权重矩阵的行形成。

偏置矢量B1.以及||dist||与matlab相结合®运算。*,它执行元素对元素的乘法。

前馈网络的第一层输出可以使用以下代码获取:

{1} = Radbas(NetProd(DIST(NET.IW {1,1},P),NET.B {1}))

幸运的是,你不必写这样的代码行。设计此网络的所有细节都构建为设计功能纽波纽克斯,你可以获得他们的输出SIM.

您可以通过遵循输入向量来了解该网络的行为方式P通过网络到输出A.2.. 如果向这样的网络提供输入向量,径向基层中的每个神经元将根据输入向量与每个神经元的权重向量的接近程度输出一个值。

因此,具有重量载体的径向基神经元与输入载体非常不同P输出附近零。这些小输出对线性输出神经元仅具有可忽略的影响。

相反,具有靠近输入向量的重量矢量的径向基神经元P在近1附近产生值。如果神经元具有1的输出,则其第二层中的输出重量将它们的值通过它们的值在第二层中的线性神经元。

事实上,如果只有一个径向基神经元的输出为1,而所有其他神经元的输出为0(或非常接近0),则线性层的输出将是活动神经元的输出权重。然而,这将是一个极端的情况。典型地,几个神经元总是在不同程度地放电。

现在详细了解第一层是如何工作的。每个神经元的加权输入是输入向量与其权重向量之间的距离,用dist. 每个神经元的净输入是其加权输入与其偏差的逐元素乘积,计算公式为NetProd.. 每个神经元的输出是它通过的净输入Radbas..如果神经元的体重矢量等于输入向量(转置),则其加权输入为0,其净输入为0,其输出为1.如果神经元的重量向量是距离传播根据输入向量,其加权输入为传播,其净输入是SQRT(-.5))(或0.8326),因此其输出为0.5。

精确设计(NewRbe)

您可以使用该功能设计径向基础网络纽波.此函数可以在训练向量上生成具有零错误的网络。它以下列方式调用:

net = new rbe(p,t,传播)

功能纽波采用输入向量的矩阵P和目标向量T和A.传播常数传播对于径向基层,返回一个带有权重和偏差的网络,以确保输出准确无误T当输入是P.

此函数纽波创造了许多人Radbas.神经元,因为在神经元中有输入向量P,并将第一层权重设置为P'. 因此,有一层Radbas.每个神经元作为不同输入载体的检测器的神经元。如果有Q输入向量,然后会有Q神经元。

第一层中的每个偏移设置为0.8326/传播.这使得径向基函数在+/-加权输入时交叉0.5传播.这决定了每个神经元响应的输入空间中的区域的宽度。如果传播是4,那么每个Radbas.神经元将以0.5或更大的频率对距离其权重向量4的向量距离内的任何输入向量作出响应。传播应该足够大,使神经元对输入空间的重叠区域有强烈的反应。

第二层权重IW2.,1(或代码,IW{2,1})和偏见b2.(或代码,b{2})通过模拟第一层的输出找到1.(A{1}),然后求解以下线性表达式:

[W {2,1} B {2}] * [A {1};(1,q)] = t

您知道第二层的输入(A{1})目标呢(T),并且层是线性的。您可以使用以下代码来计算第二层的权重和偏置以最小化SUM平方误差。

wb = t / [a {1};那些(1,Q)]

在这里WB.包含重量和偏差,最后一列中的偏差。总和平方误差始终为0,如下所述。

这是一个问题C约束(输入/目标对)和每个神经元都有C+1变量(C来自CRadbas.神经元和偏见)。线性问题C约束和更多C变量具有无限数量的零错误解决方案。金宝搏官方网站

因此,纽波创建在训练向量上无错误的网络。唯一需要的条件是确保传播足够大,以便Radbas.神经元重叠足够多,因此Radbas.神经元在任何时刻都有相当大的输出。这使得网络功能更平滑,并且对于设计中使用的输入向量之间出现的新输入向量,具有更好的泛化效果(然而,传播不应该这么大,因为每个神经元在输入空间的相同大面积中有效地响应。)

缺点纽波在那里它产生了一种具有多种隐藏神经元的网络,因为有输入向量。为此原因,纽波当需要许多输入向量来正确定义网络时,不返回可接受的解决方案,通常情况下。

更高效的设计(NewRB)

功能纽克斯迭代地创建一个径向基础网络一次一个神经元。神经元被添加到网络中,直到SUM平方误差下降到误差目标或已达到最大数量的神经元。此功能的呼叫是

净=新RB(P、T、目标、价差)

功能纽克斯获取输入和目标向量的矩阵PT,以及设计参数目标传播,并返回所需的网络。

计算机辅助设计方法纽克斯类似于纽波. 区别在于纽克斯一次创造神经元。在每次迭代时,最大导致网络错误的输入矢量最多用于创建一个Radbas.神经元。检查新网络的错误,如果足够低纽克斯完成了。否则将添加下一个神经元。重复此过程,直到达到错误目标或达到最大神经元数。

和人一样纽波,重要的是排列参数必须足够大,以便Radbas.神经元对输入空间的重叠区域响应,但并不是那么大,所有神经元基本上以相同的方式响应。

为什么不总是使用径向基础网络而不是标准的馈送网络?径向基础网络,即使设计有效纽波,倾向于与可比较的前馈网络有多次神经元田樱或者logsig.隐藏层中的神经元。

这是因为Sigmoid神经​​元可以在输入空间的大区域上输出输出Radbas.神经元只对相对较小的输入空间区域作出反应。结果是,输入空间越大(就输入的数量而言,以及这些输入的变化范围而言)就越大Radbas.神经元需要。

另一方面,设计径向基网络通常比训练sigmoid/线性网络花费更少的时间,并且有时会导致使用更少的神经元,如下一个示例所示。

例子

这个例子径向基近似显示如何使用径向基网络拟合函数。在这里,只有五个神经元就解决了这个问题。

例子径向基底下覆盖神经元径向基重叠神经元检查扩散常数如何影响径向基网络的设计过程。

径向基底下覆盖神经元,设计了一个径向基网络来解决与中相同的问题径向基近似.但是,此时使用的扩展常数为0.01。因此,对于任何输入载体,每个径向基础神经元从其重量载体返回0.01或更多的输入载体的0.5或更低。

因为训练输入以0.1的间隔发生,所以没有两个径向基神经元对任何给定的输入具有强输出。

径向基底下覆盖神经元显示具有太小的扩展常数可以导致不从设计中使用的输入/目标向量概括的解决方案。例子径向基重叠神经元显示了相反的问题。如果扩展常数足够大,径向基神经元将输出用于设计网络的所有输入的大值(接近1.0)。

如果所有径向基础神经元始终输出1,则呈现给网络的任何信息都会丢失。无论输入是什么,第二层输出1的输出。功能纽克斯将尝试找到一个网络,但不能因为在这种情况下出现的数值问题。

故事的寓意是,选择一个大于相邻输入向量之间距离的传播常数,以获得良好的泛化,但小于整个输入空间的距离。

对于该问题,这意味着挑选大于0.1的扩展常数,输入之间的间隔且小于2,最左边和最右侧输入之间的距离。