回归层计算回归任务的半均方误差损失。对于典型的回归问题,回归层必须在最终完全连通层之后。
对于单个观测,均方误差为:
在哪里R为响应次数,t我目标输出,和y我是网络对反应的预测吗我.
对于图像和序列一回归网络,回归层的损失函数是预测响应的半均方误差,而不是归一化R:
对于图像到图像的回归网络,回归层的损失函数是每个像素的预测响应的半均方误差,而不是归一化R:
在哪里H,W,C分别表示输出通道的高度、宽度和数量,和p的每个元素(像素)的索引t和y线性。
对于序列-序列回归网络,回归层的损失函数是每个时间步的预测响应的半均方误差,而不是归一化R:
在哪里年代为序列长度。
在训练时,该软件计算在小批的观测值上的平均损失。