回归层计算回归任务的半平均误差损失。对于典型的回归问题,回归层必须遵循最终完全连接的层。
对于单个观察,平均方形错误由:
在哪里R.是响应的数量,T.一世是目标输出,和y一世是网络对响应的预测一世。
对于图像和序列到一个回归网络,回归层的损耗函数是预测响应的半平均平方误差,不归一化R.:
对于图像到图像回归网络,回归层的丢失函数是每个像素的预测响应的半平均误差,而不是归一化的R.:
在哪里H那W., 和C分别表示输出的高度,宽度和数量,以及P.索引到每个元素(像素)的T.和y线性。
对于序列到序列回归网络,回归层的丢失函数是每次步骤的预测响应的半平均正误差,而不是正常化R.:
在哪里S.是序列长度。
培训时,软件计算迷你批次中的观测的平均损失。