回归层为回归任务计算半均值的误差损失。对于典型的回归问题,回归层必须遵循最终的完全连接层。
对于一个单一的观察,均方误差由以下方式给出:
在哪里r是响应数,t一世是目标输出,并且y一世是网络的响应预测一世。
对于图像和序列到一个回归网络,回归层的损耗函数是预测响应的半均值误差,而不是由r:
对于图像到图像回归网络,回归层的损耗函数是每个像素的预测响应的半均值误差,而不是由r:
在哪里H,,,,w, 和C分别表示输出的高度,宽度和数量,并表示p索引到每个元素(像素)的t和y线性。
对于序列到序列回归网络,回归层的损耗函数是每个时间步的预测响应的半均值误差,而不是由r:
在哪里s是序列长度。
训练时,软件会计算小批量观测值的平均损失。