噪声模型选项,指定为一个OrnsteinUhlenbeckActionNoise对象。关于噪声模型的更多信息,请参阅噪声模型。

代理与多个操作,如果操作有不同的范围和单位,每个操作可能需要不同的噪声模型参数。如果有类似的行为范围和单位,你可以设置噪声参数为所有操作相同的值。

例如,代理的两个动作,每个动作到另一个值的标准偏差时使用相同的衰变率两个标准差。

选择= rlDDPGAgentOptions;opt.NoiseOptions。StandardDeviation= [0.1 0.2]; opt.NoiseOptions.StandardDeviationDecayRate = 1e-4;

演员优化选项,指定为一个rlOptimizerOptions对象。它允许您指定学习速率等演员的训练参数的估计值,梯度阈值,以及优化算法及其参数。有关更多信息,请参见rlOptimizerOptions和rlOptimizer。

评论家优化选项,指定为一个rlOptimizerOptions对象。它允许您指定训练参数的评论家接近者,如学习速率梯度阈值,以及优化算法及其参数。有关更多信息,请参见rlOptimizerOptions和rlOptimizer。

平滑系数为目标的演员和评论家更新,指定为一个积极的标量小于或等于1。有关更多信息,请参见目标更新方法。

许多步骤之间目标的演员和评论家更新,指定为一个正整数。有关更多信息,请参见目标更新方法。

选择清除缓冲区之前培训经验,指定为一个逻辑值。

最大batch-training轨迹长度使用递归神经网络时,指定为一个正整数。这个值必须大于1当使用递归神经网络1否则。

大小的随机mini-batch经验,指定为一个正整数。在每次训练集,代理经验的随机样本经验缓冲区时计算梯度更新评论家属性。大型mini-batches减少方差计算梯度但增加计算工作量。

使用未来的奖励数量估计的值政策,指定为一个正整数。有关更多信息,请参见[1],第7章。

注意,如果启用了并行训练(也就是说如果一个rlTrainingOptions选择的对象UseParallel属性设置为真正的传递给火车),那么NumStepsToLookAhead必须设置为1,否则会生成一个错误。这可以保证连续存储的经历。

。

体验缓冲区大小,指定为一个正整数。在培训期间,代理计算更新使用mini-batch经历随机取样的缓冲区。

样本代理的时候,作为一个积极的标量或指定1。设置这个参数1支持基于事件的模拟。

在一个模型金宝app^®环境中,RL代理块中执行每一个指定的代理SampleTime秒的仿真时间。如果SampleTime是1块继承了样本时间从母公司子系统。

在MATLAB^®环境中,代理执行每一次进步的环境。在这种情况下,SampleTime之间的时间间隔连续元素返回的输出的经验吗sim卡或火车。如果SampleTime是1之间的时间间隔连续元素返回的输出经验反映了事件触发代理执行的时机。

折现系数应用于未来的回报在训练,指定为一个积极的标量小于或等于1。