Twin-Delayed深决定性策略梯度代理- MATLAB和Simulink MathWorks日本金宝app

双延迟深度确定性策略梯度代理

双延迟深度确定性策略梯度(TD3)算法是一种无模型、在线、非策略强化学习方法。TD3代理是一个行动者-批评者强化学习代理，它搜索一个最优策略，使预期累积的长期回报最大化。

有关不同类型的强化学习代理的更多信息，请参见强化学习代理．

TD3算法是对DDPG算法的扩展。DDPG代理可能会过高估计价值函数，从而产生次优策略。为了减少值函数的过高估计，TD3算法对DDPG算法进行了如下修改。

TD3 agent学习两个q值函数，并在策略更新时使用最小值函数估计。
TD3代理更新策略和目标的频率低于Q函数。
当更新策略时，TD3代理将噪声添加到目标操作中，这使得策略不太可能利用具有高q值估计的操作。

您可以使用TD3代理来实现下列训练算法之一，具体取决于您指定的批评数量。

TD3 -用两个q值函数训练agent。该算法实现了上述所有三种修改。
延迟DDPG -用单q值函数训练agent。该算法训练一个具有目标策略平滑、延迟策略和目标更新的DDPG代理。

TD3 agents可以在以下观察和行动空间的环境中进行训练。

观察太空	行动空间
连续或离散	连续

TD3代理使用以下演员和评论家表示。

评论家	演员
一个或多个q值函数注释问（年代，一个)，您可以使用`rlQValueRepresentation`	确定的政策的演员π（年代)，您可以使用`rlDeterministicActorRepresentation`

在培训期间，TD3 agent:

在学习过程中的每个时间步骤更新演员和评论家属性。
使用循环体验缓冲区存储过去的体验。代理使用从缓冲区中随机抽取的一小批经验来更新演员和评论家。
在每个训练步骤使用随机噪声模型扰动策略所选择的动作。

演员和评论家功能

为了估计策略和价值函数，TD3代理维护以下函数近似器:

确定的演员π（年代|θ) -演员，有参数θ需要观察年代并回报相应的行动，使长期回报最大化。
目标的演员π_t（年代|θ_t)—为了提高优化的稳定性，代理定期设置目标actor参数θ_t更改为最新的actor参数值。
一两个q值批评家问_k（年代，一个|ϕ_k)——批评者，每个都有不同的参数ϕ_k,观察年代和行动一个作为输入并返回相应的长期回报期望。
有一两个批评的目标问_tk（年代，一个|ϕ_tk)—为了提高优化的稳定性，agent定期设置目标批评家参数ϕ_tk以最新对应的批评家参数值为准。目标批评者的数量与批评者的数量相匹配。

这两个π（年代),π_t（年代)具有相同的结构和参数化。

对于每一个评论家,问_k（年代，一个),问_tk（年代，一个)具有相同的结构和参数化。

当使用两个批评者时，问₁（年代，一个),问₂（年代，一个)，每个评论家可以有不同的结构，尽管当评论家有相同的结构时，TD3效果最好。当评论器具有相同的结构时，它们的初始参数必须不同。

当训练完成时，训练后的最优策略存储在actor中π（年代)．

有关为函数近似创建actor和批评者的更多信息，请参见创建策略和价值功能表示．

代理创建

您可以在MATLAB中创建和培训TD3代理^®命令行或使用强化学习设计应用程序。

有关使用强化学习设计,请参阅使用强化学习设计器创建代理．

在命令行中，您可以根据环境中的观察和操作规范，创建具有默认参与者和批评者表示的TD3代理。为此，请执行以下步骤。

为您的环境创建观察规范。如果您已经有了一个环境接口对象，您可以使用以下方法获取这些规范getObservationInfo．
为您的环境创建操作规范。如果您已经有了一个环境接口对象，您可以使用以下方法获取这些规范getActionInfo．
如果需要，指定每个可学习层的神经元数量或是否使用LSTM层。为此，使用以下方法创建代理初始化选项对象rlAgentInitializationOptions．
如果需要，使用rlTD3AgentOptions对象。
使用rlTD3Agent对象。

或者，您可以创建参与者和批评者表示，并使用这些表示创建您的代理。在这种情况下，确保参与者和批评者表示的输入和输出维度与环境的相应操作和观察规范相匹配。

使用rlDeterministicActorRepresentation对象。
创建一个或两个批评家使用rlQValueRepresentation对象。
指定代理选项rlTD3AgentOptions对象。
使用rlTD3Agent对象。

有关为函数近似创建actor和批评者的更多信息，请参见创建策略和价值功能表示．

训练算法

TD3 agents使用如下的训练算法，在每个时间步更新它们的actor和critic模型。要配置训练算法，请使用rlDDPGAgentOptions对象。在这里,K= 2是多少批评家和k是批评家索引。

初始化每个评论家问_k（年代，一个)，使用随机参数值ϕ_k，并用相同的随机参数值初始化每个目标批评家: $ϕ_{t k} ＝ ϕ_{k}$ ．
初始化的演员π（年代)，使用随机参数值θ，并使用相同的参数值初始化目标参与者: $θ_{t} ＝ θ$ ．
对于每个训练时间步:
1. 对于当前的观测年代,选择行动一个＝π（年代)+N,在那里N为噪声模型中的随机噪声。要配置噪声模型，请使用ExplorationModel选择。
2. 执行动作一个．观察奖励R其次观察年代．
3. 储存经验(年代，一个，R，年代)在经验缓冲区中。
4. 随机取样一小批米经验(年代_我，一个_我，R_我，年代_我)从经验缓冲区。指定米,可以使用MiniBatchSize选择。
5. 如果年代_我是终端状态，设定值函数的目标吗y_我来R_我．否则，设置为
  
  $y_{我} ＝ R_{我} + γ ＊ \underset{k}{最小值} （问_{t k} （ {年代}_{我} ＇，剪辑（ π_{t} （ {年代}_{我} ＇ | θ_{t} ） + ε ） | ϕ_{t k} ））$
  
  价值功能目标是经验奖励的总和R_我以及评论家对未来奖励的最低折扣。指定折扣因子γ,可以使用DiscountFactor选择。
  为了计算累积奖励，代理首先通过传递下一个观察值来计算下一个动作年代_我从抽样的经验到目标参与者。然后，代理添加噪音ε的计算动作TargetPolicySmoothModel，并根据上、下噪声限制剪辑动作。代理通过将下一个动作传递给目标批评者来获得累积奖励。
6. 在每次训练步骤中，更新每个批评家的参数，使损失最小化l_k所有抽样的经验。
  
  $l_{k} ＝ \frac{1}{米} \sum_{我＝ 1}^{米} {（ y_{我} - 问_{k} （ {年代}_{我} ， {一个}_{我} | ϕ_{k} ））}^{2}$
7. 每一个D₁步骤，使用以下抽样策略梯度更新参与者参数，以最大化预期的折扣奖励。设置D₁,可以使用PolicyUpdateFrequency选择。
  
  $\begin{array}{l} \nabla_{θ} J \approx \frac{1}{米} \sum_{我＝ 1}^{米} G_{一个我} G_{π 我} \\ G_{一个我} ＝ \nabla_{一个} \underset{k}{最小值} （问_{k} （ {年代}_{我} ，一个 | ϕ ））在哪里一个＝ π （ {年代}_{我} | θ ） \\ G_{π 我} ＝ \nabla_{θ} π （ {年代}_{我} | θ ） \end{array}$
  
  在这里,G_人工智能是否由行动者网络计算出最小批评家输出相对于动作的梯度，和G_π我是行动者输出相对于行动者参数的梯度。两个梯度都被评估以供观察年代_我．
8. 每一个D₂步骤，根据目标更新方法更新目标参与者和批评者。指定D₂,可以使用TargetUpdateFrequency选择。有关更多信息，请参见目标更新方法．

为简单起见，该算法的演员和评论家更新显示了使用基本随机梯度下降梯度更新。实际的梯度更新方法取决于您指定使用的优化器rlRepresentationOptions．

目标更新方法

TD3代理使用以下目标更新方法之一更新它们的目标参与者和批评者参数。

平滑-使用平滑因子在每个时间步骤更新目标参数τ．要指定平滑因子，请使用TargetSmoothFactor选择。

$\begin{array}{l} ϕ_{t k} ＝ τ ϕ_{k} + （ 1 - τ ） ϕ_{t k} （评论家参数） \\ θ_{t} ＝ τ θ + （ 1 - τ ） θ_{t} （演员参数） \end{array}$
周期定期更新目标参数，不需要平滑(TargetSmoothFactor = 1)．要指定更新周期，请使用TargetUpdateFrequency参数。

$\begin{array}{l} ϕ_{t k} ＝ ϕ_{k} \\ θ_{t} ＝ θ \end{array}$
周期性的平滑—定期平滑更新目标参数。