rlddpgagent.
深度确定性政策梯度加固学习代理
描述
深度确定性政策梯度（DDPG）算法是一个演员 - 评论家，无模型，在线，禁止策略加强学习方法，这些禁止措施方法计算了最大化长期奖励的最佳政策。动作空间只能是连续的。
有关更多信息，请参见深度确定性策略梯度代理．有关不同类型的强化学习代理的更多信息，请参见强化学习代理．
创造
句法
描述
从观察和操作规范中创建代理
代理人= rlDDPGAgent (观察税收那ActionInfo.）观察税收和行动规范ActionInfo.．
代理人= rlDDPGAgent (观察税收那ActionInfo.那初学者）初学者对象。有关初始化选项的详细信息，请参阅rlagentinitializationOptions.．
指定代理选项
代理人= rlDDPGAgent (___那agentOptions）代理选项属性设置agentOptions输入参数。在上一个语法中的任何输入参数后使用此语法。
输入参数
属性
对象功能
训练 |
火车加固规定的环境内学习代理商 |
SIM卡 |
在指定环境中模拟培训的钢筋学习代理 |
的getAction |
获得代理或演员表示给定的环境观测行动 |
getActor |
从强化学习代理中获得角色表示 |
setActor |
设置钢筋学习代理的演员代表 |
getCritic |
从强化学习代理人获取评论家表示 |
setCritic |
强化学习剂套装评论家表示 |
generatePolicyFunction |
创建评估强化学习代理的训练策略的函数 |
例子
从观察和操作规范中创建DDPG代理
创造一个具有连续动作空间的环境，并获得其观察和动作规范。对于此示例，请加载示例中使用的环境火车DDPG代理控制双积分系统．从环境中观察到的是一个包含质量的位置和速度的矢量。该动作是代表一种力的标量，从而连续地测量 -2到目前为止2牛顿。
加载预定义环境ENV = rlPredefinedEnv（“DoubleIntegrator-Continuous”）;％获得观察和行动规范obsInfo = getObservationInfo (env);Actinfo = GetActionInfo（Env）;
代理创建函数随机初始化参与者和批评者网络。您可以通过固定随机生成器的种子来确保重现性。为此，取消下面一行的注释。
% rng (0)
创建从环境中观察和操作规范的政策梯度剂。
剂= rlDDPGAgent（obsInfo，actInfo）;
要检查你的代理，使用的getAction从随机观察中返回动作。
的getAction（代理，{兰特（obsInfo（1）.Dimension）}）
ANS =1 x1单元阵列{[0.0182]}
您现在可以在环境中测试和培训代理人。
创建DDPG代理使用初始化选项
创建具有连续动作空间的环境，并获得其观察和操作规范。对于此示例，请加载示例中使用的环境用图像观察训练DDPG Agent上摆和平衡摆．该环境有两个观察结果：50×50灰度图像和标量（摆动的角速度）。动作是表示扭矩连续的标量 -2到目前为止2纳米。
加载预定义环境ENV = rlPredefinedEnv（“SimplePendulumWithImage，连续”）;％获得观察和行动规范obsInfo = getObservationInfo (env);Actinfo = GetActionInfo（Env）;
创建代理初始化选项对象，指定网络中的每个隐藏的完全连接图层必须具有128.神经元(而不是默认的数字，256.）。
initOpts = rlAgentInitializationOptions (“NumHiddenUnit”，128）;
代理创建函数随机初始化参与者和批评者网络。您可以通过固定随机生成器的种子来确保重现性。为此，取消下面一行的注释。
% rng (0)
创建从环境中观察和操作规范的DDPG剂。
代理= rlddpgagent（Obsinfo，Actinfo，Enitopts）;
将批判学习率降低到1e-3。
评论家= getCritic(代理);critic.Options.LearnRate = 1 e - 3;代理= setCritic(代理、批评);
从主体、行动者和批评者中提取深度神经网络。
ActORNET = GetModel（GetAttor（代理））;批评= getModel（accritic（代理））;
显示批评网络的层，并验证每个隐藏的完全连接层是否有128个神经元
criticNet.Layers
ans = 14x1图层数组:1的concat串联连接3输入沿着维度3 2的relu_body ReLU ReLU 3“fc_body”完全连接128完全连接层4的body_output ReLU ReLU 5 input_1的图像输入50 x50x1图片6 conv_1卷积64 3 x3x1旋转步[1]和填充[0 0 0 0]7‘relu_input_1 ReLU ReLU 8 fc_1完全连接fc_2' fully connected 128 fully connected layer 11 'input_3' Image Input 1x1x1 images 12 'fc_3' fully connected 128 fully connected layer 13 'output' fully connected 1 fully connected layer 14 'RepresentationLoss' Regression output mean平方误差
情节演员和批评网络
情节（ACTORNET）
图（criticNet）
要检查你的代理，使用的getAction从随机观察中返回动作。
的getAction（代理，{兰特（obsInfo（1）.Dimension），兰特（obsInfo（2）.Dimension）}）
ANS =1 x1单元阵列{[-0.0364]}
您现在可以在环境中测试和培训代理人。
从演员和评论家创建DDPG代理
创建具有连续动作空间的环境，并获得其观察和操作规范。对于此示例，请加载示例中使用的环境火车DDPG代理控制双积分系统．从环境中观察到的是一个包含质量的位置和速度的矢量。这个作用是一个标量，表示从-连续范围的力2到目前为止2牛顿。
ENV = rlPredefinedEnv（“DoubleIntegrator-Continuous”）;obsInfo = getObservationInfo (env);Actinfo = GetActionInfo（Env）;
创建一个评论家表示。
％创建一个用于用作底层批评的网络近似值statePath = imageInputLayer([obsInfo.Dimension(1) 1 1])，“归一化”那“无”那“名称”那“国家”）;ActionPath = ImageInputLayer（[Numel（ActInfo）1 1]，“归一化”那“无”那“名称”那“行动”）;文件版本= [concatenationLayer（1,2，“名称”那'concat') quadraticLayer (“名称”那“二次”）全康连接层（1，“名称”那'StateValue'那'biaslearnratefactor'，0，'偏见'，0）];criticNetwork = layerGraph（statePath）;criticNetwork = addLayers（criticNetwork，actionPath）;criticNetwork = addLayers（criticNetwork，文件版本）;criticNetwork = connectLayers（criticNetwork，“国家”那'的concat / IN1'）;criticNetwork = connectLayers（criticNetwork，“行动”那'的concat /英寸2'）;％为评论家设置一些选项criticOpts = rlRepresentationOptions（'LearnRate', 5 e - 3,'GradientThreshold'，1）;％创建一个基于网络的逼近评论家评论家= rlQValueRepresentation（criticNetwork，obsInfo，actInfo，......'观察'，{“国家”}，“行动”，{“行动”}，批评）;
创建一个演员表示。
％创建一个用于用作底层演员近似器的网络actorNetwork = [imageInputLayer（[obsInfo.Dimension（1）1 1]，“归一化”那“无”那“名称”那“国家”）fullyConnectedLayer（numel（actInfo），“名称”那“行动”那'biaslearnratefactor'0,'偏见', 0)];％设置一些选项为演员actorOpts = rlRepresentationOptions（'LearnRate'，1e-04，'GradientThreshold'，1）;基于网络近似器创建参与者Actor = RLDETerminyActorRepresentation（Actornetwork，Obsinfo，Actinfo，......'观察'，{“国家”}，“行动”，{“行动”}，actorOpts）;
指定代理的选项，以及使用环境，演员和评论家创建DDPG剂。
agentOpts = rlDDPGAgentOptions (......“SampleTime”，env.Ts，......'TargetSmoothFactor'，1e-3，......'ExperienceBufferLength'，1E6，......'DiscountFactor'，0.99，......'minibatchsize'，32）;剂= rlDDPGAgent（演员，评论家，agentOpts）;
要检查你的代理，使用的getAction从随机观察中返回动作。
GetAction（代理，{rand（2,1）}）
ANS =1 x1单元阵列{[-0.4719]}
您现在可以在环境中测试和培训代理人。
使用经常性神经网络创建DDPG代理
对于此示例，请加载示例中使用的环境火车DDPG代理控制双积分系统．从环境中观察到的是一个包含质量的位置和速度的矢量。这个作用是一个标量，表示从-连续范围的力2到目前为止2牛顿。
ENV = rlPredefinedEnv（“DoubleIntegrator-Continuous”）;
获取观察和行动规范信息。
obsInfo = getObservationInfo (env);Actinfo = GetActionInfo（Env）;
创建一个评论家表示。要创建递归神经网络，请使用sequenceInputlayer.作为输入层并包括一个lstmLayer作为其他网络层之一。
equentpath = sequenceInputlayer（ObsInfo.dimension（1），“归一化”那“无”那“名称”那'myobs'）;ActionPath = sequenceInputLayer（Numel（ActInfo），“归一化”那“无”那“名称”那“myact”）;文件版本= [concatenationLayer（1,2，“名称”那'concat'）reluLayer（“名称”那'relu'）lstmLayer（8，“OutputMode”那“序列”那“名称”那'lstm'）全康连接层（1，“名称”那'StateValue'那'biaslearnratefactor'，0，'偏见'，0）];criticNetwork = layerGraph（statePath）;criticNetwork = addLayers（criticNetwork，actionPath）;criticNetwork = addLayers（criticNetwork，文件版本）;criticNetwork = connectLayers（criticNetwork，'myobs'那'的concat / IN1'）;criticNetwork = connectLayers（criticNetwork，“myact”那'的concat /英寸2'）;
设置评论家一些选项。
criticOpts = rlRepresentationOptions（'LearnRate', 5 e - 3,'GradientThreshold'，1）;
创建基于网络逼近评论家。
评论家= rlQValueRepresentation（criticNetwork，obsInfo，actInfo，......'观察'，{'myobs'}，“行动”，{“myact”}，批评）;
创建一个演员表示。
由于评论家有一个经常性网络，因此演员也必须具有经常性网络。为演员定义反复性神经网络。
actorNetwork = [sequenceInputLayer（obsInfo.Dimension（1），“归一化”那“无”那“名称”那'myobs'）lstmLayer（8，“OutputMode”那“序列”那“名称”那'lstm'）fullyConnectedLayer（numel（actInfo），“名称”那“myact”那'biaslearnratefactor'，0，'偏见'，0）];
演员的选择。
actorOpts = rlRepresentationOptions（'LearnRate'，1e-04，'GradientThreshold'，1）;
创建演员。
Actor = RLDETerminyActorRepresentation（Actornetwork，Obsinfo，Actinfo，......'观察'，{'myobs'}，“行动”，{“myact”}，actorOpts）;
指定代理的选项，以及使用环境，演员和评论家创建DDPG剂。使用具有复发性神经网络中DDPG剂，你必须指定一个SequenceLength大于1。
agentOpts = rlDDPGAgentOptions (......“SampleTime”，env.Ts，......'TargetSmoothFactor'，1e-3，......'ExperienceBufferLength'，1E6，......'DiscountFactor'，0.99，......'SequenceLength'20，......'minibatchsize'，32）;剂= rlDDPGAgent（演员，评论家，agentOpts）;
要检查你的代理，使用的getAction从随机观察中返回动作。
的getAction（代理，{obsInfo.Dimension}）
ANS =1 x1单元阵列{[-0.1483]}
您现在可以在环境中测试和培训代理人。
另请参阅
深层网络设计师|rlagentinitializationOptions.|rlDDPGAgentOptions|RLDETerminyActorRepresentation|rlqvalueerepresentation
您还可以从以下列表中选择一个网站：
