rlSACAgent
软演员-评论家强化学习代理
描述
软行为者-批评(SAC)算法是一种无模型、在线、非政策的行为者-批评强化学习方法。SAC算法计算一个最优策略，使长期预期回报和策略的熵最大化。政策熵是给定状态下政策不确定性的度量。更高的熵值促进更多的探索。奖励和熵的最大化平衡了对环境的探索和开发。动作空间只能是连续的。
有关更多信息，请参见软Actor-Critic代理．
有关不同类型的强化学习代理的更多信息，请参见强化学习代理．
创建
语法
描述
从观察和操作规范中创建代理
代理= rlSACAgent (observationInfo，actionInfo）observationInfo和行为规范actionInfo．
代理= rlSACAgent (observationInfo，actionInfo，initOptions）initOptions）.
指定代理选项
代理= rlSACAgent (＿＿＿，agentOptions）
输入参数
属性
对象的功能
例子
根据观察和行动规范创建SAC代理
创造环境并获得观察和行动规范。对于本示例，请加载示例中使用的环境培训DDPG Agent控制双积分系统．从环境中观察到的是一个包含质量的位置和速度的矢量。作用是一个标量，表示作用于物体上的力，从-开始连续变化2来2牛顿。
env = rlPredefinedEnv (“DoubleIntegrator-Continuous”）;obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
代理创建函数随机初始化参与者和批评者网络。您可以通过固定随机生成器的种子来确保重现性。为此，取消下面一行的注释。
% rng (0)
从环境观察和行动规范创建一个SAC代理。
代理= rlSACAgent (obsInfo actInfo);
要检查你的代理，使用getAction从随机观察中返回动作。
getAction(代理,{兰特(obsInfo (1) .Dimension)})
ans =1 x1单元阵列{[0.0546]}
现在可以在环境中测试和培训代理。
使用初始化选项创建SAC代理
创造一个具有连续动作空间的环境，并获得其观察和动作规范。对于本示例，请加载示例中使用的环境培训DDPG Agent控制双积分系统．从环境中观察到的是一个包含质量的位置和速度的矢量。作用是一个标量，表示作用于物体上的力，从-开始连续变化2来2牛顿。
env = rlPredefinedEnv (“DoubleIntegrator-Continuous”）;obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
创建一个agent初始化选项对象，指定网络中每个隐藏的全连接层必须有128个神经元。
initOpts = rlAgentInitializationOptions (“NumHiddenUnit”, 128);
代理创建函数随机初始化参与者和批评者网络。您可以通过固定随机生成器的种子来确保重现性。为此，取消下面一行的注释。
% rng (0)
使用初始化选项从环境观察和操作规范创建SAC代理。
代理= rlSACAgent (obsInfo actInfo initOpts);
从actor中提取深度神经网络。
actorNet = getModel (getActor(代理));
从这两位评论家身上提取深层神经网络。请注意,getModel(批评)只返回第一个批评家网络。
批评者= getCritic(代理);criticNet1 = getModel(批评者(1));criticNet2 = getModel(批评者(2));
显示第一批判网络的各层，并验证每个隐藏的全连接层有128个神经元。
criticNet1。层
ans = 9x1图层数组1“input_1”功能输入2功能2 fc_1完全连接128完全连接第三层“input_2”功能输入1功能4“fc_2”完全连接128完全连接层的concat串联连接2输入沿着维度1 6的relu_body ReLU ReLU 7“fc_body”完全连接128完全连接层8 ' body_output ReLU ReLU 9'output' Fully Connected 1 fully connected layer
画出演员和第二个评论家的关系网。
情节(layerGraph (actorNet))
情节(layerGraph (criticNet2))
要检查你的代理，使用getAction从随机观察中返回动作。
getAction(代理,{兰特(obsInfo (1) .Dimension)})
ans =1 x1单元阵列{[-0.9867]}
现在可以在环境中测试和培训代理。
从演员和评论家中创建SAC特工
创造一个环境，并获得观察和行动规范。对于本示例，请加载示例中使用的环境培训DDPG Agent控制双积分系统．从环境中观察到的是一个包含质量的位置和速度的矢量。作用是一个标量，表示作用于物体上的力，从-开始连续变化2来2牛顿。
env = rlPredefinedEnv (“DoubleIntegrator-Continuous”）;obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
获得观察次数和行动次数。
numObs = obsInfo.Dimension (1);numAct =元素个数(actInfo);
创建两个q值批评家表示。首先，建立批判深度神经网络结构。
statePath1 = [featureInputLayer(numObs，“归一化”，“没有”，“名字”，“观察”) fullyConnectedLayer (400,“名字”，“CriticStateFC1”) reluLayer (“名字”，“CriticStateRelu1”) fullyConnectedLayer (300,“名字”，“CriticStateFC2”));actionPath1 = [featureInputLayer(numAct，“归一化”，“没有”，“名字”，“行动”) fullyConnectedLayer (300,“名字”，“CriticActionFC1”));commonPath1 =[附加图层(2，“名字”，“添加”) reluLayer (“名字”，“CriticCommonRelu1”) fullyConnectedLayer (1,“名字”，“CriticOutput”));criticNet = layerGraph (statePath1);criticNet = addLayers (criticNet actionPath1);criticNet = addLayers (criticNet commonPath1);criticNet = connectLayers (criticNet,“CriticStateFC2”，“添加/三机一体”）;criticNet = connectLayers (criticNet,“CriticActionFC1”，“添加/ in2”）;
创建批评家表示。对两个批评者使用相同的网络结构。SAC代理使用不同的默认参数初始化两个网络。
criticOptions = rlRepresentationOptions (“优化”，“亚当”，“LearnRate”1 e - 3,．..“GradientThreshold”, 1“L2RegularizationFactor”2的军医);摘要= rlQValueRepresentation (criticNet obsInfo actInfo,．..“观察”, {“观察”}，“行动”, {“行动”}, criticOptions);critic2 = rlQValueRepresentation (criticNet obsInfo actInfo,．..“观察”, {“观察”}，“行动”, {“行动”}, criticOptions);
创建一个参与者深度神经网络。不要添加tanhLayer或scalingLayer在平均输出路径中。SAC智能体内部将无界高斯分布转化为有界分布，合理计算概率密度函数和熵。
statePath = [featureInputLayer(numObs，“归一化”，“没有”，“名字”，“观察”) fullyConnectedLayer (400,“名字”，“commonFC1”) reluLayer (“名字”，“CommonRelu”));meanPath = [fulllyconnectedlayer (300，“名字”，“MeanFC1”) reluLayer (“名字”，“MeanRelu”) fullyConnectedLayer (numAct“名字”，“的意思是”));stdPath = [fulllyconnectedlayer (300，“名字”，“StdFC1”) reluLayer (“名字”，“StdRelu”) fullyConnectedLayer (numAct“名字”，“StdFC2”) softplusLayer (“名字”，“StandardDeviation”));concatPath = concatenationLayer(1、2、“名字”，“GaussianParameters”）;actorNetwork = layerGraph (statePath);actorNetwork = addLayers (actorNetwork meanPath);actorNetwork = addLayers (actorNetwork stdPath);actorNetwork = addLayers (actorNetwork concatPath);actorNetwork = connectLayers (actorNetwork,“CommonRelu”，“MeanFC1 /”）;actorNetwork = connectLayers (actorNetwork,“CommonRelu”，“StdFC1 /”）;actorNetwork = connectLayers (actorNetwork,“的意思是”，“GaussianParameters /三机一体”）;actorNetwork = connectLayers (actorNetwork,“StandardDeviation”，“GaussianParameters / in2”）;
使用深度神经网络创建随机参与者表示。
actorOptions = rlRepresentationOptions (“优化”，“亚当”，“LearnRate”1 e - 3,．..“GradientThreshold”, 1“L2RegularizationFactor”1 e-5);演员= rlStochasticActorRepresentation (actorNetwork obsInfo、actInfo actorOptions,．..“观察”, {“观察”}）;
指定代理选项。
agentOptions = rlSACAgentOptions;agentOptions。年代ampleTime = env.Ts; agentOptions.DiscountFactor = 0.99; agentOptions.TargetSmoothFactor = 1e-3; agentOptions.ExperienceBufferLength = 1e6; agentOptions.MiniBatchSize = 32;
使用演员、评论家和选项创建SAC特工。
agent = rlSACAgent(actor，[critic1 critic2]，agentOptions);
要检查你的代理，使用getAction从随机观察中返回动作。
getAction(代理,{兰特(obsInfo (1) .Dimension)})
ans =1 x1单元阵列{[0.1259]}
现在可以在环境中测试和培训代理。
使用递归神经网络创建SAC Agent
对于本示例，请加载示例中使用的环境培训DDPG Agent控制双积分系统．从环境中观察到的是一个包含质量的位置和速度的矢量。作用是一个标量，表示作用于物体上的力，从-开始连续变化2来2牛顿。
env = rlPredefinedEnv (“DoubleIntegrator-Continuous”）;obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
获得观察次数和行动次数。
numObs = obsInfo.Dimension (1);numAct =元素个数(actInfo);
创建两个q值批评家表示。首先，建立批判深度神经网络结构。要创建递归神经网络，请使用sequenceInputLayer作为输入层，并包含lstmLayer作为其他网络层之一。
statePath1 = [sequenceInputLayer(nummobs，“归一化”，“没有”，“名字”，“观察”) fullyConnectedLayer (400,“名字”，“CriticStateFC1”) reluLayer (“名字”，“CriticStateRelu1”) fullyConnectedLayer (300,“名字”，“CriticStateFC2”));actionPath1 = [sequenceInputLayer(numAct，“归一化”，“没有”，“名字”，“行动”) fullyConnectedLayer (300,“名字”，“CriticActionFC1”));commonPath1 =[附加图层(2，“名字”，“添加”) lstmLayer (8,“OutputMode”，“序列”，“名字”，“lstm”) reluLayer (“名字”，“CriticCommonRelu1”) fullyConnectedLayer (1,“名字”，“CriticOutput”));criticNet = layerGraph (statePath1);criticNet = addLayers (criticNet actionPath1);criticNet = addLayers (criticNet commonPath1);criticNet = connectLayers (criticNet,“CriticStateFC2”，“添加/三机一体”）;criticNet = connectLayers (criticNet,“CriticActionFC1”，“添加/ in2”）;
创建批评家表示。对两个批评者使用相同的网络结构。SAC代理使用不同的默认参数初始化两个网络。
criticOptions = rlRepresentationOptions (“优化”，“亚当”，“LearnRate”1 e - 3,．..“GradientThreshold”, 1“L2RegularizationFactor”2的军医);摘要= rlQValueRepresentation (criticNet obsInfo actInfo,．..“观察”, {“观察”}，“行动”, {“行动”}, criticOptions);critic2 = rlQValueRepresentation (criticNet obsInfo actInfo,．..“观察”, {“观察”}，“行动”, {“行动”}, criticOptions);
创建一个参与者深度神经网络。既然评论家有一个循环网络，那么演员也必须有一个循环网络。不要添加tanhLayer或scalingLayer在平均输出路径中。SAC智能体内部将无界高斯分布转化为有界分布，合理计算概率密度函数和熵。
statePath = [sequenceInputLayer(nummobs，“归一化”，“没有”，“名字”，“观察”) fullyConnectedLayer (400,“名字”，“commonFC1”) lstmLayer (8,“OutputMode”，“序列”，“名字”，“lstm”) reluLayer (“名字”，“CommonRelu”));meanPath = [fulllyconnectedlayer (300，“名字”，“MeanFC1”) reluLayer (“名字”，“MeanRelu”) fullyConnectedLayer (numAct“名字”，“的意思是”));stdPath = [fulllyconnectedlayer (300，“名字”，“StdFC1”) reluLayer (“名字”，“StdRelu”) fullyConnectedLayer (numAct“名字”，“StdFC2”) softplusLayer (“名字”，“StandardDeviation”));concatPath = concatenationLayer(1、2、“名字”，“GaussianParameters”）;actorNetwork = layerGraph (statePath);actorNetwork = addLayers (actorNetwork meanPath);actorNetwork = addLayers (actorNetwork stdPath);actorNetwork = addLayers (actorNetwork concatPath);actorNetwork = connectLayers (actorNetwork,“CommonRelu”，“MeanFC1 /”）;actorNetwork = connectLayers (actorNetwork,“CommonRelu”，“StdFC1 /”）;actorNetwork = connectLayers (actorNetwork,“的意思是”，“GaussianParameters /三机一体”）;actorNetwork = connectLayers (actorNetwork,“StandardDeviation”，“GaussianParameters / in2”）;
使用深度神经网络创建随机参与者表示。
actorOptions = rlRepresentationOptions (“优化”，“亚当”，“LearnRate”1 e - 3,．..“GradientThreshold”, 1“L2RegularizationFactor”1 e-5);演员= rlStochasticActorRepresentation (actorNetwork obsInfo、actInfo actorOptions,．..“观察”, {“观察”}）;
指定代理选项。要使用递归神经网络，必须指定SequenceLength大于1。
agentOptions = rlSACAgentOptions;agentOptions。年代ampleTime = env.Ts; agentOptions.DiscountFactor = 0.99; agentOptions.TargetSmoothFactor = 1e-3; agentOptions.ExperienceBufferLength = 1e6; agentOptions.SequenceLength = 32; agentOptions.MiniBatchSize = 32;
使用演员、评论家和选项创建SAC特工。
agent = rlSACAgent(actor，[critic1 critic2]，agentOptions);
要检查你的代理，使用getAction从随机观察中返回动作。
getAction(代理,{兰德(obsInfo.Dimension)})
ans =1 x1单元阵列{[0.6552]}
现在可以在环境中测试和培训代理。
另请参阅
rlAgentInitializationOptions|rlSACAgentOptions|rlStochasticActorRepresentation|rlValueRepresentation|深层网络设计师
你也可以从以下列表中选择一个网站:
