rlDQNAgent
深度Q网络强化学习agent
描述
深度q -网络(DQN)算法是一种无模型、在线、非策略的强化学习方法。DQN代理是一种基于价值的强化学习代理，它训练批评者来估计回报或未来的回报。DQN是q学习的一种变体，它只在离散的动作空间内运行。
创造
语法
描述
根据观察和操作规范创建代理
代理人= rlDQNAgent (observationInfo,actionInfo)observationInfo以及动作规范actionInfo．
代理人= rlDQNAgent (observationInfo,actionInfo,初始选项)初始选项有关初始化选项的详细信息，请参阅rlAgentInitializationOptions．
从批评家表示创建代理
代理人= rlDQNAgent (批评家)
输入参数
性质
目标函数
例子
根据观察和行动规范创建DQN代理
创建具有离散动作空间的环境，并获取其观察和动作规范。对于本例，加载示例中使用的环境使用深度网络设计器创建代理和使用图像观察训练。此环境有两个观测值：一个50×50的灰度图像和一个标量（摆锤的角速度）。动作是一个标量，有五个可能的元素（扭矩为-2., -1.,0,1.,或2.Nm应用于摆动杆）。
加载预定义环境env=rlPredefinedEnv(“SimplePendulumWithImage-Discrete”）;%获得观察和行动规范obsInfo=getObservationInfo（env）；actInfo=getActionInfo（env）；
代理创建函数随机初始化参与者和批评者网络。您可以通过固定随机生成器的种子来确保重现性。为此，取消下面一行的注释。
% rng (0)
根据环境观察和行动规范创建深度Q网络代理。
代理= rlDQNAgent (obsInfo actInfo);
要检查您的代理，请使用getAction从随机观察中返回动作。
getAction（代理，{rand（obsInfo（1.Dimension），rand（obsInfo（2.Dimension）}）
ans=1
现在可以在环境中测试和培训代理。
使用初始化选项创建DQN代理
创建具有离散动作空间的环境，并获取其观察和动作规范。对于本例，加载示例中使用的环境使用深度网络设计器创建代理和使用图像观察训练。此环境有两个观测值：一个50×50的灰度图像和一个标量（摆锤的角速度）。动作是一个标量，有五个可能的元素（扭矩为-2., -1.,0,1.,或2.Nm应用于摆动杆）。
加载预定义环境env=rlPredefinedEnv(“SimplePendulumWithImage-Discrete”）;%获得观察和行动规范obsInfo=getObservationInfo（env）；actInfo=getActionInfo（env）；
创建一个代理初始化选项对象，指定网络中每个隐藏的完全连接层必须具有128神经元(而不是默认的数字，256).
initOpts=rlagentinizationoptions(“NumHiddenUnit”,128);
代理创建函数随机初始化参与者和批评者网络。您可以通过固定随机生成器的种子来确保重现性。为此，取消下面一行的注释。
% rng (0)
根据环境观察和操作规范创建策略梯度代理。
代理= rlPGAgent (obsInfo actInfo initOpts);
将批判学习率降低到1e-3。
批评家=getCritic（代理）；批评家.Options.LearnRate=1e-3；代理=setCritic（代理，批评家）；
从两个批评家身上提取深层神经网络。
criticNet=getModel（getCritic（agent））；
默认的DQN代理使用多输出q值评估逼近器。多输出近似器将观察值作为输入，状态行为值作为输出。每个输出元素表示从观察输入所指示的状态中采取相应离散行动的预期累积长期回报。
显示批评网络的各层，并验证每个隐藏的全连接层有128个神经元
临界层
ans = 11x1图层数组:1“input_1”图像输入50 x50x1图片2 conv_1卷积64 3 x3x1旋转步[1]和填充[0 0 0 0]3‘relu_input_1 ReLU ReLU 4 fc_1完全连接128完全连接层5“input_2”功能输入1功能6 fc_2完全连接128完全连接层7的concat串联连接2输入dimension 1 8 'relu_body' ReLU ReLU 9 'fc_body' Fully Connected 128 Fully Connected layer 10 'body_output' ReLU ReLU 11 'output' Fully Connected 1 Fully Connected layer
策划评论家网络
情节(layerGraph (criticNet))
要检查您的代理，请使用getAction从随机观察中返回动作。
getAction（代理，{rand（obsInfo（1.Dimension），rand（obsInfo（2.Dimension）}）
ans=1x1单元阵列{[2]}
现在可以在环境中测试和培训代理。
使用多输出批评家表示创建DQN代理
创建环境接口并获取其观察和操作规范培训DQN代理以平衡大车杆系统的例子。这个环境有一个连续的四维观察空间(车和杆的位置和速度)和一个离散的一维作用空间，由两个可能的力的应用组成，-10N或10N。
加载预定义环境env=rlPredefinedEnv(“CartPole离散型”）;%获取观察和操作规范对象obsInfo=getObservationInfo（env）；actInfo=getActionInfo（env）；
对于具有离散动作空间的代理，可以选择创建多输出批评家表示，这通常比可比较的单输出批评家表示更有效。
多输出批评家只有观察作为输入，输出向量包含尽可能多的元素作为可能的离散行动的数量。每个输出元素表示当采取相应的离散行动时，从作为输入的观察中得到的预期累积长期回报。
使用深度神经网络近似器创建多输出批评家表示。
%创建一个深度神经网络近似器%观测输入层必须有4个元素（obsInfo.Dimension（1））%动作输出层必须有2个元素（长度（actInfo.elements））dnn=[imageInputLayer（[obsInfo.Dimension（1）1]，“正常化”,“没有”,“姓名”,“状态”) fullyConnectedLayer(24日“姓名”,“CriticStateFC1”)雷卢耶(“姓名”,“CriticRelu1”) fullyConnectedLayer(24日“姓名”,“CriticStateFC2”)雷卢耶(“姓名”,“CriticCommonRelu”)完整连接层（长度（actInfo.元素），“姓名”,“输出”));%为评论家设置一些选项criticOpts = rlRepresentationOptions (“LearnRate”,0.01,“梯度阈值”1);%基于网络逼近器创建批评家批评家=rlQValueRepresentation（dnn、obsInfo、actInfo、，“观察”，{“状态”}, criticOpts);
指定代理选项，并使用critic创建DQN代理。
agentOpts=rlDQNAgentOptions(...“UsedDoubledQn”假的,...“TargetUpdateMethod”,“定期”,...“TargetUpdateFrequency”4...“经验缓冲长度”,100000,...“DiscountFactor”,0.99,...“MiniBatchSize”, 256);代理= rlDQNAgent(评论家,agentOpts)
agent=rlDQNAgent，属性为：AgentOptions:[1x1 rl.option.rlDQNAgentOptions]ExperienceBuffer:[1x1 rl.util.ExperienceBuffer]
要检查您的代理，请使用getAction从随机观察中返回动作。
getAction(代理,{兰德(4,1)})
ans=10
现在可以根据环境测试和培训代理。
使用单一输出评论家表示创建DQN代理
创建环境接口并获取其观察和操作规范培训DQN代理以平衡大车杆系统的例子。这个环境有一个连续的四维观察空间(车和杆的位置和速度)和一个离散的一维作用空间，由两个可能的力的应用组成，-10N或10N。
加载预定义环境env=rlPredefinedEnv(“CartPole离散型”）;%获取观察和规格信息obsInfo=getObservationInfo（env）；actInfo=getActionInfo（env）；
使用深度神经网络近似器创建单个输出批评家表示。它必须将观察和行动作为输入层，并具有单个标量输出，表示给定观察和行动的预期累积长期回报。
%创建一个深度神经网络近似器%观测输入层必须有4个元素（obsInfo.Dimension（1））%操作输入层必须有1个元素(actInfo.Dimension(1))%输出必须是一个标量statePath = [featureInputLayer(obsInfo.Dimension(1))，“正常化”,“没有”,“姓名”,“状态”) fullyConnectedLayer(24日“姓名”,“CriticStateFC1”)雷卢耶(“姓名”,“CriticRelu1”) fullyConnectedLayer(24日“姓名”,“CriticStateFC2”)]; actionPath=[featureInputLayer（actInfo.维度（1），“正常化”,“没有”,“姓名”,“行动”) fullyConnectedLayer(24日“姓名”,“CriticActionFC1”)]；commonPath=[additionLayer（2，“姓名”,“添加”)雷卢耶(“姓名”,“CriticCommonRelu”)完全连接层（1，“姓名”,“输出”)]；临界网络=层图（状态路径）；临界网络=添加层（临界网络，动作路径）；临界网络=添加层（临界网络，公共路径）；临界网络=连接层（临界网络，“CriticStateFC2”,“添加/三机一体”）;criticNetwork = connectLayers (criticNetwork,“CriticActionFC1”,“添加/ in2”）;%为评论家设置一些选项criticOpts = rlRepresentationOptions (“LearnRate”,0.01,“梯度阈值”1);%基于网络逼近器创建批评家critic=rlQValueRepresentation（关键网络、obsInfo、actInfo、，...“观察”，{“状态”},“行动”，{“行动”}, criticOpts);
指定代理选项，并使用critic创建DQN代理。
agentOpts=rlDQNAgentOptions(...“UsedDoubledQn”假的,...“TargetUpdateMethod”,“定期”,...“TargetUpdateFrequency”4...“经验缓冲长度”,100000,...“DiscountFactor”,0.99,...“MiniBatchSize”, 256);代理= rlDQNAgent(评论家,agentOpts)
agent=rlDQNAgent，属性为：AgentOptions:[1x1 rl.option.rlDQNAgentOptions]ExperienceBuffer:[1x1 rl.util.ExperienceBuffer]
要检查代理，请使用getAction从随机观察返回操作。
getAction(代理,{兰德(4,1)})
ans=10
现在可以根据环境测试和培训代理。
用递归神经网络创建DQN智能体
在本例中，加载用于培训DQN代理以平衡大车杆系统的例子。
env=rlPredefinedEnv(“CartPole离散型”）;
获取观察和行动信息。这个环境有一个连续的四维观察空间(车和杆的位置和速度)和一个离散的一维作用空间，由两个可能的力的应用组成，-10N或10N。
obsInfo=getObservationInfo（env）；actInfo=getActionInfo（env）；
为你的批评者创建一个递归深层神经网络。要创建一个递归神经网络，请使用sequenceInputLayer作为输入层，并包括第一层作为其他网络层之一。
对于DQN代理，只有多输出Q值函数表示支持递归神经网络。对于多输出Q值函数表示，输出层的元素数量必须等于可能动作的数量：金宝app元素个数(actInfo.Elements)．
关键网络=[sequenceInputLayer（obsInfo.Dimension（1），“正常化”,“没有”,“姓名”,“状态”)完全连接层（50，“姓名”,“CriticStateFC1”)雷卢耶(“姓名”,“CriticRelu1”) lstmLayer (20“输出模式”,“顺序”,“姓名”,“CriticLSTM”)；完全连接层（20，“姓名”,“CriticStateFC2”)雷卢耶(“姓名”,“CriticRelu2”)完整连接层（numel（actInfo.元素），“姓名”,“输出”));
使用递归神经网络为您的批评者创建一个表示。
criticOptions = rlRepresentationOptions (“LearnRate”1 e - 3,“梯度阈值”，1）；评论家=rlQValueRepresentation（关键网络、obsInfo、actInfo、，...“观察”,“状态”，批评）；
指定用于创建DQN代理的选项。要使用递归神经网络，必须指定SequenceLength大于1。
agentOptions = rlDQNAgentOptions (...“UsedDoubledQn”假的,...“TargetSmoothFactor”, 5 e - 3,...“经验缓冲长度”，1e6，...“SequenceLength”, 20);agentOptions.EpsilonGreedyExploration.EpsilonDecay = 1的军医;
创建代理。演员和评论家网络随机初始化。
代理=rlDQNAgent（评论家、代理）；
使用getAction检查代理，以从随机观察返回操作。
getAction(代理,兰德(obsInfo.Dimension))
ans = -10
你也可以从以下列表中选择一个网站:
