这个例子向您展示了如何评估一个函数近似者对象(即,一个演员或批评)。在这个例子中,函数近似者对象是一个离散分类演员和评价它给你一些观测数据,获得的回报行动概率分布和更新网络状态。
负载相同的环境中使用火车PG代理Cart-Pole平衡系统,获得观察和操作规范。
obsInfo = rlNumericSpec属性:LowerLimit:无穷UpperLimit:正的名字:“CartPole国家”描述:“x, dx,θ,dtheta”维度:[4 1]数据类型:“替身”
actInfo = rlFiniteSetSpec属性:元素:-10[10]的名字:“CartPole行动”描述:[0 x0字符串]维度:[1]数据类型:“替身”
近似策略中的演员,用反复深层神经网络。层的网络定义为一个数组对象。观察空间的尺寸和数量的可能的行动直接从环境规范的对象。
网络转换为一个dlnetwork对象和显示权重的数量。
初始化:可学的真正的数字:602输入:1“sequenceinput”序列输入4维度
创建一个随机的演员表示网络。
使用评估返回的概率的两种可能的行动。注意,返回的数据的类型单,而不是双。
ans =2 x1单一列向量0.4847 - 0.5153
由于递归神经网络用于演员,第二个输出参数,表示神经网络的状态更新,不是空的。在这种情况下,它包含更新的(细胞和隐藏的)州的八个单元lstm层中使用网络。
ans =8 x1单一列向量-0.0833 0.0619 -0.0066 -0.0651 0.0714 -0.0957 0.0614 -0.0326
ans =8 x1单一列向量-0.1367 0.1142 -0.0158 -0.1820 0.1305 -0.1779 0.0947 -0.0833
您可以使用getState和设置状态提取并设置的当前状态的演员。
ans =2×1单元阵列{8 x1单}{8 x1单}
你可以获得行动为一批观测概率和更新状态。例如,使用一批五个独立的观察。
输出参数包含行动概率和为每个观察在批处理更新状态。
注意,演员将观测数据沿着独立批长度尺寸,没有顺序。
ans =2 x5单一矩阵0.5187 0.5869 0.6048 0.6124 0.6155 0.4813 0.4131 0.3952 0.3876 0.3845
ans =2 x5单一矩阵0.6155 0.6124 0.6048 0.5187 0.5869 0.3845 0.3876 0.3952 0.4813 0.4131
评价演员使用连续的观测,使用序列长度(时间)维度。例如,获得行动概率五个独立的序列,每一个由九个连续观测。
第一个输出参数包含两个概率(第一个维度)的向量的每个元素观察批(二维)和为每个时间元素的序列长度(三维)。
第二个输出参数包含两个向量的每批观察最终状态(也就是说,网络维护一个单独的国家历史每批观察)。
显示第二个行动的概率,第七个顺序观察独立第四批。
更多信息在复发性神经网络的输入和输出格式,请参见算法部分lstmLayer。
