创建模板类

要定义自定义代理，首先创建一个类，它是的一个子类rl.agent.CustomAgent类。本节以培训的自定义LQR代理为例火车定制LQR代理．作为您自己代理的起点，您可以打开并修改这个自定义代理类。要将示例文件添加到MATLAB路径并打开该文件，请在MATLAB命令行中输入以下代码。

目录(fullfile (matlabroot,'例子'，'RL'，'主要的'））;编辑LQRCustomAgent.m

在将类保存到您自己的工作文件夹之后，您可以从该路径中删除示例文件。

rmpath（完整文件（matlabroot，'例子'，'RL'，'主要的'））;

这个类具有以下类定义，它指示代理类名和关联的抽象代理。

classdefLQRCustomAgent 
              

要定义你的代理，必须指定以下内容：

代理属性

在里面特性部分，指定创建和培训代理所需的任何参数。这些参数包括:

有关潜在代理属性的更多信息，请参阅内置的Reinforcement Learning Toolbox™代理的选项对象。

的rl.Agent.CustomAgent类已经包括用于将试剂样品时间属性（SampleTime)及动作及观察规范(ActionInfo和ObservationInfo分别)。

自定义LQR代理定义了以下代理属性。

特性%问问R %R%反馈增益K%的折扣因素γ= 0.95评论家％评论家K缓冲液%KBuffer对于K更新的数量％kupdate根据= 1%估计值更新的数字EstimateNum = 10结束YBuffer HBuffer . properties (Access = private) Counter = 1结束

构造函数

要创建自定义代理，必须定义一个构造函数:

例如，LQRCustomAgent构造者定义了连续的动作和观察空间，并创建了一个批判的表示。的createCriticFunction是一个可选的helper函数，用于定义批评家表示形式。

功能obj = LQRCustomAgent (Q, R, InitialK)%检查输入参数的数量narginchk (3,3);％调用抽象类的构造函数OBJ = obj@rl.agent.CustomAgent（）;％设置Q和R矩阵obj。问= Q; obj.R = R;定义观察和活动空间obj。ObservationInfo = rlNumericSpec([大小(Q, 1), 1]);obj。一个ctionInfo = rlNumericSpec([size(R,1),1]);%创建批评家表示obj.Critic = createCritic（OBJ）;%初始化增益矩阵obj.K = InitialK;%初始化经验缓冲区obj。YBuffer = 0 (obj.EstimateNum, 1);num = size(Q,1) + size(R,1);obj。HBuffer = 0 (obj.EstimateNum, 0.5 * num * (num + 1));obj。KBuffer = cell(1,1000); obj.KBuffer{1} = obj.K;结束

演员和评论家交涉

如果你的学习算法使用评论家表示估计的长期回报，选择一个动作演员，或两者兼而有之，你必须添加为代理属性。然后，您必须在您创建代理创建这些表述;也就是说，在构造函数。有关创建者和评论家的更多信息，请参阅创建策略和价值功能表示．

例如，自定义LQR代理使用评论家表示，存储在其评论家财产，没有行为人。批评家的创作是在createCritic方法调用的Helper函数LQRCustomAgent构造函数。

功能nQ = size(obj. q,1);nR =大小(obj.R, 1);n = nQ + nR;的w0 = 0.1 * (0.5 * (n + 1) * n, 1);{@(x,u)，w0}，．..getObservationInfo（OBJ），getActionInfo（OBJ））;critic.Options.GradientThreshold = 1;结束

在这种情况下，评论家是rlQValueRepresentation对象。要创建这样的表示，必须指定自定义基函数的句柄，在本例中为computeQuadraticBasis函数。有关此评论家表示的更多信息，请参见火车定制LQR代理．

所需的功能

要创建自定义强化学习代理，必须定义以下实现函数。要在您自己的代码中调用这些函数，请使用抽象基类中的包装器方法。例如，打电话getActionImpl， 用的getAction．包装器方法具有与实现方法相同的输入和输出参数。

在实现函数中，要评估参与者和批评者表示，可以使用getValue，的getAction， 和getMaxQValue职能。

对于每一种情况，如果参与者或批评者网络使用递归神经网络，函数也可以在获得相应的网络输出后返回网络状态的当前值。

功能行动= getActionImpl（OBJ，观察）

功能行动= getActionImpl（OBJ，观察）给定系统的当前状态，返回一个操作action = -obj.K *观察{:};结束

功能action = getActionWithExplorationImpl (obj,观察)

功能action = getActionWithExplorationImpl (obj,观察)%给定当前的观察，选择一个动作action = getAction (obj,观察);%在动作中添加随机噪音num =大小(obj.R, 1);操作=操作+ 0.1*randn(num,1);结束

功能行动= learnImpl（OBJ，EXP）

功能行动= learnImpl（OBJ，EXP）%解析输入的经验X = EXP {1} {1};U = EXP {2} {1};DX = EXP {4} {1};Y =（X '* obj.Q * X + U' * obj.R * U）;NUM =尺寸（obj.Q，1）+大小（obj.R，1）;%需要等待N步才能更新批评家参数N = obj.EstimateNum;h1 = computeQuadraticBasis (x, u, num);h2 = computeQuadraticBasis (dx, -obj.K * dx, num);H = h1 - obj。γ* h2;如果obj。Counter<=N obj.YBuffer(obj.Counter) = y;obj.HBuffer (obj.Counter:) = H;obj。Counter = obj。计数器+ 1;其他的%根据批处理更新批评家参数％经验H_buf = obj.HBuffer;y_buf = obj.YBuffer;θ= (H_buf ' * H_buf) \ H_buf * y_buf;obj。评论家= setLearnableParameters (obj.Critic{θ});根据新的参数推导新的增益矩阵obj.K = getNewK（OBJ）;重置经验缓冲区obj.Counter = 1;obj.YBuffer =零（N，1）;obj.HBuffer =零（N，0.5 * * NUM（NUM + 1））;obj.KUpdate = obj.KUpdate + 1;obj.KBuffer {obj.KUpdate} = obj.K;结束找到并返回一个带有探索的动作action = getActionWithExploration (obj, exp {4});结束

可选功能

您还可以通过指定resetImpl函数的签名如下obj是代理对象。使用此函数，可以在训练前将代理设置为已知或随机条件。

功能resetImpl (ob)

此外，您还可以根据需要在自定义代理类中定义任何其他助手函数。例如，自定义LQR代理定义createCritic函数创建批评家表示和getNewK函数，该函数从训练过的批评参数派生出反馈增益矩阵。

创建自定义代理

定义自定义代理类之后，在MATLAB工作空间中创建它的实例。例如，要创建自定义LQR代理，请定义问，R， 和InitialK值并调用构造函数。

Q = [10,3,1; 3,5,4; 1,4,9];R = 0.5 *眼（3）;K0 =地方（A，B，[0.4,0.8,0.5]）;剂= LQRCustomAgent（Q，R，K0）;

验证环境对象之后，可以使用它来训练强化学习代理。有关训练自定义LQR代理的示例，请参见火车定制LQR代理．