进口的神经网络模型
为强化学习创建函数近似者,您可以导入pre-trained深层神经网络或深层神经网络层架构使用深度学习工具箱™网络导入功能。你可以导入:
打开神经网络交换(ONNX™)模型,需要的深度学习工具箱转换器ONNX模型格式支持包软件。金宝app有关更多信息,
importONNXLayers。TensorFlow™-Keras网络,需要深度学习工具箱转换器TensorFlow模型金宝app支持包软件。有关更多信息,请参见
importKerasLayers。需要咖啡卷积网络深度学习工具箱进口国咖啡模型金宝app支持包软件。有关更多信息,请参见
importCaffeLayers。
在导入一个深层神经网络之后,您可以创建一个演员或批评对象,如rlQValueFunction或rlDiscreteCategoricalActor。
当你导入深层神经网络架构,考虑以下。
进口的尺寸输入和输出层网络体系结构必须匹配的尺寸相应的动作,观察,或为您的环境回报维度。
导入网络体系结构之后,必须设置输入和输出层的名称相匹配的名字和观测规范相应的行动。
更多信息深层神经网络架构支持强化学习,明白了金宝app创建政策和价值功能。
进口演员和评论家图像观察应用程序
作为一个例子,假设您有一个环境与50-by-50灰度图像观测信号和一个持续的行动空间。训练策略梯度代理,你需要以下函数近似者,这两个必须有一个50-by-50图像输入观测层和一个标量输出值。
演员——选择一个行动基于当前观测值
评论家——估计预期的长期奖励基于当前观测
同时,假设您有以下网络架构导入:
深神经网络架构的演员50-by-50图像输入层和一个标量输出层,这是保存在ONNX格式(
criticNetwork.onnx)。深神经网络架构的评论家50-by-50图像输入层和一个标量输出层,这是保存在ONNX格式(
actorNetwork.onnx)。
导入评论家和演员网络,使用importONNXLayers函数不指定一个输出层。
criticNetwork = importONNXLayers (“criticNetwork.onnx”);actorNetwork = importONNXLayers (“actorNetwork.onnx”);
这些命令生成一个警告,即网络是可训练的被添加到一个输出层。当你使用一个进口网络创建一个演员或评论家,强化学习工具箱™软件自动为您添加了一个输出层。
导入网络后,创建演员和评论家函数近似者。要做到这一点,首先获得从环境中观察和操作规范。
obsInfo = getObservationInfo (env);actInfo = getActionInfo (env);
创建一个评论家,指定的名称评论家网络的输入层作为观察名称。自从评论家网络只有一个观察输入和输出一个行动,使用值函数。
评论家= rlValueFunction (criticNetwork obsInfo,…“ObservationInputNames”,{criticNetwork.Layers (1) . name});
指定的名称创建一个演员,演员网络的输入层作为观察名称和演员网络的输出层作为观察名称。因为演员网络只有一个标量输出,使用连续确定的演员。
演员= rlContinuousDeterministicActor (actorNetwork obsInfo actInfo,…“ObservationInputNames”,{actorNetwork.Layers (1) . name});
然后,您可以:
