火车人形沃克

这个示例使用:

这个例子展示了如何使用Simscape多体™，并使用遗传算法(这需要全局优化工具箱许可证)或强化学习(需要深度学习工具箱™和强化学习工具箱™许可证)。

人形沃克模型

这个例子是基于一个人形机器人模型。您可以通过输入sm_import_humanoid_urdf在MATLAB®命令提示符中。机器人的每条腿在前髋关节、膝关节和踝关节处都有扭矩驱动的转动关节。每只手臂在前肩和矢状肩有两个被动转动关节。在仿真过程中，模型感知接触力、躯干的位置和方向、关节状态和前进位置。图中显示了Simscape多体模型在不同层次上的表现。

接触建模

该模型使用空间接触力方块来模拟脚和地面的接触。为了简化接触和加速模拟，红色的球体被用来代表机器人脚的底部。有关详细信息，请参见使用联系人代理来模拟联系人．

关节控制器

该模型采用基于刚度的反馈控制器对各关节[1]进行控制。将关节建模为具有相关刚度的一阶系统(K)和阻尼(B)，您可以设置使联合行为临界阻尼。力矩是在设定点时施加的 $θ_{0}$ 不同于目前的关节位置 $θ$ ：

$T ＝ B \overset{•}{θ} + K （ θ_{0} - θ ）$ ．

你可以改变弹簧的设定值 $θ_{0}$ 以引起一个反馈反应来移动关节。如图所示为控制器的Simulink模型。金宝app

人形沃克培训

这个例子的目标是训练一个人形机器人行走，你可以使用各种方法来训练机器人。算例说明了遗传算法和强化学习方法。

行走目标函数

这个例子使用了一个目标函数来评估不同的步行风格。模型给予奖励( $r_{t}$ )在每个时间步:

$r_{t} ＝ w_{1} v_{y} + w_{2} t_{年代} - w_{3.} p - w_{4} Δ z - w_{5} Δ x$

在这里:

$v_{y}$ 前进速度(奖励)
$p$ -耗电量(处罚)
$Δ z$ -垂直位移(处罚)
$Δ x$ -侧移(处罚)
$w_{1 ，．．．， 5}$ :权重，表示奖励功能中每一项的相对重要性

此外，不摔倒也会获得奖励。

因此，总的奖励( $R$ )的步行试验是:

$R ＝ \sum_{t ＝ 0}^{T} r_{t}$

在这里 $T$ 是模拟终止的时间。你可以改变奖励权重sm_humanoid_walker_rl_parameters脚本。当仿真时间到达或机器人下落时，仿真终止。跌落定义为:

机器人下降到0.5米以下。
机器人横向移动超过1米。
机器人躯干旋转超过30度。

遗传算法训练

为了优化机器人的行走，可以使用遗传算法。遗传算法是基于模仿生物进化的自然选择过程来解决优化问题的。遗传算法特别适合于目标函数是不连续的、不可微的、随机的或高度非线性的问题。有关更多信息，请参见遗传算法(全局优化工具箱)．

该模型将每个关节的角度需求设置为一个重复的模式，类似于在自然界[2]中看到的中心模式生成器。重复模式产生开环控制器。信号的周期性是步态周期，步态周期是完成一个完整步所花费的时间。在每个步态阶段，信号在不同的角度需求值之间切换。理想情况下，仿人机器人是对称行走的，右腿各关节的控制模式传输到左腿相应的关节，延迟半个步态周期。模式发生器的目标是确定每个关节的最优控制模式，并使行走目标函数最大化。

要用遗传算法训练机器人，打开sm_humanoid_walker_ga_train脚本。默认情况下，本例使用预先训练过的人形步行者。训练人形步行者，设置trainWalker来真正的．

强化学习训练

另外，您还可以使用深度确定性策略梯度(DDPG)强化学习代理来训练机器人。DDPG代理是一种行动者-批评者强化学习代理，它计算一个最优策略，使长期回报最大化。DDPG代理可用于具有连续动作和状态的系统。DDPG代理的详细信息请参见rlDDPGAgent(强化学习工具箱)．

用强化学习来训练机器人，打开sm_humanoid_walker_rl_train脚本。默认情况下，本例使用预先训练过的人形步行者。训练人形步行者，设置trainWalker来真正的．

参考文献

[1] Kalveram, Karl T.， Thomas Schinauer, Steffen beile, Stefanie Richter和Petra Jansen-Osmann。“将神经前馈转化为机械弹簧:生物学如何利用肢体控制中的物理原理”。生物控制论92年,没有。4(2005年4月):229-40。https://doi.org/10.1007/s00422 - 005 - 0542 - 6。

姜山，程俊石，陈家品。“基于多目标遗传算法的仿人机器人行走中心模式发生器的设计”。在2000 IEEE/RSJ智能机器人与系统国际会议论文集(2000年——)(猫。No.00CH37113), 3: 1930 - 35。日本，高松:IEEE, 2000。https://doi.org/10.1109/IROS.2000.895253。