机器人通过强化学习很快学会走路

作者丽莎哈维，2019年5月16日

39 次查看（过去 30 天） |0个赞|10 个评论

来自南加州大学的一组研究人员瓦莱罗能源实验室制造了一个相对简单的机械臂，它完成了一些令人惊叹的事情:由3根肌腱、2个关节组成的机械腿自学了如何移动。是的，通过试错进行自主学习。

该团队由Francisco Valero-Cuevas教授和博士生Ali Marjaninejad领导。他们的研究被刊登在三月号的封面上自然机器智能．

机器人的肢体并不是为特定的任务设计的。它首先通过对自己的动态特性建模来自主学习，然后使用一种被称为强化学习的人工智能(AI)形式。这条机器腿不需要数周的编码，只需几分钟就能学会移动。

灵感来自自然

长期以来，机器人专家一直受到大自然的启发，因为，让我们面对现实吧，大自然母亲花了很长时间来完善她的设计。今天，我们看到机器人像蜘蛛一样走路还有水下机器人灵感来自海蛇．

生物灵感还会影响机器人“思考”的方式，这要感谢人工智能模仿生物体神经系统处理信息的方式。例如，人工神经网络(ANNs)已经被用于复制昆虫的大脑结构提高计算机对手写数字的识别能力。

在这个项目中，无论是腿的物理设计，还是帮助腿“学习”走路的人工智能，设计都从大自然中汲取了灵感。在物理设计上，这条机器腿使用了肌腱结构，很像动物运动的肌肉和肌腱结构。人工智能也从大自然中获得灵感，使用人工神经网络来帮助机器人学习如何控制自己的运动。然后，强化学习利用对动力学的理解来实现在跑步机上行走的目标。

强化学习和“运动咿呀学语”

通过将运动咿呀学语与强化学习相结合，系统尝试随机运动，并通过运动的结果学习系统的属性。在这项研究中，研究小组首先让系统随机玩耍，或运动咿呀学语，以学习肢体的特性及其动力学。

在一个采访个人电脑杂志， Marjaninejad说:“然后，每当系统在给定的任务中表现良好时，我们就会给它奖励。在这种情况下，向前移动跑步机。这被称为强化学习，因为它类似于动物对正强化的反应。”

由此产生的算法被称为G2P(一般到特殊)。它复制了生物神经系统在控制肢体时面临的“一般”问题，通过学习当肌腱移动肢体时发生的运动。其次是强化(奖励)对任务“特殊”的行为。在本例中，任务是成功移动跑步机。该系统通过“马达咿呀学语”对其动力学产生“一般”理解，然后通过学习每一次经验(G2P)来掌握所需的“特定”任务。

结果令人印象深刻。G2P算法只需要5分钟的非结构化玩耍就可以自己学习一项新的行走任务，然后在不需要任何额外编程的情况下适应其他任务。