机器人通过强化学习快速学会走路

发布的丽莎哈维，2019年5月16日

255次浏览(过去30天 0喜欢| 10评论

来自南加州大学的一组研究人员瓦莱罗能源实验室制造了一个相对简单的机械腿，完成了一些简单的惊人的事情:3个肌腱，2个关节的机械腿教会了自己如何移动。是的，通过试错进行自主学习。

该团队由Francisco Valero-Cuevas教授和博士生Ali Marjaninejad领导。他们的研究被刊登在3月号的封面上自然机器智能．

瓦莱罗实验室的新机械假肢。图片来源:南加州大学。

机器人的肢体不是为特定的任务而编程的。它首先通过模拟自己的动态特性进行自主学习，然后使用一种被称为强化学习的人工智能(AI)。这种机器腿可以在几分钟内学会自己移动，而不是花上几周的时间编写代码。

灵感来自大自然

长期以来，机器人专家一直受到大自然的启发，因为，让我们面对现实吧，大自然母亲花了很长时间来完善她的设计。今天，我们看到机器人走路像蜘蛛和水下机器人灵感来自海蛇．

生物灵感还会影响机器人的“思考”方式，这要归功于人工智能，它模仿了生物体的神经系统处理信息的方式。例如，人工神经网络(ann)已经被用于复制昆虫的大脑结构改进计算机对手写数字的识别。

在这个项目中，设计从自然中获得灵感，无论是腿部的物理设计，还是帮助腿部“学习”走路的人工智能。在物理设计上，这条机器腿使用了肌腱结构，很像动物运动的肌肉和肌腱结构。人工智能还从自然中获得灵感，利用人工神经网络帮助机器人学习如何控制自己的动作。强化学习利用对动力学的理解来实现在跑步机上行走的目标。

强化学习和“运动胡言乱语”

通过将运动胡言乱语与强化学习相结合，系统尝试随机运动，并通过运动结果学习系统的特性。在这项研究中，研究小组首先让系统随机播放，或让它的运动咿呀学语，以了解肢体的属性和动态。

在一个采访个人电脑杂志， Marjaninejad说:“每当系统在某项任务中表现不错时，我们就会给它一个奖励。在这种情况下，是向前移动跑步机。这被称为强化学习，因为它类似于动物对正强化的反应。”

生成的算法称为G2P(一般到特殊)。它复制了生物神经系统在控制肢体时所面临的“一般”问题，通过学习肌腱移动肢体时所发生的运动。接下来是强化(奖励)对任务“特殊”的行为。在这种情况下，任务是成功地移动跑步机。该系统通过运动呓语创造出对其动态的“一般”理解，然后通过从每一种经验(或G2P)中学习，掌握所需的“特定”任务。

结果令人印象深刻。G2P算法可以在5分钟的无结构游戏后自行学习一项新的步行任务，然后在不需要任何额外编程的情况下适应其他任务。