电子鼓手和人工智能团队创造了人类无法创造的音乐

为专业鼓手设计机器人假肢


从人工智能到3D打印等技术的进步彻底改变了假肢设计。最先进的假肢使佩戴者能够完成我们大多数人认为理所当然的任务。而且,假肢的目标是让佩戴者能够完成对他们来说很重要的任务他们的在日常生活中,经常可以找到为各种活动定制的假肢,从跑步到骑自行车,甚至是跳舞。

义肢设计需要来自不同学科的技能,如生物医学工程、机器人技术、机械工程、计算机科学等音乐.是的,音乐。跑步者需要跑步,鼓手需要击鼓。

对于佐治亚理工大学的一个团队来说,为击鼓制作一个定制的机器人假肢被证明是一个完美的项目音乐技术中心(GTCMT)。虽然假肢设计的进步通常包括肌肉或思维控制的激活,但这个项目在这方面是独一无二的部分这种设计的一部分是自主的:佩戴者不能完全控制假肢的动作。

杰森·巴恩斯,专业鼓手,使用自动机器人鼓声假体。

一个鼓手的驱动器回到鼓

杰森·巴恩斯是一名鼓手。他曾在雷鬼和前卫金属乐队中演奏,并将马特·加斯特卡(Matt Garstka)、卢克·霍兰德(Luke Holland)和尼尔·皮尔特(Neil Peart)等鼓手列为影响他的音乐人。

“我第一次接触音乐是在12岁。我爸爸开始教我弹吉他,但我从来没有弹得那么好。15岁那年的圣诞节,我得到了一套架子鼓。从那以后,我就一直当鼓手。”

杰森·巴恩斯,职业鼓手

22岁时,他在一次工作事故中失去了右臂。事故发生在他参加亚特兰大音乐与媒体学院(AIMM)面试的前几天。这位有抱负的鼓手决心重新开始他的音乐生涯。出院后不久,他制作了自己的基本击鼓假肢。这是他情绪恢复的重要一步。

他说:“事故发生后才几个星期,我的残肢上还缠着绷带,所以我用胶带把一个鼓槌粘在绷带上,继续玩。”那是我人生的转折点,让我知道这仍然是可能的。”

他开发了自己的弹簧鼓假肢,在重新申请学校时使用。2013年,他被AIMM录取,这是他原定试镜的一年后。

新假肢,新音乐

在与AIMM老师埃里克·桑德斯(Eric Sanders)的第一堂私人课上,巴恩斯描述了他开发机器人版击鼓臂的概念。桑德斯向巴恩斯展示了一些关于击鼓臂的在线视频机器人音乐家通过一连串的介绍,巴恩斯认识了该校音乐技术中心的创始主任吉尔·温伯格教授。温伯格正准备接手一个新项目。

温伯格教授和他的学生融合了音乐和科技的世界,打造了音乐机器人表演者。他们专注于人类如何感知音乐背后的科学,然后使用机器学习构建算法,以便机器人能够理解音乐。机器人学习理解音乐元素,如节拍、节奏和切分音。虽然他们和人类一样理解音乐,但他们可以以无与伦比的速度和技巧表演。他们演奏人类无法演奏的音乐。

“这就是这项工作的有趣之处,”温伯格说。“我们用音乐的想法来推动我们的机器人能力。然后新的机器人能力推动音乐的新想法。”

巴恩斯给温伯格教授发了一封电子邮件,询问GTCMT团队是否可以制造一个假肢,这样他就可以恢复手腕的功能。他想要一种肌肉控制的假肢,通过上臂的肌肉运动来控制机械化的前臂和手腕。

“手腕对于鼓手的表情非常重要,我们为其他机器人开发了这些类型的执行器。但我们没有制造实际上是人体延伸的机器人的经验,比如电子人。这让这个项目非常有趣。”

吉尔·温伯格博士,佐治亚理工学院

温伯格教授同意制造一个机器人假体,但他也有兴趣将这个设计与他现有的、与机器人音乐家一起即兴演奏的音乐研究联系起来。

“我说,‘当然,我们很感兴趣。’”温伯格说。“然后我问他,‘如果这种设计允许你用肌肉控制一根棍子,这样你就拥有了人造手腕,我们添加了另一根有自己思想的棍子,会怎么样?它会即兴发挥,这将推动你进入新的音乐领域。’”

虽然不是他最初的目标,巴恩斯欣然同意。温伯格从国家科学基金会获得拨款以资助发展。

温伯格教授在GTCMT实验室弹奏键盘。

设计过程

最初的设计只用了六个月就完成了。利用MATLAB和Simulink对鼓击进行建模。金宝app这个假肢有马达驱动两个鼓槌,每个鼓槌都能以每秒20次的速度击鼓,比人类鼓手的击鼓速度还要快。第一个装置由巴恩斯的手臂进行物理控制,并通过二头肌上的肌电图(EMG)传感器进行电子控制。第二种是自主的,听音乐,即兴创作一个赞美的节拍。这是一个可穿戴机器人。

自动击鼓机器人假肢的特写。

“这种假肢比目前可用的任何假肢都要好得多。它的工作原理也与我以前击鼓的方式非常相似。我只是弯曲我通常会使用的肌肉,它们向手臂发送信号,并使手臂做出相应的动作。我弯曲得越用力,握把就越紧。”

杰森·巴恩斯,职业鼓手

还有不同之处:可穿戴机器人使巴恩斯能够创作出真正独特的音乐。它使用人工智能(AI)来检测他的鼓声中的节拍、节奏和密度,并以与“听到”的节拍互补的节拍进行响应。它还自动聆听吉他手弹奏的和弦,并根据和弦调整速度。

“第二根棍子有自己的想法,根据自己的想法即兴创作。延迟不是问题。它也非常快,可以演奏人类无法演奏的多节奏。就像我在用机器人干扰一样。有时它很酷,很有创意,有时很烦人。所以,它就像一个典型的乐队练习机智巴恩斯确实保持了创造性控制:“它会向你抛出你意想不到的东西,因此你必须参与游戏。但最终还是要由我来决定我想在哪个鼓上演奏,或者甚至是我想在鼓上演奏机器人鼓槌。虽然我无法控制它演奏什么,但我可以控制它是否演奏。”

杰森·巴恩斯,职业鼓手

一开始,团队严重依赖电气和机械工程技能。随着机械臂的构造和可靠运行,团队转向计算机科学和人工智能领域。他们开发了机器学习和深度学习代码,使义肢和其他机器人能够与音乐家互动。

扎克·康达克(左),杰森·巴恩斯(鼓上),温伯格教授(右),在GTCMT实验室。

“我们使用不同复杂程度的技术,从马尔科夫链等非常基本的机器学习技术,到卷积神经网络等更复杂的算法,”GTCMT最近毕业、专门研究机器人音乐技能的扎克•康达克(Zach Kondak)表示。

“例如,我们能够实时运行简单的算法,让机器人非常快速地与我们互动。然而,深度学习算法实际上能够创作非常丰富和结构化的音乐。这是离线完成。”

扎克·康达克,佐治亚理工大学

重新设计便携性

该团队希望创造一种设计,可以提供给其他需要假肢的音乐家,但挑战依然存在。目前的设计很重,需要交流电源。它还连接到两台计算机进行信号处理。他们正在重新设计,以解决这些问题。

计划中的重新设计将继续使用来自arm的肌电信号来控制设备,但将使用嵌入式处理器,因此所有信号处理将在设备本身上完成。电池电源将取代交流电源要求。它的重量也会更轻,因为在长时间的运行过程中,支撑设备的重量会变得很累。金宝app

温伯格说:“我们将使下一个迭代变得可移植,这样杰森就可以自己使用它,并以旅行音乐家的职业生涯。”

对巴恩斯来说,他的最终目标是巡回演出。“是的,只是演奏音乐,”他说。“没有比这更好的了。这一直是我的激情所在。”

面板导航

生物技术

而儿童肺炎

将医疗危机转变为拯救生命的工程挑战

面板导航

人工智能

进入杂草:

农民依靠人工智能来提高产量