电子鼓手和人工智能团队创造了人类不可能的音乐

为专业鼓手设计机器人假肢


从人工智能到3D打印,技术的进步彻底改变了假肢设计。最先进的假肢可以让他们的佩戴者完成我们大多数人认为理所当然的任务。因为义肢的目标是让他们的佩戴者完成重要的任务他们的在日常生活中,经常可以找到为各种活动定制的假肢,从跑步到骑自行车,甚至是跳舞。

义肢设计需要来自不同学科的技能,如生物医学工程、机器人技术、机械工程、计算机科学等音乐.是的,音乐。跑步者需要跑步,鼓手需要击鼓。

为击鼓创造一个定制的机器人假肢被证明是来自佐治亚理工学院的一个团队的完美项目音乐技术中心(GTCMT)。虽然假肢设计的进步通常包括肌肉或思维控制的激活,但这个项目在这方面是独一无二的部分这种设计是自主的:佩戴者不能完全控制假肢的动作。

杰森·巴恩斯,职业鼓手,使用自动机器人打鼓假肢。

一个鼓手的驱动器回到鼓

杰森·巴恩斯是一名鼓手。他曾在雷鬼和前卫金属乐队中演奏,并将马特·加斯特卡(Matt Garstka)、卢克·霍兰德(Luke Holland)和尼尔·皮尔特(Neil Peart)等鼓手列为影响他的音乐人。

“我第一次接触音乐是在12岁。我爸爸开始教我弹吉他,但我从来没有弹得那么好。15岁那年的圣诞节,我得到了一套架子鼓。从那以后,我就一直当鼓手。”

杰森·巴恩斯,职业鼓手

22岁时,他在一次工作事故中失去了右臂。事故发生在他参加亚特兰大音乐与媒体学院(AIMM)面试的前几天。这位有抱负的鼓手决心重新开始他的音乐生涯。出院后不久,他制作了自己的基本击鼓假肢。这是他情绪恢复的重要一步。

他说:“事故发生后才几个星期,我的残肢上还缠着绷带,所以我用胶带把一个鼓槌粘在绷带上,继续玩。”那是我人生的转折点,让我知道这仍然是可能的。”

他开发了自己的弹簧鼓乐假肢,当他重新申请学校时,他使用了这个假肢。2013年,他被AIMM录取,这比他原定的试镜时间晚了一年。

新假肢,新音乐

在他的第一堂私人课程与aim老师埃里克·桑德斯,巴恩斯描述了他的概念,开发一个机器人版本的击鼓手臂。桑德斯给巴恩斯看了一些网上的视频机器人的音乐家通过一连串的介绍,巴恩斯认识了该校音乐技术中心的创始主任吉尔·温伯格教授。温伯格正准备接手一个新项目。

温伯格教授和他的学生融合了音乐和技术的世界,创造了音乐机器人表演者。他们专注于人类如何感知音乐背后的科学,然后使用机器学习来构建算法,这样机器人就可以理解音乐。机器人学习理解音乐元素,如节拍、节奏和切分音。虽然它们理解音乐的方式和人类一样,但它们可以以无与伦比的速度和精湛的技艺表演。它们演奏人类无法演奏的音乐。

“这就是这项工作的有趣之处,”温伯格说。“我们用音乐创意来推动我们的机器人能力。机器人的新能力推动了音乐的新想法。”

巴恩斯给温伯格教授发了一封电子邮件,询问GTCMT团队是否可以制造一个假肢,这样他就可以恢复手腕的功能。他想要一种肌肉控制的假肢,通过上臂的肌肉运动来控制机械化的前臂和手腕。

“手腕对于鼓手的表达非常重要,我们为其他机器人研究了这种类型的驱动器。但我们没有制造机器人的经验,这些机器人实际上是人体的延伸,比如半机械人。这使得这个项目非常有趣。”

吉尔·温伯格博士,佐治亚理工学院

温伯格教授同意制造一个机器人假体,但他也有兴趣将这个设计与他现有的、与机器人音乐家一起即兴演奏的音乐研究联系起来。

“我说,‘当然,我们很感兴趣。’”温伯格说。“然后我问他,‘如果这种设计允许你用肌肉控制一根棍子,这样你就拥有了人造手腕,我们添加了另一根有自己思想的棍子,会怎么样?它会即兴发挥,这将推动你进入新的音乐领域。’”

虽然这不是他最初的目标,但巴恩斯欣然同意了。温伯格获得了美国国家科学基金会(National Science Foundation)的拨款,为这项研究提供资金。

温伯格教授在GTCMT实验室弹奏键盘。

设计过程中

最初的设计只用了六个月就完成了。利用MATLAB和Simulink对鼓击进行建模。金宝app这个假肢有马达驱动两个鼓槌,每个鼓槌都能以每秒20次的速度击鼓,比人类鼓手的击鼓速度还要快。第一个装置由巴恩斯的手臂进行物理控制,并通过二头肌上的肌电图(EMG)传感器进行电子控制。第二种是自主的,听音乐,即兴创作一个赞美的节拍。这是一个可穿戴机器人。

自动击鼓机器人假肢的特写。

“这种假肢远远优于目前任何可用的假肢。它的工作方式也非常类似于我以前击鼓的方式。我只是弯曲我通常使用的肌肉,它们向手臂发送一个信号,让它相应地行动。我弯得越紧,握杆就越紧。”

杰森·巴恩斯,职业鼓手

但也有不同之处:可穿戴机器人使巴恩斯能够创作真正独特的音乐。它使用人工智能(AI)来检测他打鼓的节奏、节奏和密度,并对“听到”的节奏做出回应。它还能自动听吉他手演奏的和弦,并根据和弦调整速度。

第二根棍子有自己的思想,相应地即兴创作自己的模式。延迟不是问题。它也非常快,可以演奏人类无法演奏的多节奏。就像我在和机器人一起玩。有时候很酷很有创意,有时候很烦人。所以,这就像一个典型的乐队练习和乐队成员。”巴恩斯确实保持着对创意的控制:“它会向你抛出一些你意想不到的东西,所以你必须做好自己的工作。但最终还是由我来决定我想在哪个鼓上演奏,甚至是我是否想在鼓上演奏机器人鼓槌。虽然我不能控制它播放什么,但我可以控制它是否播放。”

杰森·巴恩斯,职业鼓手

起初,该团队严重依赖电气和机械工程技能。随着机械臂的构造和可靠的操作,该团队转向了计算机科学和人工智能的重点。他们开发了机器学习和深度学习代码,使假肢和其他机器人能够与音乐家互动。

扎克·康达克(左),杰森·巴恩斯(鼓手),温伯格教授(右),在GTCMT实验室。

“我们使用不同复杂程度的技术,从马尔科夫链等非常基本的机器学习技术,到卷积神经网络等更复杂的算法,”GTCMT最近毕业、专门研究机器人音乐技能的扎克•康达克(Zach Kondak)表示。

“例如,我们能够实时运行简单的算法,让机器人非常快速地与我们互动。然而,深度学习算法实际上能够创作非常丰富和结构化的音乐。这是离线完成。”

扎克·康达克,佐治亚理工大学

重新设计的可移植性

该团队希望设计出一种可以供其他需要假肢的音乐家使用的设计,但仍然存在挑战。电流设计比较重,需要交流电源。它还被连接到两台计算机上进行信号处理。他们正在通过重新设计来解决这些问题。

计划中的重新设计将继续使用来自手臂的肌电信号来控制设备,但将使用嵌入式处理器,因此所有信号处理将在设备本身完成。电池电源将取代交流电源的要求。它的重量也会更轻,因为在长时间的使用中,支撑设备的重量会变得很累。金宝app

温伯格说:“我们将使下一代产品便携化,这样贾森就可以自己使用了,而且还可以成为一名旅行音乐家。”

对巴恩斯来说,他的终极目标是巡回演出。“是的,只是演奏音乐,”他说。“没有比这更好的了。这一直是我的热情所在。”

面板的导航

生物技术

而儿童肺炎

将医疗危机转变为拯救生命的工程挑战

面板的导航

人工智能

陷入困境:

农民依靠人工智能提高产量