电子鼓手和人工智能团队创造了人类不可能的音乐

为专业鼓手设计机器人假肢


从人工智能到3D打印等技术的进步彻底改变了假肢设计。最先进的假肢使佩戴者能够完成我们大多数人认为理所当然的任务。而且,假肢的目标是让佩戴者能够完成对他们来说很重要的任务他们的在日常生活中,常见的是为各种活动定制假肢,从跑步到骑自行车,甚至跳舞。

假肢设计需要来自不同学科的技能,如生物医学工程、机器人学、机械工程、计算机科学和计算机科学音乐是的,音乐。跑步者需要跑步,鼓手需要打鼓。

对于佐治亚理工大学的一个团队来说,为击鼓制作一个定制的机器人假肢被证明是一个完美的项目音乐技术中心虽然假肢设计的进步通常包括肌肉或精神控制的激活,但这个项目在这方面是独一无二的部分这种设计的一部分是自主的:佩戴者不能完全控制假肢的动作。

杰森·巴恩斯,专业鼓手,使用自动机器人鼓声假体。

鼓手返回鼓点的动力

杰森·巴恩斯是个鼓手。他曾在雷鬼乐队和进步金属乐队中演奏,并将马特·加斯卡、卢克·霍兰德和尼尔·皮尔特等鼓手列为他的音乐影响者。

“我12岁时第一次进入音乐界。我爸爸开始教我弹吉他,但我从来没有弹得那么好。然后我在15岁时得到了一套圣诞节用的鼓包。从那时起,我一直是一名鼓手。”

杰森·巴恩斯,职业鼓手

22岁时,他在一次工伤事故中失去了右臂。事故发生在他计划参加亚特兰大音乐与媒体学院(AIMM)试镜的前几天这位有抱负的鼓手决心重返音乐。出院后不久,他制作了自己的基本鼓手假肢。这是他情绪恢复的重要一步。

“事故发生后仅仅几个星期,我的残肢上还缠着绷带,”他说,“所以我在绷带上绑了一根鸡腿,然后继续玩。这是我生命中的转折点,让我知道这仍然是可能的。”

他开发了自己的弹簧鼓假肢,在重新申请学校时使用。2013年,他被AIMM录取,这是他原定试镜的一年后。

新假肢,新音乐

在与AIMM老师埃里克·桑德斯(Eric Sanders)的第一堂私人课上,巴恩斯描述了他开发机器人版击鼓臂的概念。桑德斯向巴恩斯展示了一些关于击鼓臂的在线视频机器人音乐家通过一连串的介绍,巴恩斯结识了乔治亚理工大学音乐技术中心的创始主任吉尔·温伯格教授,他准备承担一个新项目。

温伯格教授和他的学生融合了音乐和科技的世界,打造了音乐机器人表演者。他们专注于人类如何感知音乐背后的科学,然后使用机器学习构建算法,以便机器人能够理解音乐。机器人学习理解音乐元素,如节拍、节奏和切分音。虽然他们和人类一样理解音乐,但他们可以以无与伦比的速度和技巧表演。他们演奏人类无法演奏的音乐。

“这就是这项工作的有趣之处,”温伯格说。“我们用音乐的想法来推动我们的机器人能力。然后新的机器人能力推动音乐的新想法。”

巴恩斯给温伯格教授发了一封电子邮件,询问GTCMT团队是否会制造一个假肢手臂,这样他就可以恢复手腕的功能。他想要一个肌肉控制的假肢,可以将他上臂的肌肉运动转化为控制机械化的前臂和手腕。

“手腕对于鼓手的表达非常重要,我们为其他机器人研究了这种类型的驱动器。但我们没有制造机器人的经验,这些机器人实际上是人体的延伸,比如半机械人。这使得这个项目非常有趣。”

Gil Weinberg博士,佐治亚理工

温伯格教授同意创造一个机器人假肢,但也有兴趣将这个设计与他现有的关于机器人音乐家音乐即兴创作的研究联系起来。

“我说,‘当然,我们很感兴趣’”温伯格说。“然后我问他,‘如果设计允许一根棍子由你的肌肉控制,这样你就有了人工手腕,我们再加上一根有自己想法的棍子,那会怎么样?它会即兴创作,并将你推向新的音乐领域。’”

虽然不是他最初的目标,巴恩斯欣然同意。温伯格从国家科学基金会获得拨款以资助发展。

温伯格教授在GTCMT实验室玩键盘。

设计过程

最初的设计只用了六个月就完成了。鼓的击打是用MATLAB和Simulink建模的。这个假肢有两个马达为鼓槌提供动力,每个鼓槌的击鼓速度都比人类鼓槌快,最高可达每秒20拍。第一个由巴恩斯的手臂进行物理控制,金宝app另一个由肌电进行电子控制他的二头肌上有肌电传感器。第二个是自动的,听音乐,即兴创作一个伴奏节拍。这是一个可穿戴的机器人。

自动机器人击鼓假体的特写镜头。

“这种假肢比目前可用的任何假肢都要好得多。它的工作原理也与我以前击鼓的方式非常相似。我只是弯曲我通常会使用的肌肉,它们向手臂发送信号,并使手臂做出相应的动作。我弯曲得越用力,握把就越紧。”

杰森·巴恩斯,职业鼓手

还有不同之处:可穿戴机器人使巴恩斯能够创作出真正独特的音乐。它使用人工智能(AI)来检测他的鼓声中的节拍、节奏和密度,并以与“听到”的节拍互补的节拍进行响应。它还自动聆听吉他手弹奏的和弦,并根据和弦调整速度。

“第二根棍子有自己的想法,根据自己的想法即兴创作。延迟不是问题。它也非常快,可以演奏人类无法演奏的多节奏。就像我在用机器人干扰一样。有时它很酷,很有创意,有时很烦人。所以,它就像一个典型的乐队练习机智巴恩斯确实保持了创造性控制:“它会向你抛出你意想不到的东西,因此你必须参与游戏。但最终还是要由我来决定我想在哪个鼓上演奏,或者甚至是我想在鼓上演奏机器人鼓槌。虽然我无法控制它演奏什么,但我可以控制它是否演奏。”

杰森·巴恩斯,职业鼓手

一开始,团队严重依赖电气和机械工程技能。随着机械臂的构造和可靠运行,团队转向计算机科学和人工智能领域。他们开发了机器学习和深度学习代码,使义肢和其他机器人能够与音乐家互动。

扎克·康达克(左),杰森·巴恩斯(鼓上),温伯格教授(右),在GTCMT实验室。

“我们使用各种复杂度不同的技术,从非常基本的机器学习技术(如马尔可夫链)到更复杂的算法(如卷积神经网络),”最近毕业于GTCMT、专门研究机器人音乐的扎克·康达克(Zach Kondak)说。

“例如,我们能够实时运行简单的算法,让机器人与我们快速交互。然而,深度学习算法实际上能够创作非常丰富和结构化的音乐。这是离线完成的。”

佐治亚理工学院Zach Kondak

重新设计便携性

该团队希望设计出一种可以供其他需要假肢的音乐家使用的设计,但仍然存在挑战。电流设计比较重,需要交流电源。它还被连接到两台计算机上进行信号处理。他们正在通过重新设计来解决这些问题。

计划中的重新设计将继续使用来自手臂的肌电信号来控制设备,但将使用嵌入式处理器,因此所有信号处理将在设备本身完成。电池电源将取代交流电源的要求。它的重量也会更轻,因为在长时间的使用中,支撑设备的重量会变得很累。金宝app

温伯格说:“我们将使下一个迭代变得可移植,这样杰森就可以自己使用它,并以旅行音乐家的职业生涯。”

对巴恩斯来说,他的终极目标是巡回演出。“是的,只是演奏音乐,”他说。“没有比这更好的了。这一直是我的热情所在。”

面板的导航

生物技术

抗击儿童肺炎

将医疗危机转变为拯救生命的工程挑战

面板的导航

人工智能

进入杂草:

农民依靠人工智能来提高产量