半机械人鼓手和人工智能团队创造了人类无法实现的音乐

为专业鼓手设计机器人假肢


从人工智能到3D打印,技术的进步已经彻底改变了假肢设计。最先进的假肢使佩戴者能够完成我们大多数人认为理所当然的任务。由于假肢的目标是让佩戴者完成重要的任务他们的日常生活中,经常可以找到为各种活动定制的假肢,从跑步到骑自行车,甚至跳舞。

义肢设计需要来自不同学科的技能,如生物医学工程、机器人、机械工程、计算机科学和音乐.是的,音乐。跑步者需要奔跑,鼓手需要击鼓。

对于佐治亚理工学院的一个团队来说,为击鼓创造一个定制的机器人假肢是一个完美的项目音乐技术中心(GTCMT)。虽然假肢设计的进步通常包括肌肉或大脑控制的激活,但这个项目在这方面是独一无二的部分这种设计的特点是自主的:佩戴者不能完全控制假肢的动作。

杰森·巴恩斯,专业鼓手,正在使用自动打鼓假肢。

鼓手回归击鼓的动力

杰森·巴恩斯是一名鼓手。他在雷鬼和前卫金属乐队中演奏,并将Matt Garstka, Luke Holland和Neil Peart等鼓手列为他的音乐影响者。

“我12岁时第一次接触音乐。我爸爸开始教我弹吉他,但我从来没有弹得那么好。15岁那年圣诞节,我得到了一套架子鼓。从那以后,我一直是一名鼓手。”

杰森·巴恩斯,职业鼓手

22岁时,他在一次工作事故中失去了右臂。事故发生在他参加亚特兰大音乐与媒体学院(AIMM)试镜的前几天。这位有抱负的鼓手决心重操旧业。出院后不久,他就制作了自己的基本击鼓假肢。这是他情绪恢复的重要一步。

“事故发生后才几个星期,我的残肢上还缠着绷带,”他说,“所以我把鸡腿绑在绷带上,然后继续演奏。那是我人生的转折点,让我知道这仍然是可能的。”

他开发了自己的弹簧鼓假肢,在他重新申请学校时使用了它。2013年,他被aim录取,比原定的试镜时间晚了一年。

新假肢,新音乐

在他第一次与AIMM老师埃里克·桑德斯的私人课上,巴恩斯描述了他开发机械版击鼓臂的概念。桑德斯给巴恩斯看了一些网上视频机器人的音乐家经过一连串的介绍,巴恩斯认识了吉尔·温伯格教授,他是该校音乐技术中心的创始主任,正准备接手一个新项目。

温伯格教授和他的学生们融合了音乐和技术的世界,建造了音乐机器人表演者。他们专注于人类如何感知音乐背后的科学,然后使用机器学习来构建算法,这样机器人就可以理解音乐。机器人学习理解音乐元素,如节拍、节奏和切分音。虽然它们理解音乐的方式和人类一样,但它们可以以无与伦比的速度和精湛的技艺表演。它们能演奏人类无法演奏的音乐。

“这就是这项工作的有趣之处,”温伯格说。“我们用音乐创意来提升机器人的能力。然后,新的机器人能力推动了音乐的新想法。”

巴恩斯给温伯格教授发了电子邮件,询问GTCMT团队是否愿意制造一只义肢,这样他就可以恢复手腕的功能。他想要一种肌肉控制的假肢,可以通过他上臂的肌肉运动来控制机械化的前臂和手腕。

“手腕对于鼓手的表达非常重要,我们为其他机器人研究了这种类型的驱动器。但我们没有制造机器人的经验,实际上是人体的延伸,就像半机械人。这使得这个项目非常有趣。”

吉尔·温伯格博士,乔治亚理工学院

温伯格教授同意制造一个机器人假肢,但他也有兴趣将这个设计与他现有的关于机器人音乐家即兴音乐的研究联系起来。

“我说,‘当然,我们很感兴趣。’”温伯格说。“然后我问他,‘如果设计允许你有一根由肌肉控制的拐杖,这样你就有了人工手腕,我们再加一根有自己思想的拐杖,会怎么样?它会即兴发挥,将你推向新的音乐领域。’”

虽然这不是他最初的目标,但巴恩斯欣然同意了。温伯格从国家科学基金会获得了资助这项研究的资金。

温伯格教授在GTCMT实验室弹奏键盘。

设计过程

最初的设计仅用了6个月就完成了。利用MATLAB和Simulink对鼓行程进行建模。金宝app这款假肢装有马达,为两个鼓槌提供动力,每个鼓槌的击鼓速度都比人类鼓手更快,最高可达每秒20次。第一个由巴恩斯的手臂和二头肌上的肌电图传感器进行物理控制。第二种是自主的,听音乐,即兴创作一段赞美的节拍。这是一个可穿戴机器人。

一个特写的自主机器人击鼓假体。

“这种假肢远远优于目前市面上的任何假肢。它的工作方式也非常类似于我以前打鼓的方式。我只需要弯曲我平时使用的肌肉,它们就会向手臂发送信号,让它做出相应的动作。我弯曲得越用力,杆握得就越紧。”

杰森·巴恩斯,职业鼓手

但也有不同之处:这个可穿戴机器人能让巴恩斯创作出真正独特的音乐。它使用人工智能(AI)来检测击鼓的节奏、节奏和密度,并以一种补充它“听到”的节奏来回应。它还能自动聆听吉他手弹奏的和弦,并根据和弦调整速度。

“第二根棍子有自己的思想,相应地即兴创作自己的图案。延迟不是问题。它也非常快,可以演奏多节奏,这是人类无法做到的。就像我在和一个机器人跳舞。有时候很酷很有创意,有时候很烦人。所以,这就像乐队成员的一次典型的乐队练习。”巴恩斯确实保持着创造性的控制:“它会向你抛出你意想不到的东西,所以你必须保持自己的状态。但最终还是由我来决定我想在哪个鼓上演奏它,甚至我一开始就想在鼓上演奏机器人鼓槌。虽然我不能控制它播放什么,但我可以控制它是否播放。”

杰森·巴恩斯,职业鼓手

一开始,团队主要依靠电气和机械工程技术。随着机械臂的构造和运行可靠,该团队转向了计算机科学和人工智能的重点。他们开发了机器学习和深度学习代码,使假肢和其他机器人能够与音乐家互动。

扎克·康达克(左),杰森·巴恩斯(鼓),温伯格教授(右),在GTCMT实验室。

“我们使用不同复杂程度的不同技术,从非常基本的机器学习技术,如马尔可夫链,到更复杂的算法,如卷积神经网络,”扎克·康达克(Zach Kondak)说,他最近从GTCMT毕业,专门研究机器人音乐。

“例如,我们能够实时运行简单的算法,并让机器人与我们快速互动。然而,深度学习算法实际上能够创作非常丰富和结构化的音乐。这是在线下完成的。”

扎克·康达克,乔治亚理工学院

为可移植性重新设计

该团队希望创造一种设计,可以提供给其他需要假肢的音乐家,但挑战仍然存在。目前的设计比较笨重,需要交流电源。它还被连接到两台计算机上进行信号处理。他们正在通过重新设计来解决这些问题。

计划中的重新设计将继续使用手臂发出的EMG信号来控制设备,但将使用嵌入式处理器,因此所有信号处理都将在设备本身完成。电池电源将取代交流电源的要求。它的重量也会更轻,因为在长时间的使用中,支撑设备的重量会变得很累。金宝app

温伯格说:“我们将使下一个迭代可以携带,这样杰森就可以自己使用它,并成为一名旅行音乐家。”

对巴恩斯来说,他的最终目标是巡回演出。“是的,就是玩音乐,”他说。“没有比这更好的了。这一直是我的激情所在。”

面板的导航

生物技术

抗击儿童肺炎

将医疗危机转化为拯救生命的工程挑战

面板的导航

人工智能

进入杂草:

农民依靠人工智能提高产量