UT奥斯汀研究人员利用小波和深度学习将大脑信号转换为单词和短语

该项目的目标是将对应于想象或口语短语的大脑信号进行分类。The UT Austin team, including Dr. Paul Ferrari, a neuroscientist and research director of the MEG lab at the Dell Children’s Medical Center, wanted to use MEG neuroimaging modality to capture the brain signals because MEG has greater spatial resolution than EEG and greater temporal resolution than functional magnetic resonance imaging (fMRI). To improve the overall MEG signal quality, they needed to remove noise while preserving the overall signal characteristics. In addition to preprocessing and denoising hundreds of signals from more than 1000 test trials, the team needed to analyze and visualize the signals.

由于研究人员正在处理一种新的数据类型，他们需要一种工具，使他们能够快速评估各种方法，包括深度学习。

德克萨斯大学奥斯汀分校的研究人员利用MATLAB从脑磁图(MEG)信号中推导出完整的短语，作为开发脑机接口的第一步，该接口将使渐冻人(ALS)患者能够进行交流。

使用小波工具箱™，它们通过使用小波多分辨率分析技术向特定的神经振荡带（高γ，γ，α，β，θ和δ脑波分解并分解MEG信号。

然后，研究人员从去噪和分解的信号中提取特征。他们使用统计学和机器学习工具箱™来计算各种统计特征，包括平均值、中值、标准差、四分位数和均方根。他们利用提取的特征训练支持向量机(SVM)分类器和浅人工神经网络(ANN)分类器，通过对金宝app五个短语对应的神经信号进行分类，获得精度基线。

为了在时频域中获取并表示丰富的MEG信号特征，它们使用MEG信号的小波缩放作为输入到卷积神经网络。（小波标量程表捕获信号中的频谱分量如何发展为时间的函数。）该团队定制了三个普里雷普雷雷深卷积神经网络-AlexNet，Reset和Incepion-Resnet - 用于语音解码MEG信号。所有这些都会产生高的多项主题的高总体精度。为了加快培训，团队使用并行计算工具箱™在七个GPU并行计算服务器上进行培训。

德克萨斯大学奥斯汀分校的研究人员已经发表了他们的发现，现在正在研究下一步:将分类短语的数量从5个扩展到数百个，在音素级解码语音，并将MEG信号直接转换为合成语音。

• 达到96％的分类准确性。“我们尝试的SVM和ANN方法产生了约80％的分类准确性，但当我们组合小波和深度学习时，我们看到的增加到96％以上，”通信科学和障碍副教授Jun Wang博士说UT AUSTIN的语音障碍和技术实验室的神经学和主任。
• 小波技术和深度学习网络迅速组合。Dash说:“在MATLAB中，我们只用了几分钟就实现了深度学习网络的尺度图。”“当然，培训和解释结果需要额外的时间，但例如，我在几分钟内完成了AlexNet的实现，这比我使用另一种编程语言所需的时间要少得多。”
• 训练时间加快了10倍。“从单个工人训练切换到多个GPU的训练中，我们只需要改变一个线的Matlab代码，”Dash说。“通过并行计算工具箱和具有七个GPU的服务器，小型更改使我们能够快速培训网络大约10倍。”