音频工具箱

音频工具箱

设计和分析语音、声学和音频处理系统

开始:

音频接口的流媒体采集和播放

连接到标准的笔记本电脑和桌面声卡,在任何文件组合和实时输入和输出之间传输低延迟的多通道音频。

连接到标准音频驱动程序

使用跨Windows的标准音频驱动程序(如ASIO、WASAPI、CoreAudio和ALSA)从声卡(如USB或Thunderbolt™)读取和写入音频样本®、Mac®、Linux操作系统®操作系统。

低延迟多通道音频流

处理实时音频MATLAB具有毫秒级的往返延迟。

来自四通道麦克风阵列的实时原始输入。

机器学习和深度学习

标记、增强、创建和摄取音频和语音数据集,提取特征,并计算时频转换。使用统计和机器学习工具箱™、深度学习工具箱™或其他机器学习工具开发音频和语音分析。

预训练的深度学习模型

使用深度学习来执行复杂的信号处理任务,并通过一行代码提取音频嵌入。访问已建立的预先训练的网络,如YAMNet、VGGish、CREPE和OpenL3,并在预先配置的特征提取函数的帮助下应用它们。

字云显示识别的声音类型classifySound在一个特定的音频片段中。

音频、语音和声学的特征提取

将信号转换为时频表示,如Mel, Bark和ERB频谱图。计算倒谱系数,如MFCC和GTCC,以及音高、谐波和频谱描述符等标量特征。使用预训练的深度学习模型(VGGish, OpenL3)和i-vector系统提取高级特征和信号嵌入。使用兼容的GPU卡加速特征提取。

机器学习模型和训练配方

用音频数据集训练最先进的机器学习。使用已建立的模型系统,如i向量,用于说话人识别和验证等应用。从工作示例中学习如何设计和训练用于音频、语音和声学应用的高级神经网络和层。

由不同说话者说的交错片段的语音记录波形,并以颜色高亮显示哪个说话者在每个检测到的语音区域讲话。

使用x向量对包括五个不同说话人的语音信号进行离散化。

导入、注释和预处理音频数据集

读取、分区和预处理大型音频记录集合。用应用程序手动注释音频信号。使用预训练的机器学习模型自动识别和分割感兴趣的区域。

音频标签应用程序中感兴趣的区域标签。

音频标签应用程序中感兴趣的区域标签。

增强和合成音频和语音数据集

使用音调移动、时间拉伸和其他音频处理效果的组合设置随机数据增强管道。使用基于文本到语音的云服务从文本创建合成语音录音。

音频处理算法和效果

生成标准波形,应用常见音频效果,并设计具有动态参数调整和实时可视化的音频处理系统。

音频过滤器和均衡器

建模并应用参数EQ、图形EQ、搁置和变斜率滤波器。设计和模拟数字交叉,八度和分数八度滤波器。

交互式调谐的三波段交叉滤波器与现场可视化。

动态范围控制和效果

建模并应用动态范围处理算法,如压缩机、限幅器、膨胀器和噪声门。加入递归参数模型的人工混响。

用框图进行系统仿真

使用Simulink音频处理模块库设计和模拟系统模型金宝app®.使用交互式控件和动态图调整参数和可视化系统行为。

Simulink模型的组合可视化,在模型层次结构的不同层金宝app次上有块和子系统,一个过滤器响应图,以及一个带有交互式表盘的用户界面,用于调优参数值。

Simulink中多频带动态范围压缩机模型的详细描述。金宝app

实时音频原型

在MATLAB中通过交互式实时听力测试验证音频处理算法。

通过用户界面进行实时参数调优

自动为音频处理算法的可调参数创建用户界面。使用Audio Test Bench应用程序测试单个算法,并使用自动生成的交互式控件调整运行程序中的参数。

交互式调谐自定义三波段参数EQ使用音频测试台。

参数控制和消息交换的MIDI连接

利用MIDI控制面实现MATLAB算法参数的交互改变。通过发送和接收任何类型的MIDI消息来控制外部硬件或响应事件。

显示键盘MIDI控制器向MATLAB会话发送MIDI消息的框图,该会话依次处理消息,合成音符波形,并通过扬声器播放生成的样本。

MIDI消息和音频信号流在MATLAB中编写的一种乐器合成器。

声学测量和空间音频

测量系统响应,分析和测量信号,并设计空间音频处理系统。

基于标准的计量和分析

使用声压级(SPL)计和响度计记录或现场信号。用八度和分数八度滤波器分析信号。对原始记录应用符合标准的A-、C-或k -加权滤波器。测量声波的锐度、粗糙度和波动强度。

跨两个第三倍频波段的不同声压级测量的可视化。

脉冲响应测量

用最大长度序列(MLS)和指数扫正弦(ESS)测量声学和音频系统的脉冲和频率响应。开始与脉冲响应测量应用程序。通过编程生成激励信号和估计系统响应自动化测量。

捕获脉冲响应测量器应用程序,显示在时域和频域的估计响应,一个菜单,其中包含可用于绘制的其他估计脉冲响应列表,以及应用程序中可用的其他交互式控件。

脉冲响应测量应用程序。

具有房间脉冲响应的有效卷积

使用频域重叠-添加或重叠-保存实现有效地卷积长脉冲响应的信号。使用自动脉冲响应分区来权衡计算速度的延迟。

MATLAB图显示了一个相当长的脉冲响应随时间的绝对值,Y轴使用对数刻度。五秒钟后,图显示归一化绝对值还没有小于初始振幅的千分之一。

脉冲响应持续5秒或超过220k个样本在44100Hz。

空间音频

编码和解码不同的双音阶格式。插值空间采样的头部相关传递函数。

图中显示了一个双耳人体模型,在一个球形扇形的顶点上有三个扬声器,代表已知头部相关传递函数的三个点,在扇形内的随机位置上有第四个点,需要估计头部相关传递函数。

所需声源位置和HRTF测量可用的最近角度示例。

生成和主机音频插件

用MATLAB编写的原型音频处理算法作为标准音频插件;使用外部音频插件作为常规MATLAB对象。

生成音频插件

直接从MATLAB代码生成VST插件,AU插件和独立的可执行插件,而不需要手动设计用户界面。对于更高级的插件原型,生成准备构建的JUCE c++项目(需要MATLAB Coder™)。

一个用MATLAB生成的音频插件的UI,当它在REAPER中使用时,一个著名的数字音频工作站。UI包括排列在3 * 3网格上的各种滑块和旋钮。

多波段参数EQ示例:VST插件,由MATLAB代码生成,并在REAPER中运行。

托管外部音频插件

使用外部VST和AU插件作为常规MATLAB对象。更改插件参数并以编程方式处理MATLAB数组。或者,自动化插件参数与用户界面和MIDI控件的关联。由MATLAB代码生成的主机插件,以提高执行效率。

在左边,一个用于音频去噪的商业音频插件的UI,具有一个大旋钮来设置噪声抑制级别。右边的几行代码展示了如何将相同的插件导入并以编程方式作为MATLAB对象使用。

音频去噪的外部VST插件的例子(责难ERA-N)和MATLAB编程接口。

目标嵌入式和实时音频系统

使用代码生成在软件设备上实现音频处理设计,并自动访问音频接口。

CPU和GPU目标的代码生成

与MathWorks®编码器产品,下载188bet金宝搏从信号处理和机器学习算法中生成C和c++源代码,作为工具箱函数、对象和块。生成CUDA源代码从选择特征提取函数,如mfcc而且melSpectrogram

绘制报告语音命令识别系统的每个预测周期所消耗的时间,显示所使用的时间远低于可用时间预算50。

基于ARM Cortex-A处理器的深度学习语音指令识别系统的动态分析优化实现

低成本和移动设备

通过使用板上或外部多声道音频接口,在树莓派™上设计原型音频处理。创建交互式控制面板作为Android的移动应用程序®或者iOS设备。

树莓派板的照片。

用于设计原型的树莓派3板。

实现零延迟的系统

具有单样本输入和输出的原型音频处理设计,用于自适应噪声控制、助听器验证或其他需要最小往返DSP延迟的应用。自动目标Speedgoat音频机和ST发现板直接从Simulink模型。金宝app