Audio Toolbox™提供音频处理、语音分析和声学测量工具。它包括处理音频信号的算法,如均衡和时间拉伸,估计声音信号指标,如响度和锐度,以及提取音频特征,如MFCC和音调。它还提供先进的机器学习模型,包括i向量,以及预训练的深度学习网络,包括VGGish和CREPE。工具箱应用程序支持实时算法金宝app测试、脉冲响应测量和信号标记。工具箱提供ASIO、CoreAudio和其他声卡的流接口;MIDI设备;以及生成和托管VST和音频单元插件的工具。
使用音频工具箱,您可以导入、标记和增强音频数据集,以及提取特征来训练机器学习和深度学习模型。所提供的预训练模型可以应用于音频记录,进行高级语义分析。
您可以实时创建音频处理算法的原型,或者通过将低延迟音频传输到声卡或从声卡传输来运行自定义声学测量。您可以通过将算法转换为音频插件以在外部主机应用程序(如数字音频工作站)中运行来验证算法。插件托管允许您使用外部音频插件作为常规MATLAB®对象。
开始:
连接到标准音频驱动程序
使用跨Windows的标准音频驱动程序(如ASIO、WASAPI、CoreAudio和ALSA)从声卡(如USB或Thunderbolt™)读取和写入音频样本®、Mac®、Linux操作系统®操作系统。
预训练的深度学习模型
使用深度学习来执行复杂的信号处理任务,并通过一行代码提取音频嵌入。访问已建立的预先训练的网络,如YAMNet、VGGish、CREPE和OpenL3,并在预先配置的特征提取函数的帮助下应用它们。
音频、语音和声学的特征提取
将信号转换为时频表示,如Mel, Bark和ERB频谱图。计算倒谱系数,如MFCC和GTCC,以及音高、谐波和频谱描述符等标量特征。使用预训练的深度学习模型(VGGish, OpenL3)和i-vector系统提取高级特征和信号嵌入。使用兼容的GPU卡加速特征提取。
机器学习模型和训练配方
用音频数据集训练最先进的机器学习。使用已建立的模型系统,如i向量,用于说话人识别和验证等应用。从工作示例中学习如何设计和训练用于音频、语音和声学应用的高级神经网络和层。
导入、注释和预处理音频数据集
读取、分区和预处理大型音频记录集合。用应用程序手动注释音频信号。使用预训练的机器学习模型自动识别和分割感兴趣的区域。
增强和合成音频和语音数据集
使用音调移动、时间拉伸和其他音频处理效果的组合设置随机数据增强管道。使用基于文本到语音的云服务从文本创建合成语音录音。
参数控制和消息交换的MIDI连接
利用MIDI控制面实现MATLAB算法参数的交互改变。通过发送和接收任何类型的MIDI消息来控制外部硬件或响应事件。
基于标准的计量和分析
使用声压级(SPL)计和响度计记录或现场信号。用八度和分数八度滤波器分析信号。对原始记录应用符合标准的A-、C-或k -加权滤波器。测量声波的锐度、粗糙度和波动强度。
脉冲响应测量
用最大长度序列(MLS)和指数扫正弦(ESS)测量声学和音频系统的脉冲和频率响应。开始与脉冲响应测量应用程序。通过编程生成激励信号和估计系统响应自动化测量。
生成音频插件
直接从MATLAB代码生成VST插件,AU插件和独立的可执行插件,而不需要手动设计用户界面。对于更高级的插件原型,生成准备构建的JUCE c++项目(需要MATLAB Coder™)。
托管外部音频插件
使用外部VST和AU插件作为常规MATLAB对象。更改插件参数并以编程方式处理MATLAB数组。或者,自动化插件参数与用户界面和MIDI控件的关联。由MATLAB代码生成的主机插件,以提高执行效率。
CPU和GPU目标的代码生成
与MathWorks®编码器产品,下载188bet金宝搏从信号处理和机器学习算法中生成C和c++源代码,作为工具箱函数、对象和块。生成CUDA源代码从选择特征提取函数,如mfcc
而且melSpectrogram
.
低成本和移动设备
通过使用板上或外部多声道音频接口,在树莓派™上设计原型音频处理。创建交互式控制面板作为Android的移动应用程序®或者iOS设备。
实现零延迟的系统
具有单样本输入和输出的原型音频处理设计,用于自适应噪声控制、助听器验证或其他需要最小往返DSP延迟的应用。自动目标Speedgoat音频机和ST发现板直接从Simulink模型。金宝app