主要内容

VGGish

VGGish嵌入提取网络

自从R2022a

  • VGGish块

库:
音频工具箱/深度学习

描述

VGGish块利用一个pretrained卷积神经网络训练的AudioSet数据集从音频信号中提取特征嵌入。

港口

输入

全部展开

梅尔谱图,指定为96 - 64矩阵或96 - 64 - 1 - - - - - - -N数组,地点:

  • 96年——代表女士25帧的数量在每个梅尔·声谱图

  • 64年——代表梅尔乐队的数量生成125赫兹至7.5千赫

  • N——代表梅尔·色的数量。

您可以使用VGGish预处理块生成梅尔·色。维度的所有声音都是96 - 64。

数据类型:|

输出

全部展开

VGGish功能嵌入的,作为一个返回N128年——矩阵,N是梅尔·色的数量的输入。音频数据的特征嵌入一个紧凑的表示。

数据类型:

参数

全部展开

大小mini-batches用于预测指定为一个正整数。大mini-batch大小需要更多的内存,但会导致更快的预测。

块特征

数据类型

|

直接引线

没有

多维信号

没有

适应信号

没有

讨论二阶导数过零检测

没有

引用

[1]Gemmeke, Jort F。丹尼尔·p·w·埃利斯,迪伦弗里德曼,詹森,韦德劳伦斯,r·钱宁摩尔Manoj Plakal,马文·里特。“音频设置:本体和Human-Labeled音频事件的数据集。“在2017年IEEE国际会议音响、演讲和信号处理(ICASSP),776 - 80。新奥尔良,LA: IEEE 2017。https://doi.org/10.1109/ICASSP.2017.7952261。

[2]好时,肖恩,微酸的乔杜里,丹尼尔·p·w·埃利斯Jort f . Gemmeke Jansen, r·钱宁摩尔Manoj Plakal, et al。”CNN架构对大规模音频分类。“在2017年IEEE国际会议音响、演讲和信号处理(ICASSP)131 - 35。新奥尔良,LA: IEEE 2017。https://doi.org/10.1109/ICASSP.2017.7952132。

扩展功能

版本历史

介绍了R2022a