基于深度学习的噪声中语音活动检测
这个例子展示了如何在低信噪比环境下使用深度学习检测语音区域。该示例使用语音命令数据集训练双向长短期记忆(BiLSTM)网络来检测语音活动。
介绍
语音活动检测是许多音频系统的重要组成部分，如自动语音识别和说话人识别。语音活动检测在低信噪比(SNR)的情况下尤其具有挑战性，在这种情况下，语音受到噪声的阻碍。
这个例子使用了长短期记忆(LSTM)网络，它是一种非常适合研究序列和时间序列数据的递归神经网络(RNN)。LSTM网络可以学习序列时间步长之间的长期依赖关系。LSTM层(lstmLayer(深度学习工具箱))可以向前方向查看时间序列，而双向LSTM层(bilstmLayer(深度学习工具箱))可以从正反两个方向看时间序列。这个例子使用了一个双向LSTM层。
这个例子训练了一个语音活动检测双向LSTM网络与频谱特征序列和谐波比率度量。
在高信噪比的情况下，传统的语音检测算法表现良好。读一个由单词组成的音频文件，中间有停顿。重新采样音频到16千赫。听录音。
fs = 16 e3;[演讲,fileFs] = audioread (“Counting-16-44p1-mono-15secs.wav”）;演讲=重新取样(演讲、fs、fileFs);演讲=演讲/ max (abs(演讲));声音(演讲中,fs)
使用detectSpeech定位语言区域的功能。的detectSpeech功能正确识别所有的言语区域。
赢=汉明(50e-3 * fs，“周期”）;detectSpeech(演讲、fs、“窗口”,赢了)
在-20分贝的信噪比下损坏洗衣机的音频信号。听损坏的音频。
(噪音、fileFs) = audioread (“洗衣机- 16 - 8 mono - 200 secs.mp3”）;噪音=重新取样(噪音、fs、fileFs);信噪比= -20;noise egain = 10^(-SNR/20) * norm(speech) / norm(noise);noisySpeech = speech + noiseGain*noise(1:numel(speech));noisySpeech = noisySpeech. / max (abs (noisySpeech));声音(noisySpeech fs)
调用detectSpeech在嘈杂的音频信号。由于信噪比很低，该函数无法检测到语音区域。
detectSpeech (noisySpeech fs,“窗口”,赢了)
下载和加载预先训练的网络和配置的audiofeatureextractor.对象。该网络被训练用于在给定特征输出的低信噪比环境下检测语音audiofeatureextractor.对象。
url =“http://ssd.mathworks.com/金宝appsupportfiles/audio/VoiceActivityDetection.zip”；downloadNetFolder = tempdir;netFolder = fullfile (downloadNetFolder,“VoiceActivityDetection”）;如果~存在(netFolder'dir') disp ('下载预训练网络(1文件- 8mb)…'解压缩(url, downloadNetFolder)结束负载(fullfile (netFolder“voiceActivityDetectionExample.mat”））;
speechDetectNet
[6×1 nnet.cnn.layer.Layer] InputNames: {'sequenceinput'} OutputNames: {'classoutput'}
afe
afe = audioFeatureExtractor with properties: properties Window: [256×1 double] OverlapLength: 128 SampleRate: 16000 FFTLength: [] SpectralDescriptorInput:'linearSpectrum' Enabled Features spectralCentroid, spectralCrest, spectralEntropy, spectralFlux, spectral峰度，spectralRolloffPoint, spectralSkewness, spectralSlope, harmonicRatio Disabled Features linearSpectrum, melSpectrum, barkSpectrum, erbSpectrum, mfcc, mfccDelta mfccDelta adelta, gtcc, gtccDelta, gtccDelta, spectralDecreasespectralFlatness spectralSpread, pitch要提取一个特征，设置对应的属性为true。例如,obj。MFCC = true，将MFCC添加到已启用特性列表中。
从语音数据中提取特征，并进行归一化处理。对特性进行定位，使时间跨列。
特点=提取(afe noisySpeech);feature = (Features - mean(Features,1)) ./ std(Features，[]，1);特点=功能”;
将特征通过语音检测网络，对每个特征向量进行分类，判断是否属于一帧语音。
decisionscategorical =对（SpeemDetectNet，功能）;
每个决策对应于由audiofeatureextractor.．复制决策，使它们与音频样本一一对应。绘制演讲，嘈杂的演讲和VAD决策。
decisionsWindow = 1.2 *(双(decisionsCategorical) 1);decisionsSample = [repelem (decisionsWindow(1)元素个数(afe.Window)),．．．repelem (decisionsWindow(2:结束),元素个数(afe.Window) -afe.OverlapLength)];t =(0:元素个数(decisionsSample) 1) / afe.SampleRate;情节(t, noisySpeech(1:元素个数(t)),．．．t,演讲(1:元素个数(t)),．．．t, decisionsSample);包含(“时间(s)”) ylabel (“振幅”)传说(的嘈杂的演讲，“演讲”，“监督”，“位置”，“西南”）
您还可以在流环境中使用训练过的VAD网络。为了模拟流环境，首先将语音和噪声信号保存为WAV文件。为了模拟流输入，您将从文件中读取帧并按所需的信噪比混合它们。
audiowrite ('speep.wav'演讲中,fs) audiowrite (“Noise.wav”、噪音、fs)
要将VAD网络应用于流音频，必须在延迟和准确性之间进行权衡。定义噪声演示中流语音活动检测的参数。可以设置测试的持续时间、输入到网络的序列长度、序列跳数和测试信噪比。一般来说，增加序列长度会增加精度，但也会增加滞后。您也可以选择输出到您的设备的信号作为原始信号或噪声信号。
testDuration =20.；sequenceLength =
400；sequenceHop =
20.；SNR =
－20；noise egain = 10^(-SNR/20) * norm(speech) / norm(noise);signalToListenTo =
“吵”；
调用流演示助手功能来观察VAD网络在流音频上的性能。使用活动控件设置的参数不会中断流示例。当流演示完成后，您可以修改演示的参数，然后再次运行流演示。中可以找到流演示的代码金宝app支持功能．
helperStreamingDemo (afe speechDetectNet,．．．'speep.wav'，“Noise.wav”，．．．testDuration、sequenceLength sequenceHop、signalToListenTo noiseGain);
本例的其余部分将对VAD网络进行培训和评估。
培训和评估VAD网络
训练：
创建一个
audioDatastore指向用来训练LSTM网络的音频语音文件。创建一个训练信号，由不同持续时间的沉默片段分开的语音片段组成。
用洗衣机噪声(信噪比= -10 dB)破坏语音加静音信号。
从噪声信号中提取由频谱特征和谐波比组成的特征序列。
利用特征序列训练LSTM网络，识别语音活动区域。
预测:
创建一个
audioDatastore的语音文件，用于测试训练的网络，并创建一个测试信号由沉默段分开的语音组成。使用洗衣机噪声(信噪比= -10 dB)破坏测试信号。
从噪声测试信号中提取特征序列。
通过训练网络通过测试特征识别语音活动区域。
将网络的准确性与来自信号加沉默测试信号的语音活动基线进行比较。
以下是培训过程的草图。
以下是预测过程的草图。你用训练过的网络进行预测。
加载语音命令数据集
下载并提取谷歌语音命令数据集[1]．
url =“https://ssd.mathworks.com/金宝appsupportfiles/audio/google_speech.zip”；downloadFolder = tempdir;datasetFolder = fullfile (downloadFolder,“google_speech”）;如果~存在(datasetFolder'dir') disp (“正在下载谷歌语音命令数据集(1.9 GB)……”解压缩(url, downloadFolder)结束
下载谷歌语音命令数据集(1.9 GB)…
创建一个audioDatastore指向训练数据集。
adstrain = audiodataStore（fullfile（datasetfolder，“火车”），“Includesubfolders”,真正的);
创建一个audioDatastore指向验证数据集。
adsValidation = audioDatastore (fullfile (datasetFolder'验证'），“Includesubfolders”,真正的);
创建语音加沉默训练信号
使用读取音频文件的内容读．得到样本率adsInfo结构体。
[数据，AdsInfo] =读取（adstrain）;FS = Adsinfo.Sampleate;
使用声音命令听音频信号。
声音(数据、Fs)
绘制音频信号。
timeVector = (1/Fs) * (0:numel(data)-1); / /时间矢量情节(timeVector、数据)ylabel (“振幅”)包含(“时间(s)”)标题(“样本音频”网格)在
该信号具有非语音部分(无声、背景噪声等)，不包含有用的语音信息。这个例子使用detectSpeech函数。
提取数据中有用的部分。定义一个50毫秒周期的汉明窗口用于分析。调用detectSpeech没有输出参数来绘制检测到的语音区域。调用detectSpeech再次返回检测到的语音的索引。分离检测到的语音区域，然后使用声音命令，收听音频。
赢=汉明(50e-3 * Fs，“周期”）;detectSpeech(数据、Fs、“窗口”,赢了);
speechIndices = detectSpeech(数据、Fs、“窗口”,赢了);声音(数据(speechIndices (1,1): speechIndices(1、2),Fs)
的detectSpeech函数返回紧围绕检测到的语音区域的索引。根据经验，对于本例来说，将检测到的语音的索引分别扩展五帧，可以提高最终模型的性能。将语音索引扩展五个帧，然后听语音。
= max(speech hindices (1,1) - 5*numel(win)，1);= min(speech hindices (1,2) + 5*numel(win)，numel(data));声音(数据(speechIndices (1,1): speechIndices(1、2),Fs)
重置训练数据存储并打乱数据存储中文件的顺序。
reset(adsTrain) adsTrain = shuffle(adsTrain);adsValidation = shuffle (adsValidation);
的detectSpeech函数计算基于统计的阈值以确定语音区域。您可以跳过阈值计算，加速detectSpeech函数的方法是直接指定阈值。要确定数据集的阈值，调用detectSpeech并得到它计算的阈值。取阈值的平均值。
TM = [];为index = 1:20 0 data = read(adsTrain); / /读取数据[~ T] = detectSpeech(数据、Fs、“窗口”,赢了);TM = [TM; T];结束T =意味着(TM);重置(adsTrain)
通过结合来自训练数据集的多个语音文件来创建1000秒的训练信号。使用detectSpeech删除每个文件中不需要的部分。在语音片段之间插入一个随机的沉默时期。
预先分配训练信号。
时间= 2000 * Fs;audioTraining = 0(持续时间,1);
预先分配语音活动训练面罩。掩码中1的值对应于位于有声音活动区域的样本。0值对应的是没有声音活动的区域。
Masktraining =零（持续时间，1）;
最大静默段持续时间为2秒。
maxSilenceSegment = 2;
通过呼叫构造训练信号读在循环中的数据存储上。
numSamples = 1;而numSamples < duration data = read(adsTrain);Data = Data ./ max(abs(Data));%正常化振幅确定语音区域idx = detectSpeech(数据、Fs、“窗口”,赢了,“阈值”T);%如果检测到语音区域如果~ isempty (idx)%扩展索引5帧Idx (1,1) = max(1, Idx (1,1) - 5*numel(win));idx(1、2)= min(长度(数据),idx(1、2)+ 5 *元素个数(赢得));%隔离演讲data =数据(idx (1,1): idx(1、2);将语音片段写入训练信号audioTraining (numSamples: numSamples +元素个数(数据)1)=数据;%设置VAD基线maskTraining (numSamples: numSamples +元素个数(数据)1)= true;％随机静音numSilenceSamples =兰迪(maxSilenceSegment * Fs, 1,1);numSamples = numSamples + nummel (data) + numsilencessamples;结束结束
可视化训练信号的10秒部分。绘制基线语音活动掩模。
图范围= 1:10*Fs;情节((1 / Fs) *(范围1)audioTraining(范围);持有在情节((1 / Fs) *(范围1)maskTraining(范围);网格在行= findall (gcf,“类型”，“行”）;行(1)。线宽= 2;包含(“时间(s)”)传说(“信号”，“演讲地区”)标题(“训练信号(前10秒)”）;
听训练信号的前10秒。
声音(audioTraining(范围),Fs);
在训练信号中添加噪声
通过在语音信号中加入洗衣机噪声，使训练信号染上洗衣机噪声，使其信噪比为-10 dB。
读8千赫噪声，并将其转换为16千赫。
噪音= audioread (“洗衣机- 16 - 8 mono - 1000 - secs.mp3”）;噪音=重新取样(噪音、2、1);
干扰训练信号。
audioTraining = audioTraining(1:元素个数(噪声));信噪比= -10;噪声= 10^(-SNR/20) *噪声*范数(audioTraining) /范数(噪声);audioTrainingNoisy = audioTraining + noise;audioTrainingNoisy = audioTrainingNoisy / max(abs(audioTrainingNoisy));
想象10秒的嘈杂训练信号。绘制基线语音活动掩模。
图绘制((1 / Fs) *(范围1)audioTrainingNoisy(范围);持有在情节((1 / Fs) *(范围1)maskTraining(范围);网格在行= findall (gcf,“类型”，“行”）;行(1)。线宽= 2;包含(“时间(s)”)传说(“噪声信号”，“言语区”)标题(“训练信号(前10秒)”）;
听前10秒的噪声训练信号。
声音(audioTrainingNoisy(范围)、Fs)
请注意，您使用无声语音加静音信号获得了基线语音活动掩码。确认使用detectSpeech对噪声污染的信号并不能产生良好的结果。
speechIndices = detectSpeech (audioTrainingNoisy Fs,“窗口”,赢了);= max(1,speech hindices (:，1) - 5*numel(win));speech hindices (:，2) = min(numel(audioTrainingNoisy)，speech hindices (:，2) + 5*numel(win));noisyMask = 0(大小(audioTrainingNoisy));为ii = 1:size(speech hindices) noisyMask(speech hindices (ii,1):speech hindices (ii,2)) = 1;结束
想象10秒的嘈杂训练信号。通过分析噪声信号，绘制出语音活动掩模。
图绘制((1 / Fs) *(范围1)audioTrainingNoisy(范围);持有在情节((1 / Fs) *(范围1)noisyMask(范围);网格在行= findall (gcf,“类型”，“行”）;行(1)。线宽= 2;包含(“时间(s)”)传说(“噪声信号”，“屏蔽噪声信号”)标题(“训练信号(前10秒)”）;
创建语音加静音验证信号
创建一个200秒的噪声语音信号来验证训练过的网络。使用验证数据存储。请注意，验证和培训数据存储具有不同的发言人。
预先采用验证信号和验证掩码。您将使用此掩码来评估培训网络的准确性。
时间= 200 * Fs;audioValidation = 0(持续时间,1);maskValidation = 0(持续时间,1);
通过调用来构造验证信号读在循环中的数据存储上。
numSamples = 1;而numSamples < duration data = read(adsValidation);Data = Data ./ max(abs(Data));%正常化振幅确定语音区域idx = detectSpeech(数据、Fs、“窗口”,赢了,“阈值”T);%如果检测到语音区域如果~ isempty (idx)%扩展索引5帧Idx (1,1) = max(1, Idx (1,1) - 5*numel(win));idx(1、2)= min(长度(数据),idx(1、2)+ 5 *元素个数(赢得));%隔离演讲data =数据(idx (1,1): idx(1、2);将语音片段写入训练信号audioValidation (numSamples: numSamples +元素个数(数据)1)=数据;%设置VAD基线maskValidation (numSamples: numSamples +元素个数(数据)1)= true;％随机静音numSilenceSamples =兰迪(maxSilenceSegment * Fs, 1,1);numSamples = numSamples + nummel (data) + numsilencessamples;结束结束
将洗衣机噪声加到语音信号中，使其信噪比为-10 dB，从而使验证信号受到洗衣机噪声的破坏。对验证信号使用与训练信号不同的噪声文件。
噪音= audioread (“洗衣机- 16 - 8 mono - 200 - secs.mp3”）;噪音=重新取样(噪音、2、1);噪音=噪音(1:持续时间);audioValidation = audioValidation(1:元素个数(噪声));noise = 10^(-SNR/20) * noise * norm(audioValidation) / norm(noise);audioValidationNoisy = audioValidation + noise;audioValidationNoisy = audioValidationNoisy / max(abs(audioValidationNoisy));
提取训练功能
本例使用以下特征训练LSTM网络:
这个示例使用audiofeatureextractor.为特征集创建最佳特征提取管道。创建一个audiofeatureextractor.对象提取功能集。使用256点HANN窗口，具有50％的重叠。
afe = audioFeatureExtractor (“SampleRate”Fs,．．．“窗口”损害(256,“周期”），．．．“OverlapLength”, 128,．．．．．．“spectralCentroid”,真的,．．．“spectralCrest”,真的,．．．“spectralEntropy”,真的,．．．“spectralFlux”,真的,．．．“spectralKurtosis”,真的,．．．“spectralRolloffPoint”,真的,．．．“spectralSkewness”,真的,．．．“spectralSlope”,真的,．．．“harmonicRatio”,真正的);audioTrainingNoisy featuresTraining =提取(afe);
显示特征矩阵的尺寸。第一个维度对应于信号被分割成的窗口数(它取决于窗口长度和重叠长度)。第二个维度是本例中使用的特性数量。
[numWindows, numFeatures] =大小(featuresTraining)
numWindows = 125009
numFeatures = 9
在分类应用中，将所有特征归一化，使其均值为零，标准差为单位，是一种很好的做法。
计算每个系数的平均值和标准差，并使用它们来规范化数据。
M =意味着(featuresTraining, 1);S =性病(featuresTraining [], 1);featurestrain = (featurestrain - M) ./ S;
从验证信号中提取特征使用相同的过程。
audioValidationNoisy featuresValidation =提取(afe);featuresValidation = (featuresValidation - mean(featuresValidation,1)) ./ std(featuresValidation，[]，1);
每个特征对应128个数据样本(跳长)。对于每一跳，将期望的voice/no voice值设置为这128个样本对应的基线掩码值模式。将语音/无语音掩码转换为绝对。
windowLength =元素个数(afe.Window);hopLength = windowLength - afe.OverlapLength;range = (hopLength) * (1:size(featurestrain,1)) + hopLength;maskMode = 0(大小(范围);为index = 1:numel(range) maskMode(index) = mode(maskTraining((index-1)*hopLength+1:(index-1)*hopLength+windowLength));结束maskTraining = maskMode。”;maskTrainingCat =分类(maskTraining);
对验证掩码执行同样的操作。
range = (hopLength) * (1:size(featuresValidation,1)) + hopLength;maskMode = 0(大小(范围);为maskMode(index) = mode(maskValidation((index-1)*hopLength+1:(index-1)*hopLength+windowLength));结束maskValidation = MaskMode。';maskValidationCAT =分类（MaskValidation）;
将训练特征和掩模分割成长度为800的序列，连续序列之间有75%的重叠。
sequenceLength = 800;sequenceOverlap =圆(0.75 * sequenceLength);trainFeatureCell = helperFeatureVector2Sequence (featuresTraining sequenceLength sequenceOverlap);trainLabelCell = helperFeatureVector2Sequence (maskTrainingCat sequenceLength sequenceOverlap);
定义LSTM网络架构
LSTM网络可以学习序列数据时间步长之间的长期依赖关系。本例使用双向LSTM层bilstmLayer(深度学习工具箱)从正反两个方向看这个序列。
指定输入大小为长度序列9(特征的数量)。指定一个隐藏的双向LSTM层，输出大小为200，并输出一个序列。该命令指示双向LSTM层将输入的时间序列映射为200个特性，并传递给下一层。然后，指定一个输出大小为200的双向LSTM层并输出序列的最后一个元素。该命令指示双向LSTM层将其输入映射到200个特性，然后为完全连接层准备输出。最后，通过包含一个大小完全连接的层来指定两个类2，接着是softmax层和分类层。
层= [．．．sequenceInputLayer(size(featuresValidation,2)))“OutputMode”，“序列”) bilstmLayer (200,“OutputMode”，“序列”) fulllyconnectedlayer (2) softmaxLayer classificationLayer];
接下来，为分类器指定训练选项。集MaxEpochs来20.这样网络就能通过20个训练数据。集MiniBatchSize来64这样这个网络一次就能观察64个训练信号。集情节来“训练进步”生成随着迭代次数增加而显示训练进度的图。集详细的来假禁用打印与图中显示的数据相对应的表输出。集洗牌来“every-epoch”在每个纪元开始时打乱训练顺序。集LearnRateSchedule来“分段”每次经过一定数量的纪元(10)，学习率就降低一个指定的因子(0.1)。集ValidationData到验证预测因子和目标。
本例使用自适应矩估计(ADAM)求解器。ADAM在lstm这样的递归神经网络(RNNs)中比默认的SGDM (SGDM)求解器表现更好。
maxEpochs = 20;miniBatchSize = 64;选择= trainingOptions (“亚当”，．．．“MaxEpochs”maxEpochs,．．．“MiniBatchSize”miniBatchSize,．．．“洗牌”，“every-epoch”，．．．“详细”0,．．．“SequenceLength”sequenceLength,．．．“ValidationFrequency”，地板（Numel（TrainFeaturecell）/小匹匹匹匹匹匹匹匹配），．．．“ValidationData”, {featuresValidation。“maskValidationCat。”},．．．“阴谋”，“训练进步”，．．．“LearnRateSchedule”，“分段”，．．．“LearnRateDropFactor”, 0.1,．．．“LearnRateDropPeriod”5);
培训LSTM网络
使用指定的训练选项和层架构来训练LSTM网络trainNetwork．由于训练集很大，训练过程可能需要几分钟。
doTraining = true;如果doTraining [speechDetectNet,netInfo] = trainNetwork(trainFeatureCell,trainLabelCell,layers,options);流("验证精度:%f % .\n", netInfo.FinalValidationAccuracy);其他的负载speechDetectNet结束
验证精度:91.320312%。
使用训练有素的网络检测语音活动
使用经过训练的网络估计验证信号中的语音活动。转换估计的VAD掩模从分类到双。
EstimatedVADMask =分类(speechDetectNet featuresValidation。');EstimatedVADMask =双(EstimatedVADMask);EstimatedVADMask = EstimatedVADMask。”——1;
根据实际标签和估计标签的向量计算并绘制验证混淆矩阵。
figure cm = confusionchart(maskValidation,EstimatedVADMask，“标题”，“验证准确性”）;厘米。ColumnSummary =“列标准化”；厘米。RowSummary =“row-normalized”；
如果您更改了网络或特征提取管道的参数，请考虑使用新的网络和保存MAT文件audiofeatureextractor.对象。
resaveNetwork =假；如果resaveNetwork保存(“Audio_VoiceActivityDetectionExample.mat”，“speechDetectNet”，“安全的”）;结束
金宝app支持功能
转换特征向量到序列
函数[序列,sequencePerFile] = helperFeatureVector2Sequence(特性、featureVectorsPerSequence featureVectorOverlap)如果featureVectorsPerSequence <= featureVectorOverlap error(重叠特征向量的数量必须小于每个序列的特征向量的数量。）结束如果~iscell(feature) feature = {feature};结束hoplength = featurevectorspersequence - featurevectorovelap;IDX1 = 1;序列= {};sequencerfile = cell（numel（特征），1）;为ii = 1:numel(features) sequencePerFile{ii} = floor(((size(features{ii}，2) - featureVectorsPerSequence)/hopLength) + 1;idx2 = 1;为j = 1:sequencePerFile{ii} sequences{idx1,1} = features{ii}(:，idx2:idx2 + featureVectorsPerSequence - 1);% #好< AGROW >Idx1 = Idx1 + 1;idx2 = idx2 + hopLength;结束结束结束
流媒体演示
函数helperStreamingDemo (speechDetectNet afe cleanSpeech,噪音,testDuration, sequenceLength, sequenceHop, signalToListenTo, noiseGain)
创建dsp。AudioFileReader对象一帧一帧地从语音和噪声文件中读取。
speechReader = dsp。AudioFileReader(cleanSpeech,“PlayCount”、正);noiseReader = dsp。AudioFileReader(noise,“PlayCount”、正);fs = speechReader.SampleRate;
创建一个dsp。MovingStandardDeviation对象和A.dsp。MovingAverage对象。您将使用它们来确定规范化音频特性的标准偏差和平均值。统计数据应该会随着时间的推移而改善。
movSTD = dsp。MovingStandardDeviation (“方法”，指数权重的，“ForgettingFactor”1);movMean = dsp。MovingAverage (“方法”，指数权重的，“ForgettingFactor”1);
创造三个dsp。AsyncBuffer对象。一个用于缓冲输入音频，一个用于缓冲提取的特征，一个用于缓冲输出缓冲区。输出缓冲区仅用于实时可视化决策。
audioInBuffer = dsp.AsyncBuffer;featureBuffer = dsp.AsyncBuffer;audioOutBuffer = dsp.AsyncBuffer;
对于音频缓冲区，您将缓冲原始的干净的语音信号，和噪声信号。您将只播放指定的内容signaltolistento.．转换signaltolistento.变量为您想要收听的频道。
channelToListenTo = 1;如果比较字符串(signalToListenTo“清洁”) channelToListenTo = 2;结束
创建一个时间范围来可视化原始语音信号、网络应用到的噪声信号和网络的决策输出。
范围= timescope (“SampleRate”fs,．．．“TimeSpanSource”，“属性”，．．．“时间间隔”3,．．．'bufferLength'fs * 3 * 3,．．．“YLimits”[1],．．．“TimeSpanOverrunAction”，“滚动”，．．．'showgrid',真的,．．．“NumInputPorts”3,．．．“LayoutDimensions”(3,1),．．．'标题'，的嘈杂的演讲）;范围。ActiveDisplay = 2;范围。Title =“干净的演讲(原始)”；范围。YLimits = [-1 1];范围。ActiveDisplay = 3;范围。Title =“发现演讲”；范围。YLimits = [-1 1];
创建一个audioDeviceWriter对象播放扬声器的原始或嘈杂的音频。
deviceWriter = audioDeviceWriter (“SampleRate”fs);
初始化循环中使用的变量。
windowLength =元素个数(afe.Window);hopLength = windowLength - afe.OverlapLength;myMax = 0;audioBufferInitialized = false;featureBufferInitialized = false;
运行流演示。
抽搐而toc < testDuration％读取语音信号的帧和噪声信号的帧speechIn = speechReader ();noiseIn = noiseReader ();%在指定的信噪比下混合语音和噪声noisyAudio = speech + noiseGain*noise ein;为标准化更新一个运行最大值mymax = max（mymax，max（abs（noisyaudio）））;%将嘈杂的音频和语音写入缓冲区写道（vightinbuffer，[noisyaudio，speepin]）;%如果缓冲足够的样本，%标记音频缓冲区为初始化并推读指针%为音频缓冲区向上一个窗口长度。如果audioInBuffer。NumUnreadSamples >= windowLength && ~audioBufferInitialized audioBufferInitialized = true;读(audioInBuffer windowLength);结束%如果音频缓冲区中有足够的样本来计算一个特征%向量，读取样本，归一化，提取特征向量，写入%最新的特征向量到特征缓冲区。而(audioInBuffer。NumUnreadSamples >= hopLength) && audioBufferInitialized x = read(audiobuffer,windowLength + hopLength,windowLength);写(audioOutBuffer x (end-hopLength + 1:,:));noisyAudio = x (: 1);noisyAudio = noisyAudio / myMax;特点=提取(afe noisyAudio);写(featureBuffer特性(2:));结束%如果缓冲了足够的特征向量，标记特征缓冲区%初始化，并将读取指针推入特性缓冲区％和音频输出缓冲区（使它们处于同步状态）。如果featureBuffer。NumUnreadSamples >= (sequenceLength + sequenceHop) && ~featureBufferInitialized featureBufferInitialized = true;读(featureBuffer sequenceLength - sequenceHop);读(audioOutBuffer (sequenceLength - sequenceHop) * windowLength);结束而featureBuffer。NumUnreadSamples >= sequenceHop && featureBufferInitialized features = read(featureBuffer,sequenceLength,sequenceLength - sequenceHop);特性(isnan(特性))= 0;%只使用新功能来更新％标准偏差和平均值。标准化功能。localSTD = movSTD(特性(end-sequenceHop + 1:,:));localMean = movMean(特性(end-sequenceHop + 1:,:));feature = (features - localMean(end，:))) ./ localSTD(end，:);决定= (speechDetectNet,功能分类');决策=决策(end-sequenceHop + 1:结束);= double(Decision)' - 1;决定= repelem(决定,hopLength);audioHop =阅读(audioOutBuffer, sequenceHop * hopLength);听演讲或演讲+噪音deviceWriter (audioHop (:, channelToListenTo));视觉化演讲+噪音，原始演讲，和%语音活动检测。范围(audioHop (: 1), audioHop (:, 2), audioHop(: 1)。*决定)结束结束release(deviceWriter) release(audioInBuffer) release(audioOutBuffer) release(featureBuffer) release(movSTD) release(movMean) release(scope)结束
参考
[1]监狱长P。“语音指令:单字语音识别的公共数据集”，2017。可以从https://storage.googleapis.com/download.tensorflow.org/data/speech_commands_v0.01.tar.gz．版权2017年谷歌。语音命令数据集是在知识共享署名4.0许可下使用的
你也可以从以下列表中选择一个网站:
