使用SSD深度学习的目标检测
这个例子展示了如何训练一个单镜头检测器(SSD)。
概述
深度学习是一种强大的机器学习技术，可以自动学习检测任务所需的图像特征。有几种使用深度学习的对象检测技术，如Faster R-CNN、You Only Look Once (YOLO v2)和SSD。这个例子训练SSD车辆检测器使用trainSSDObjectDetector函数。有关更多信息，请参见对象检测(计算机视觉工具箱)．
下载Pretrained探测器
下载一个预先训练过的检测器，以避免等待训练完成。如果你想训练探测器，设置doTraining变量为true。
doTraining = false;如果~ doTraining & & ~存在(“ssdResNet50VehicleExample_20a.mat”，“文件”) disp (“下载预训练探测器(44mb)……”);pretrainedURL =“//www.tatmou.com/金宝appsupportfiles/vision/data/ssdResNet50VehicleExample_20a.mat”；websave (“ssdResNet50VehicleExample_20a.mat”, pretrainedURL);结束
下载预训练检测器(44mb)…
加载数据集
本例使用一个包含295张图像的小型车辆数据集。这些图像中有许多来自加州理工学院汽车1999年和2001年的数据集，可以在加州理工学院计算视觉中心获得网站，由Pietro Perona创作并获得许可使用。每个图像包含一个或两个已标记的车辆实例。一个小的数据集对于探索SSD训练过程是有用的，但在实践中，需要更多的标记图像来训练一个鲁棒检测器。
解压缩vehicleDatasetImages.zipdata =负载(“vehicleDatasetGroundTruth.mat”);vehicleDataset = data.vehicleDataset;
训练数据存储在一个表中。第一列包含图像文件的路径。其余的列包含车辆的ROI标签。显示数据的前几行。
vehicleDataset (1:4,:)
ans =4×2表imageFilename车辆 _________________________________ _________________ {' vehicleImages / image_00001.jpg '} {[220 136 35 28]} {' vehicleImages / image_00002.jpg '} {[45 175 126 61]} {' vehicleImages / image_00003.jpg '} {[45 108 120 33]} {' vehicleImages / image_00004.jpg '} {[124 112 38 36]}
将数据集分割为用于训练检测器的训练集和用于评估检测器的测试集。选择60%的数据进行训练。剩下的用于评估。
rng (0);shuffledIndices = randperm(高度(vehicleDataset));idx = floor(0.6 * length(shuffledIndices));trainingData = vehicleDataset (shuffledIndices (1: idx):);testData = vehicleDataset (shuffledIndices (idx + 1:结束):);
使用imageDatastore和boxLabelDatastore在培训和评估过程中加载图像和标签数据。
imdsTrain = imageDatastore (trainingData {:,“imageFilename”}）;bldsTrain = boxLabelDatastore (trainingData (:,“汽车”））;imdsTest = imageDatastore (testData {:,“imageFilename”}）;bldsTest = boxLabelDatastore (testData (:,“汽车”））;
结合图像和盒标签数据存储。
trainingData =结合(imdsTrain bldsTrain);testData = combine(imdsTest, bldsTest);
显示其中一个训练图像和框标签。
data =阅读(trainingData);我={1}数据;bbox ={2}数据;annotatedImage = insertShape(我“矩形”, bbox);annotatedImage = imresize (annotatedImage 2);图imshow (annotatedImage)
创建SSD对象检测网络
SSD对象检测网络可以认为有两个子网络。首先是特征提取网络，然后是检测网络。
特征提取网络通常是预先训练的CNN(见预先训练的深度神经网络更多的细节)。本例使用ResNet-50进行特征提取。根据应用需求，还可以使用其他预先训练过的网络，如MobileNet v2或ResNet-18。与特征提取网络相比，检测子网络是一个较小的CNN，由几个卷积层和针对SSD的层组成。
使用ssdLayers功能，自动将预先训练好的ResNet-50网络修改为SSD对象检测网络。ssdLayers需要指定几个参数化SSD网络的输入，包括网络输入大小和类的数量。在选择网络输入尺寸时，要考虑训练图像的尺寸，以及在选定尺寸下处理数据所产生的计算代价。在可行的情况下，选择与训练图像大小相近的网络输入尺寸。但是，为了减少运行本例的计算成本，网络输入大小选择为[300 300 3]。在培训期间,trainSSDObjectDetector自动调整训练图像到网络输入的大小。
inputSize = [300 300 3];
定义要检测的对象类的数量。
numClasses =宽度(vehicleDataset) 1;
创建SSD对象检测网络
lgraph = ssdLayers(inputSize, numClasses，“resnet50”);
您可以使用可视化网络analyzeNetwork或维eepNetworkDesigner来自深度学习工具箱™。注意，您还可以逐层创建自定义SSD网络。有关更多信息，请参见创建SSD对象检测网络(计算机视觉工具箱)．
数据增加
在训练过程中，通过随机变换原始数据来提高网络的精度。通过使用数据增广，您可以向训练数据添加更多种类，而不必实际增加已标记训练样本的数量。使用变换通过。来增加训练数据
随机翻转图像和相关的框标签水平。
随机缩放图像，相关的盒子标签。
抖动图像颜色。
注意，数据扩充并不应用于测试数据。理想情况下，测试数据应该能够代表原始数据，并且不作任何修改，以便进行公正的评估。
augmentedTrainingData =变换(trainingData @augmentData);
通过多次阅读相同的图像来可视化增强训练数据。
augmentedData =细胞(4,1);为k = 1:4 data = read(augmentedTrainingData);augmentedData {k} = insertShape(数据{1},“矩形”、数据{2});重置(augmentedTrainingData);结束图蒙太奇(augmentedData,“BorderSize”, 10)
训练数据进行预处理
对增强后的训练数据进行预处理，为训练做准备。
preprocessedTrainingData =变换(augmentedTrainingData @(数据)preprocessData(数据、inputSize));
读取预处理后的训练数据。
data =阅读(preprocessedTrainingData);
显示图像和边框。
我={1}数据;bbox ={2}数据;annotatedImage = insertShape(我“矩形”, bbox);annotatedImage = imresize (annotatedImage 2);图imshow (annotatedImage)
训练SSD对象检测器
使用trainingOptions指定网络培训选项。集“CheckpointPath”到一个临时的地方。这使得在训练过程中能够保存部分训练过的检测器。如果培训被中断，例如断电或系统故障，您可以从保存的检查点恢复培训。
选择= trainingOptions (“个”，．..“MiniBatchSize”, 16岁,．..．“InitialLearnRate”1 e 1,．..“LearnRateSchedule”，“分段”，．..“LearnRateDropPeriod”30岁的．..“LearnRateDropFactor”, 0.8,．..“MaxEpochs”, 300,．..“VerboseFrequency”, 50岁,．..“CheckpointPath”tempdir,．..“洗牌”，“every-epoch”);
使用trainSSDObjectDetector(计算机视觉工具箱)功能训练SSD对象检测器doTraining为true。否则，加载预训练的网络。
如果doTraining%培训SSD检测器。[detector, info] = trainSSDObjectDetector(preprocessedTrainingData,lgraph,options); / /设置检测器其他的%负载预训练检测器为例。pretrained =负载(“ssdResNet50VehicleExample_20a.mat”);探测器= pretrained.detector;结束
这个例子是在具有12gb内存的NVIDIA™Titan X GPU上验证的。如果你的GPU有更少的内存，你可能会耗尽内存。如果发生这种情况，降低'MiniBatchSize的使用trainingOptions函数。使用这个设置培训这个网络大约花了2个小时。训练时间取决于你使用的硬件。
作为一个快速测试，在一个测试图像上运行检测器。
data =阅读(testData);我={1 1}数据;我= imresize(我inputSize (1:2));[bboxes,分数]=检测(探测器,我,“阈值”, 0.4);
显示结果。
我= insertObjectAnnotation (,“矩形”bboxes,分数);图imshow(我)
使用测试集评估检测器
评估训练的目标检测器在一组大的图像，以衡量性能。计算机视觉工具箱™提供对象检测器评估功能，以测量常见的指标，如平均精度(evaluateDetectionPrecision)和日志平均遗漏率(evaluateDetectionMissRate)．对于本例，使用平均精度度量来评估性能。平均精度提供了一个单一的数字，该数字包含了探测器进行正确分类的能力(精度)和检测器找到所有相关对象的能力(回忆)．
对测试数据应用与训练数据相同的预处理转换。注意，数据扩充并不应用于测试数据。测试数据应能代表原始数据，且不作任何修改，以便进行公正的评估。
preprocessedTestData =变换(testData @(数据)preprocessData(数据、inputSize));
在所有测试图像上运行检测器。
detectionResults = detect(检测器，preprocestestdata，“阈值”, 0.4);
评估对象探测器使用平均精度度量。
[ap,recall,precision] = evaluateDetectionPrecision(detectionResults, preprocesedtestdata);
精度/召回(PR)曲线强调了探测器在不同召回级别上的精确程度。理想情况下，在所有召回级别上的精度都是1。使用更多的数据可以帮助提高平均精度，但可能需要更多的训练时间。
图绘制(召回、精密)包含(“回忆”) ylabel (“精度”网格)在标题(sprintf ('平均精度= %.2f'据美联社)),
代码生成
一旦检测器被训练和评估，您就可以为ssdObjectDetector使用GPU编码器™。有关详细信息，请参见基于单镜头多盒检测器的目标检测代码生成(计算机视觉工具箱)的例子。
金宝app支持功能
函数B = augmentData (A)%应用随机水平翻转和随机X/Y缩放。盒子,如果重叠大于0.25，则在边界外缩放的%被截断。同时,抖动图像颜色。B =细胞(大小(A));我= {1};深圳=大小(I);如果numel(sz)==3 && sz(3) ==3 I = jitterColorHSV(I，．..“对比”, 0.2,．..“颜色”0,．..“饱和”, 0.1,．..“亮度”, 0.2);结束%随机翻转和缩放图像。tform = randomAffine2d (“XReflection”,真的,“规模”1.1 [1]);tform溃败= affineOutputView(深圳,“BoundsStyle”，“CenterOutput”);B {1} = imwarp (tform,我“OutputView”,溃败);如有需要，对盒子进行消毒。A{2} = helperSanitizeBoxes(A{2}， sz);对方框应用相同的转换。[B{2},指数]= bboxwarp ({2}, tform溃败,“OverlapThreshold”, 0.25);B{3} ={3}(指标);%仅当所有的框被扭曲时返回原始数据。如果isempty(indices) B = A;结束结束函数targetSize data = preprocessData(数据)%调整图像和包围框的大小为targetSize。Sz = size(data{1}，[1 2]);规模= targetSize(1:2)。/深圳;{1} = imresize数据(数据{1},targetSize (1:2));如有需要，对盒子进行消毒。数据{2}= helperSanitizeBoxes(数据{2}，sz);%调整盒子。{2} = bboxresize数据(数据{2},规模);结束
参考文献
[1] Liu, Wei, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng Yang Fu, Alexander C. Berg。“SSD:单次发射多盒探测器。”第十四届欧洲计算机视觉大会，ECCV 2016。施普林格1 - 2016。
另请参阅
应用程序
功能
trainSSDObjectDetector(计算机视觉工具箱)|analyzeNetwork|结合|变换|evaluateDetectionPrecision(计算机视觉工具箱)|ssdLayers(计算机视觉工具箱)|trainingOptions|检测(计算机视觉工具箱)|读
对象
ssdObjectDetector(计算机视觉工具箱)|boxLabelDatastore(计算机视觉工具箱)|imageDatastore
相关的话题
- 基于单镜头多盒检测器的目标检测代码生成(计算机视觉工具箱)
- 创建SSD对象检测网络(计算机视觉工具箱)
- SSD Multibox检测入门(计算机视觉工具箱)
你也可以从以下列表中选择一个网站:
