这个例子展示了如何在Simulink®模型中使用深度卷积神经网络来执行车道和车辆检测。金宝app本例以交通视频中的帧作为输入,输出两个车道边界,分别对应ego车辆的左右车道,并检测帧中的车辆。
本例使用预先训练的车道检测网络基于GPU编码器的车道检测优化GPU编码器工具箱™的示例。有关更多信息,请参见基于GPU编码器的车道检测优化(GPU编码器).
本例还使用了预先训练的车辆检测网络使用YOLO v2进行对象检测计算机视觉工具箱的示例™。有关更多信息,请参见使用YOLO v2进行对象检测(计算机视觉工具箱).
给出了Simulink模型的算法流程框图。金宝app
本示例使用trainedLaneNet
和yolov2ResNet50VehicleExample
包含预先训练的网络的mat文件。文件大小分别约为143MB和98MB。从MathWorks网站下载这些文件。
lanenetFile = matlab.internal.examples.download金宝appSupportFile (“gpucoder / cnn_models / lane_detection”,“trainedLaneNet.mat”);vehiclenetFile = matlab.internal.examples.download金宝appSupportFile (“视觉/数据”,“yolov2ResNet50VehicleExample.mat”);
为了测试模型,该示例使用了Caltech车道数据集。文件大小约为16mb。从MathWorks网站下载这些文件。
mediaFile = matlab.internal.examples.download金宝appSupportFile (“gpucoder /媒体”,“caltech_washington1.avi”);
给出了对金宝app交通视频进行车道和车辆检测的Simulink模型。当模型运行时,视频查看器
Block显示带有车道和车辆标注的交通视频。
open_system (“laneAndVehicleDetectionMDL”);
在Simulink模型的预测块和检测器块中设置下载网络模型的文件路径。金宝app设置Simulink模型加载的测试视频的位置。金宝app
set_param (“laneAndVehicleDetectionMDL /车道检测”,“NetworkFilePath”lanenetFile) set_param (“laneAndVehicleDetectionMDL /车辆检测器”,“DetectorFilePath”vehiclenetFile) set_param (“laneAndVehicleDetectionMDL /交通视频”,“inputFileName”mediaFile)
对于车道检测,对交通视频进行预处理,将视频的每帧大小调整为227 × 227 × 3,然后将其缩放为255倍。预处理后的帧被输入到trainedLaneNet.mat
网络加载在预测
区块从深度学习工具箱™。该网络以图像为输入输出两个车道边界,分别对应自我车辆的左右车道。每条车道边界用抛物方程表示:
这里y是横向偏移,x是到车辆的纵向距离。网络输出每个车道的三个参数a、b和c。网络架构类似于AlexNet
除了最后几层被一个更小的完全连接层和回归输出层所取代。的车道检测坐标
MATLAB函数块定义了一个函数lane_detection_coordinates
从预测块中获取输出输出三个参数;laneFound
,ltPts
,rtPts
.阈值用于确定是否同时找到左车道和右车道边界。如果两者都找到了,laneFound
是否设置为真,边界的轨迹被计算并存储在其中ltPts
和rtPts
分别。
类型lane_detection_coordinates
function [laneFound,ltPts,rtPts] = lane_detection_coordinates(laneNetOut) % Copyright 2020-2021 The MathWorks, Inc. persistent laneCoeffMeans;if isempty(laneCoeffMeans) laneCoeffMeans = [-0.0002,0.0002,1.4740,-0.0002,0.0045,-1.3787];结束持久laneCoeffStds;if is空(laneCoeffStds) laneCoeffStds = [0.0030,0.0766,0.6313,0.0026,0.0736,0.9846];end params = laneNetOut .* laneCoeffStds + laneCoeffMeans;isRightLaneFound = abs(params(6)) > 0.5;isLeftLaneFound = abs(params(3)) > 0.5;持久vehicleXPoints;if isempty(vehicleXPoints) vehicleXPoints = 3:30;ltPts = code .nullcopy(zeros(28,2,'single')); rtPts = coder.nullcopy(zeros(28,2,'single')); if isRightLaneFound && isLeftLaneFound rtBoundary = params(4:6); rt_y = computeBoundaryModel(rtBoundary, vehicleXPoints); ltBoundary = params(1:3); lt_y = computeBoundaryModel(ltBoundary, vehicleXPoints); % Visualize lane boundaries of the ego vehicle tform = get_tformToImage; % Map vehicle to image coordinates ltPts = tform.transformPointsInverse([vehicleXPoints', lt_y']); rtPts = tform.transformPointsInverse([vehicleXPoints', rt_y']); laneFound = true; else laneFound = false; end end
本例使用基于YOLO v2的网络进行车辆检测。YOLO v2对象检测网络由特征提取网络和检测网络两个子网组成。这个预先训练的网络使用ResNet-50
特征提取。与特征提取网络相比,检测子网络是一个较小的CNN,由几个卷积层和针对YOLO v2的层组成。
Simu金宝applink模型使用对象探测器
块从计算机视觉工具箱。该块将图像作为输入,并输出边界框坐标以及图像中车辆的置信度分数。
的行车线及车辆注释
MATLAB函数块定义了一个函数lane_vehicle_annotation
它标注了车辆的边界框和置信度得分。如果laneFound
是真的吗,那么左右车道的边界存储在哪里呢ltPts
和rtPts
都覆盖在交通视频上。
类型lane_vehicle_annotation
if ~isempty(bboxes) In = insertObjectAnnotation(In, 'rectangle',bboxes,scores);End PTS =编码器。nullcopy(0(28 4 '单'));if laneFound prevpt = [ltPts(1,1) ltPts(1,2)]; / /将数据保存for k = 2:1:28 pts(k,1:4) = [prevpt ltPts(k,1) ltPts(k,2)];prevpt = [ltPts(k,1) ltPts(k,2)];end In = insertShape(In, 'Line', pts, 'LineWidth', 2);prevpt = [rtPts(1,1) rtPts(1,2)];for k = 2:1:28 pts(k,1:4) = [prevpt rtPts(k,1) rtPts(k,2)];prevpt = [rtPts(k,1) rtPts(k,2)]; end In = insertShape(In, 'Line', pts, 'LineWidth', 2); In = insertMarker(In, ltPts); In = insertMarker(In, rtPts); end end
为了验证车道和车辆检测算法,并显示Simulink模型中加载的交通视频的车道轨迹、车辆包围盒和分数,运行仿真。金宝app
set_param (“laneAndVehicleDetectionMDL”,“SimulationMode”,“正常”);sim卡(“laneAndVehicleDetectionMDL”);
在Windows®上,260个字符的最大路径长度可能导致“文件未找到”
运行模拟时的错误。在这种情况下,将示例文件夹移动到另一个位置或在Windows中启用长路径。有关更多信息,请参见最大路径长度限制(Microsoft).
如果您有一个支持AVX2指令的Intel®CPU,您可以使用金宝app深度学习库的MATLAB编码器接口使用Intel MKL-DNN库加速仿真。在“模型配置参数”窗口的“模拟目标”窗格中,将“语言”设置为c++
和目标库MKL-DNN
.
使用GPU编码器,您可以加速模型在NVIDIA®GPU上的执行,并为模型生成CUDA®代码。有关更多信息,请参见执行车道和车辆检测的深度学习Simulink模型的代码生成金宝app(GPU编码器).