主要内容

仿真三维视觉检测生成器

在三维仿真环境中通过测量来检测物体和车道

  • 库:
  • 自动驾驶工具箱/仿真3D

  • 仿真3D视觉检测发生器模块

描述

仿真三维视觉检测生成器block通过安装在3D仿真环境中的ego车辆上的视觉传感器所进行的摄像机测量产生检测。这个环境是使用虚幻引擎渲染的®从史诗般的游戏®。该块从基于场景中演员长方体(长方体)表示的模拟演员姿势中获取检测。有关更多详细信息,请参阅算法

该块以等于传感器更新间隔的时间间隔产生检测。检测参考传感器的坐标系统。该块可以模拟真实的检测,添加了随机噪声,也产生假阳性检测。统计模型产生测量噪声、真检测和假阳性。控件上的随机数生成器设置可控制统计模型生成的随机数测量块的选项卡。

如果你设置采样时间-1,块使用中指定的采样时间模拟3D场景配置块。要使用这个传感器,你必须包括一个模拟3D场景配置块在模型中。

模拟3D场景配置块必须在仿真三维视觉检测生成器块这样,Unreal Engine 3D可视化环境会在测试之前准备好数据仿真三维视觉检测生成器block收到它。若要检查块执行顺序,请右键单击块并选择性质.在一般的选项卡,确认这些优先级设置:

  • 模拟3D场景配置- - - - - -0

  • 仿真三维视觉检测生成器- - - - - -1

有关执行顺序的详细信息,请参见虚幻引擎模拟自动驾驶是如何工作的

限制

仿真三维视觉检测生成器块未检测到中的车道虚拟Mcity现场。

港口

输出

全部展开

对象检测,返回一个包含MATLAB结构的Simulink总线。金宝app有关总线的详细信息,请参见创建非虚拟总线(金宝app模型).该结构具有表中所示的形式。

描述 类型
NumDetections 数量的检测 整数
有效时间 在块调用间隔之间请求更新时为False 布尔
检测 目标检测 对象检测结构数组,长度由报告的最大检测数参数。仅限NumDetections这些探测都是实际的探测。

对象检测结构包含这些属性。

财产 定义
时间 测量时间
测量 对象的测量
测量噪声 测量噪声协方差矩阵
传感器指数 传感器的唯一ID
ObjectClassID 对象分类
ObjectAttributes 附加信息传递给跟踪器
测量参数 非线性卡尔曼跟踪滤波器初始化函数所使用的参数

测量现场报告的位置和速度的测量在传感器的坐标系统。该字段是一个实值列向量,形式为xyzvx威利vz].这个测量噪声字段是一个6乘6的矩阵,用于报告数据集中每个坐标的测量噪声协方差测量字段。

测量参数Field是一个包含这些字段的结构。

参数 定义
框架 枚举类型,指示用于报告度量的帧。的仿真三维视觉检测生成器块在传感器笛卡尔坐标系中报告检测,笛卡尔坐标系是直角坐标系。所以这个街区,,框架总是设置为“矩形”
OriginPosition 传感器原点与ego车辆原点的偏移量,作为形式的向量返回[xyz]。该块从xy,及z传感器的安装位置。有关更多详细信息,请参阅越来越多的该块的参数。
取向 传感器坐标系相对于自我车辆坐标系的方向,返回为一个3 × 3实值标准正交矩阵。块从偏航,及传感器的安装方向。有关更多详细信息,请参阅越来越多的该块的参数。
HasVelocity 指示测量值是否包含速度。

ObjectClassID每个检测的属性都有一个对应于对象ID的值。该表显示了可从中选择的默认场景中使用的对象ID模拟3D场景配置块如果使用的是自定义场景,则在“不真实”中®编辑器中,您可以将新的对象类型分配给未使用的id。如果场景中包含一个没有指定ID的对象,则该对象的ID被分配为0。该块仅检测类别的对象车辆,例如使用模拟3D车辆与地面跟踪块,或类

ID 类型
0

没有/违约

1

建筑

2

不用

3.

其他

4

不用

5

6

不用

7

8

人行道

9

植被

10

车辆

11

不用

12

通用的交通标志

13

停车标志

14

屈服标志

15

限速标志

16

重量限制标志

17-18

不用

19

左右箭头警告标志

20

左人字形警告标志

21

右人字形警告标志

22

不用

23

对单向信号

24

不用

25

校车专用标志

26-38

不用

39

人行横道标志

40

不用

41

交通信号

42

右转弯警告标志

43

左转弯警告标志

44

右上箭头警告标志

45-47

不用

48

铁路道口标志

49

路标

50

迂回的预警信号

51

消防栓

52

出口标志

53

自行车道标志

54-56

不用

57

天空

58

抑制

59

立交匝道

60

道路护栏

61 - 66

不用

67

鹿

68 - 70

不用

71

街垒

72

摩托车

73-255

不用

ObjectAttributes每个检测的属性都是具有这些字段的结构。

定义
目标指数 参与者的标识符,阿克托里德,这就产生了检测。对于错误警报,此值为负值。

依赖关系

要启用此输出端口,请在参数选项卡,设置传感器生成的检测类型参数车道和物体仅对象闭塞车道

车道边界检测,作为包含MATLAB结构的Simulink总线返回。该结构包含以下金宝app字段。

描述 类型
时间 车道检测时间 真正的标量
有效时间 在块调用间隔之间请求更新时为False 布尔
传感器指数 传感器的唯一标识符 正整数
NumLaneBoundaries 车道边界检测次数 非负整数
LaneBoundaries 车道边界检测 的数组clothoidLaneBoundary对象

依赖关系

要启用此输出端口,请在参数选项卡,设置传感器生成的检测类型参数车道和物体仅车道闭塞车道

演员在模拟环境中姿势的地面真实性,作为包含MATLAB结构的Simulink总线返回。金宝app

该结构具有这些字段。

描述 类型
NumActors 许多演员 非负整数
时间 当前模拟时间 实值标量
演员 演员的姿势 NumActors-长度数组的演员姿势结构

每一个演员的姿势结构都是相同的演员有这些字段。

描述
阿克托里德

场景定义的参与者标识符,指定为一个正整数。

位置

参与者的位置,指定为形式的实值向量[xyz].单位是米。

速度

速度(v)电影中的演员x-y-,及z-方向,指定为形式的实值向量[vxvyvz].单位是米每秒。

作用器的滚转角,指定为实值标量。单位是度。

投球

作用器的俯仰角,指定为实值标量。单位是度。

偏航

参与者的偏航角,指定为实值标量。单位以度为单位。

角速度

角速度(ω)电影中的演员x-,y-,及z-方向,指定为形式的实值向量[ωxωyωz].单位是每秒度。

自我载体的姿态被排除在演员数组。

依赖关系

要启用此输出端口,请在地面实况选项卡中,选择输出演员真理参数。

模拟环境中车道边界的地面真实值,作为包含MATLAB结构的Simulink总线返回。金宝app

该结构具有这些字段。

描述 类型
NumLaneBoundaries 车道边界数 非负整数
时间 当前模拟时间 真正的标量
LaneBoundaries 车道边界 NumLaneBoundaries车道边界结构的长度数组

各车道边界结构在LaneBoundaries有这些字段。

描述

坐标

车道边界坐标,指定为实值N-by-3矩阵,其中N是车道边界坐标数。车道边界坐标定义了沿道路中心,距离车辆指定纵向距离处边界上点的位置。

  • 在MATLAB中,使用“XDistance”的名称-值对参数laneBoundaries函数。

  • 在Si金宝appmulink中,使用计算边界的自我车辆距离(m)参数场景的读者块或计算车道边界的距离参数仿真三维视觉检测生成器块。

这个矩阵还包括与自我飞行器零距离处的边界坐标。这些坐标是左和右的自我车辆原点,这是位于中心的后桥。单位是米。

弯曲度

每一行的线边界曲率坐标矩阵,指定为实值N-by-1向量。N为车道边界坐标的个数。单位是弧度/米。

CurvatureDerivative

的每一行的车道边界曲率的导数坐标矩阵,指定为实值N-by-1向量。N为车道边界坐标的个数。单位是弧度每平方米。

头角

初始航道边界航向角,指定为实标量。车道边界的航向角是相对于自我的车辆航向的。单位是度。

侧向偏移

车道边界与车辆位置之间的距离,指定为实标量。与车辆左侧车道边界的偏移为正。车辆右侧的偏移量为负值。单位以米为单位。

边界类型

车道边界标记的类型,指定为以下值之一:

  • “无标记”—不存在物理车道标志

  • “固体”-单行不间断

  • “冲”-单线虚线车道标记

  • “DoubleSolid”-两条不间断的线

  • “DoubleDashed”-两条虚线

  • “虚线”—左侧实线,右侧虚线

  • “DashedSolid”-左边是虚线,右边是实线

强度

车道边界标记的饱和强度,指定为0到1之间的实标量。值为0对应于颜色完全不饱和的标记。该标记为灰色。值为1对应于颜色完全饱和的标记。

宽度

车道边界宽度,指定为正实标量。在双线车道标记中,两条线以及线与线之间的空间使用相同的宽度。单位是米。

长度

虚线中虚线的长度,指定为正实标量。在双线车道标记中,两线使用相同的长度。

空间

虚线中虚线之间的空格长度,指定为正实标量。在虚线双线车道标记中,两行使用相同的空间。

返回车道边界结构的数量取决于报告车道的最大数量参数值。

依赖关系

要启用此输出端口,请在地面实况选项卡中,选择输出通道真理参数。

参数

全部展开

越来越多的

唯一的传感器标识符,指定为正整数。在多传感器系统中,传感器标识符区分传感器。当您添加一个新的传感器块到您的模型,传感器标识符这个区块的核心是N+ 1。N是最高的传感器标识符模型中现有传感器块之间的值。

例子:2

传感器安装到的父组件的名称,指定为场景来源或者作为模型中的车辆名称。您可以选择的车辆名称对应于名称参数模拟3D车辆与地面跟踪块在您的模型中。如果您选择场景来源,块将传感器放置在场景原点。

例子:金宝appSimulinkVehicle1

传感器安装位置。

  • 什么时候?父母的名字场景来源,该模块将传感器安装到场景的原点。您可以设置安装位置起源只有。在仿真过程中,传感器保持静止。

  • 什么时候?父母的名字是车辆的名称(例如,金宝appSimulinkVehicle1)块将传感器安装到表中描述的预定义安装位置之一。在模拟过程中,传感器随车辆移动。

车辆安装位置 描述 相对于车辆原点的方向[侧倾、俯仰、偏航](度)
起源

前向传感器安装在车辆几何中心的地面车辆原点上(见自动驾驶工具箱中虚幻引擎仿真的坐标系统

[0, 0, 0]
前保险杠

前置传感器安装在前保险杠上

[0, 0, 0]
后保险杠

后置传感器安装在后保险杠

[0, 0, 180]
正确的镜子

安装在右侧后视镜上的向下传感器

-90年[0,0]
离开了镜子

安装在左侧视镜上的向下传感器

-90年[0,0]
后视镜

安装在汽车内部后视镜上的前向传感器

[0, 0, 0]
罩中心

前向传感器安装在引擎盖的中心

[0, 0, 0]
屋顶中心

安装在车顶中心的前向传感器

[0, 0, 0]

横摇、俯仰和偏航为顺时针正方向,当从正方向观察时X设在,Y-轴线,以及Z分别设在。当从上往下看飞行器时,偏航角(即方向角)是逆时针正的,因为你是在轴的负方向上看。

(XYZ)传感器相对于车辆的安装位置取决于车辆类型。要指定车辆类型,使用类型参数模拟3D车辆与地面跟踪正在安装传感器的模块。取得(XYZ)车辆类型的安装位置,请参见该车辆的参考页。

要确定传感器在世界坐标中的位置,请打开传感器块。然后,在地面实况选项卡,选择输出位置(m)和方向(rad)并检查来自位置输出端口。

选择此参数可通过使用相对平移[X,Y,Z](m)相对旋转[横摇,俯仰,偏航](deg)参数。

相对于传感器安装位置的平移偏移,指定为形式的实值1×3矢量[XYZ].单位是米。

如果通过设置将传感器安装到车辆上父母的名字和那辆车的名字有关XY,及Z为车辆坐标系,其中:

  • X-轴指向车辆前方。

  • Y-轴指向车辆的左边,当观察车辆的前进方向时。

  • Z设在点。

原点是中指定的安装位置安装位置参数。此原点与车辆原点不同,车辆原点是车辆的几何中心。

如果通过设置将传感器安装到场景原点父母的名字场景来源那么XY,及Z都在现场的世界坐标中。

有关车辆和世界坐标系的详细信息,请参见自动驾驶工具箱中虚幻引擎仿真的坐标系统

例子:(0, 0, 0.01)

依赖关系

要启用此参数,请选择指定偏移量

相对于传感器安装位置的旋转偏移,指定为形式的实值1×3矢量[投球偏航] .横摇、俯仰和偏航是飞行器的旋转角度X-,Y-,及Z-轴。单位为度。

如果通过设置将传感器安装到车辆上父母的名字和那辆车的名字有关XY,及Z为车辆坐标系,其中:

  • X-轴指向车辆前方。

  • Y-轴指向车辆的左边,当观察车辆的前进方向时。

  • Z设在点。

  • 滚动,俯仰和偏航是顺时针正时,看向前的方向X设在,Y-轴线,以及Z-如果从2D自上而下的透视图查看场景,则偏航角(也称为方向角)为逆时针正,因为您是在视图的负方向查看场景Z设在。

原点是中指定的安装位置安装位置参数。此原点与车辆原点不同,车辆原点是车辆的几何中心。

如果通过设置将传感器安装到场景原点父母的名字场景来源那么XY,及Z都在现场的世界坐标中。

有关车辆和世界坐标系的详细信息,请参见自动驾驶工具箱中虚幻引擎仿真的坐标系统

例子:[0,0,10]

依赖关系

要启用此参数,请选择指定偏移量

块的采样时间(秒),指定为正标量。3D仿真环境帧速率与采样时间成反比。

如果将采样时间设置为-1,块从模拟3D场景配置块。

参数

检测报告

传感器生成的检测类型,指定为以下选项之一:

  • 车道和物体-探测车道和物体。没有道路信息被用来遮挡行动者。

  • 仅对象—只检测对象。

  • 仅车道-仅检测车道。

  • 闭塞车道-检测车道和物体。摄像机视野中的物体会削弱传感器检测车道的能力。

传感器报告的最大检测数,指定为正整数。检测数的报告顺序为增加与传感器的距离,直到达到最大值为止。

例子:100

报告的最大车道数,指定为正整数。

例子:100

用于计算车道边界的父帧的距离,指定为N-元素实值向量。N是距离值的数目。N不应超过100。单位是米。

是安装传感器的框架,如ego车辆。这个父母的名字参数确定父帧。距离相对于父帧的原点。

从后向摄像头检测车道时,请指定负距离。从正面摄像头检测车道时,请指定正距离。

默认情况下,在距离父节点0到9.5米的范围内,该块每0.5米计算一次车道边界。

例子:1:0.1:10每0.1米计算一个车道边界,范围从1到10米的父。

输出端口设置

对象总线名称的来源,指定为汽车财产.如果您选择汽车,块创建一个总线名。如果您选择财产,通过使用对象总线名称参数。

对象总线名称,指定为有效的总线名称。

依赖关系

要启用此参数,请设置对象总线名称的来源参数财产

输出车道总线名称的来源,指定为汽车财产.如果您选择汽车,块创建一个总线名。如果您选择财产,通过使用指定输出车道总线名称参数。

车道总线名称,指定为有效的总线名称。

依赖关系

要启用此参数,请设置输出车道总线名称的来源参数财产

测量

最大检测距离,指定为正实标量。视觉传感器无法检测超出此范围的物体。单位是米。

例子:250

对象探测器设置

边界框精度,指定为正实标量。该数量定义了探测器可以将边界框与目标匹配的精度。单位以像素为单位。

例子:9

用于过滤位置和速度测量的噪声强度,指定为正实标量。噪声强度定义视觉传感器中使用的内部恒速卡尔曼滤波器过程噪声的标准偏差。该滤波器采用分段恒定白噪声加速模型对过程噪声进行建模。噪声强度通常为目标预期的最大加速度量级。单位为米/秒平方。

例子:2

可探测物体的最大速度,指定为非负实标量。单位是米每秒。

例子:20

对象允许的最大遮挡,指定为[0 1]范围内的实标量。闭塞是传感器看不见的物体总表面积的分数。值为1表示物体被完全遮挡。单位为无量纲。

例子:0.2

视觉传感器在图像中检测到的物体的最小高度和宽度,指定为[最小高度,最小宽度]正值向量。对象的二维投影高度必须大于或等于minHeight.物体的投影宽度必须大于或等于最小宽度.单位是像素。

例子:[25 20]

检测目标的概率,指定为小于或等于1的正实标量。该量定义了传感器检测到可检测物体的概率。A可探测物体是满足最小可检测大小、最大范围、最大速度和最大允许遮挡约束的对象。

例子:0.95

每幅图像由视觉传感器产生的错误检测数,指定为非负实标量。

例子:1

莱恩探测器设置

在考虑曲率后,传感器可以检测到的摄像机图像中投影车道标记的最小尺寸,指定为形式的1×2实值向量[minHeight, minWidth]。车道标记必须超过这两个值才能检测。单位为像素。

车道边界的精度,指定为正实标量。此参数定义车道传感器放置车道边界的精度。单位以像素为单位。

例子:2.5

随机数发生器设置

选择此参数将噪声添加到视觉传感器测量中。否则,测量是无噪声的。的测量噪声始终计算每个检测的属性,并且不受为检测指定的值的影响在测量中添加噪声参数。

方法设置随机数生成器种子,该种子指定为表中的选项之一。

选项 描述
可重复的

该块为第一次模拟生成一个随机初始种子,并在所有后续模拟中重用该种子。选择此参数可从统计传感器模型生成可重复的结果。要更改这个初始种子,请在MATLAB命令提示符处输入:清除所有

指定种子 为可重复的结果指定您自己的随机初始种子使用最初的种子参数。
不可重复 该块在每次模拟运行后生成一个新的随机初始种子。选择此参数可从统计传感器模型生成不可重复的结果。

随机数生成器种子,指定为小于2的非负整数32

例子:2001

依赖关系

要启用此参数,请设置选择方法以指定初始种子参数指定种子

相机本质

相机焦距,以像素为单位,指定为二元实值向量。看到也焦距性质cameraIntrinsics

例子:[480,320]

摄像机的光学中心,以像素为单位,指定为两元素实值向量。另请参见主点性质cameraIntrinsics

例子:[480,320]

摄像机产生的图像大小,以像素为单位,指定为正整数的两元素向量。另请参见图像大小性质cameraIntrinsics

例子:[240320]

径向畸变系数,指定为二元或三元实值向量。有关设置这些系数的详细信息,请参见径向畸变性质cameraIntrinsics

例子:[1]

切向失真系数,指定为两元素实值向量。有关设置这些系数的详细信息,请参见TangentialDistortion性质cameraIntrinsics

例子:[1]

摄像机轴的倾斜角度,指定为实标量。看到也性质cameraIntrinsics

例子:0.1

地面实况

选择此参数以输出屏幕上参与者的基本真实值演员的真理输出端口。

选择此参数输出车道边界的地面真相车道真相输出端口。

提示

  • 该传感器无法从过于接近地面的有利位置探测车道和物体。将传感器块安装到车辆上后,使用父母的名字参数,设置安装位置参数到车辆上预定义的安装位置之一。

    如果你离开安装位置着手起源,将传感器安装在车辆中心下方的地面上,然后指定离地至少0.1米的偏移量。挑选指定偏移量,在相对平移[X,Y,Z](m)参数,设定一个Z至少值0.1

  • 要可视化检测和传感器覆盖区域,请使用鸟瞰的范围.看到虚拟发动机模拟环境中的传感器数据可视化

  • 由于虚拟引擎可能需要很长时间才能在模拟之间启动,请考虑记录传感器输出的信号。请参阅配置用于记录的信号(金宝app模型)

算法

为了生成检测,仿真三维视觉检测生成器块将从虚幻引擎模拟环境读取的演员和车道地面真实数据馈送到视觉检测发电机块。此块返回基于actor的长方体或盒形表示的检测。检测到的角色的物理维度并不基于它们在虚幻引擎环境中的维度。控件中设置的默认值演员简介的“参数”选项卡视觉检测发电机块,如图所示选择方法以指定参与者概要文件参数设置为参数.使用这些默认值,所有参与者的大小大约是一辆轿车的大小。如果你返回有遮挡的检测,那么遮挡是基于所有参与者的这个大小。

在R2020b中引入