仿真3D相机
三维仿真环境中带镜头的摄像机传感器模型
- 图书馆：
自动化驾驶工具箱/模拟3D
描述
这仿真3D相机块为带有3D仿真环境中的镜头的摄像机提供接口。使用虚幻引擎呈现此环境®来自史诗般的游戏®．该传感器是基于理想的针孔相机模型，添加一个镜头来代表一个完整的相机模型，包括镜头畸变。更多信息请参见算法．
如果你设置样品时间来－１中指定的样本时间仿真三维场景配置块。要使用此传感器，必须包含一个仿真三维场景配置块在您的模型中。
该块输出模拟过程中摄像机捕获的图像。您可以使用这些图像来可视化和验证您的驾驶算法。此外，对地面实况选项卡，您可以选择输出地面真实数据的选项，以开发深度估计和语义分割算法。您还可以在场景的世界坐标系中输出摄像机的位置和方向。该图像显示了启用了所有端口的块。
该表汇总了端口以及如何启用它们。
| 港口 | 描述 | 启用端口参数 | 样本可视化 |
|---|---|---|---|
图像 |
输出由相机捕获的RGB图像 | N/A |
|
深度 |
输出具有0米至1000米的值的深度图 |
输出深度 |
|
标签 |
输出与场景中对象对应的标签ID的语义分割映射 |
输出语义分割 |
|
位置 |
输出摄像机在世界坐标系中的位置 |
输出位置（M）和方向（RAD） |
N/A |
方向 |
在世界坐标系中输出摄像机的方向 |
输出位置（M）和方向（RAD） |
N/A |
笔记
这仿真三维场景配置块必须在仿真3D相机块。这样，虚幻引擎3D可视化环境准备数据之前仿真3D相机块收到它。要检查块执行顺序，请右键单击块并选择属性．在一般选项卡,确认这些优先事项设置:
仿真三维场景配置-
0.仿真3D相机-
1
有关执行顺序的更多信息，请参阅自动驾驶工作的虚幻发动机仿真如何．
港口
输出
参数
安装
传感器标识符- 独特的传感器标识符
1(默认)|正整数
唯一的传感器标识符，指定为一个正整数。在多传感器系统中，传感器标识符用于区分传感器。当您向模型添加一个新的传感器块时，传感器标识符是N+ 1。N是最高的传感器标识符模型中现有传感器块之间的值。
例子:2
父母名字- 安装传感器的父级名称
现场的起源（默认）|车辆名称
安装传感器的父级的名称，指定为现场的起源或者作为你模型中的一辆车的名字。可选择的车辆名称对应于的名字参数仿真3D车辆与地面跟踪模型中的块。如果您选择现场的起源，块将传感器放在场景源。
例子:金宝appSimulinkVehicle1
安装位置- 传感器安装位置
起源（默认）|前保险杠|后保险杠|正确的镜子|离开了镜子|后视镜|罩中心|屋顶中心
传感器安装位置。
当父母名字是
现场的起源，块将传感器安装到场景的原点。你可以设置安装位置来起源只要。在仿真期间，传感器保持静止。当父母名字是车辆的名称(例如，
金宝appSimulinkVehicle1）块将传感器安装到表中描述的预定义安装位置之一。在仿真期间，传感器与车辆行驶。
| 车辆安装位置 | 描述 | 相对于车辆原点的方向[滚，俯仰，偏航](度) |
|---|---|---|
起源 |
面向前置的传感器安装在车辆的几何中心，安装在地面上的车辆原点(见自动化驾驶工具箱中虚幻发动机仿真的坐标系）
|
(0, 0, 0) |
前保险杠 |
前置传感器安装在前保险杠上
|
(0, 0, 0) |
后保险杠 |
背面的传感器安装在后保险杠上
|
(0, 0, 180) |
正确的镜子 |
向下的传感器安装在右侧后视镜
|
[0，-90,0] |
离开了镜子 |
向下的传感器安装在左侧后视镜
|
[0，-90,0] |
后视镜 |
前向传感器安装在汽车内部的后视镜上
|
(0, 0, 0) |
罩中心 |
前向传感器安装在引擎盖的中心
|
(0, 0, 0) |
屋顶中心 |
前向传感器安装在车顶中央
|
(0, 0, 0) |
滚动，俯仰，和偏航是顺时针积极时，看在积极的方向X设在,y设在,Z.分别设在。当你从上往下看一个飞行器时，偏航角(即方向角)是逆时针正的，因为你看的是轴的负方向。
这 （X那y那Z.)传感器相对于车辆的安装位置取决于车辆类型。要指定车辆类型，请使用类型参数的仿真3D车辆与地面跟踪要将传感器安装到的块。如欲取得(X那y那Z.)的安装位置，请参阅有关该车的参考页。
要确定传感器在世界坐标中的位置，请打开传感器块。然后,在地面实况选项卡，选择输出位置（M）和方向（RAD）并检查数据位置输出端口。
指定偏移量-指定挂载位置的偏移量
从（默认）|在
选择此参数以指定从挂载位置开始的偏移量相对翻译[X, Y, Z] (m)和相对旋转[滚转，俯仰，偏航](度)参数。
相对翻译[X, Y, Z] (m)- 相对于安装位置的翻译偏移量
(0, 0, 0)(默认)|实值1 × 3向量
平移偏移相对于传感器的安装位置，指定为形式的实际值1-3向量[X那y那Z.]．单位是米。
如果你通过设置将传感器安装到车辆上父母名字那就查查那辆车的名字X那y,Z.为车辆坐标系，其中:
这X-轴指向车辆前方。
这y- 在车辆向前方向时观察到车辆左侧的轴向点。
这Z.设在点。
控件中指定的挂载位置为原点安装位置范围。该起源与车辆来源不同，这是车辆的几何中心。
如果你通过设置将传感器安装到场景原点父母名字来现场的起源， 然后X那y,Z.都在场景的世界坐标中。
有关车辆和世界坐标系的更多详细信息，请参阅自动化驾驶工具箱中虚幻发动机仿真的坐标系．
例子:(0, 0, 0.01)
依赖关系
要启用此参数，请选择指定偏移量．
相对旋转[滚转，俯仰，偏航](度)- 相对于安装位置的旋转偏移
(0, 0, 0)(默认)|实值1 × 3向量
相对于传感器安装位置的旋转偏移量，指定为形式为[卷那沥青那偏航]。滚动，俯仰和偏航是关于旋转的角度X-，y-， 和Z.分别。单位是度数。
如果你通过设置将传感器安装到车辆上父母名字那就查查那辆车的名字X那y,Z.为车辆坐标系，其中:
这X-轴指向车辆前方。
这y- 在车辆向前方向时观察到车辆左侧的轴向点。
这Z.设在点。
卷起，沥青和横摆在沿前向方向时是顺时针阳性的X设在,y设在,Z.分别设在。如果从2D自上而下的角度查看场景，那么逆时针方向横摆角（也称为方向角），因为您正在在负方向上查看场景Z.设在。
控件中指定的挂载位置为原点安装位置范围。该起源与车辆来源不同，这是车辆的几何中心。
如果你通过设置将传感器安装到场景原点父母名字来现场的起源， 然后X那y,Z.都在场景的世界坐标中。
有关车辆和世界坐标系的更多详细信息，请参阅自动化驾驶工具箱中虚幻发动机仿真的坐标系．
例子:(0, 0, 10)
依赖关系
要启用此参数，请选择指定偏移量．
样品时间——样品时间
－１（默认）|正标量
块的采样时间以秒为单位，指定为正标量。3D仿真环境帧速率是采样时间的倒数。
如果您将采样时间设置为－１，则块从仿真三维场景配置块。
参数
这些相机的固有参数等价于acameraIntrinsics（电脑视觉工具箱）对象。要获得相机的内在参数，请使用相机校准器（电脑视觉工具箱）应用程序。
焦距(像素)-相机焦距
[1109,1109](默认)| 1 × 2正整数向量
相机的焦距，指定为1乘2的正整数矢量，形式为[FX.那f]．单位是像素。
FX.=F×sx
f=F×sy
在哪里：
F焦距是世界单位，通常是毫米。
[sx那sy]是每个世界单位的像素数X和y方向,分别。
此参数等价于焦点（电脑视觉工具箱）A的财产cameraIntrinsics对象。
光学中心(像素)-相机光学中心
(640、360)(默认)| 1 × 2正整数向量
相机的光学中心，指定为一个1乘2的正整数矢量，形式为[CX.那CY.]．单位是像素。
此参数等价于PrincipalPoint（电脑视觉工具箱）A的财产cameraIntrinsics对象。
图像尺寸(像素)-相机产生的图像大小
[720,1280](默认)| 1 × 2正整数向量
相机产生的图像大小，指定为1乘2的正整数矢量，格式为[mrows那ncols]．单位是像素。
此参数等价于图片大小（电脑视觉工具箱）A的财产cameraIntrinsics对象。
径向失真系数- 径向失真系数
(0,0)(默认)|实值1 × 2非负向量|实值的1-by-3非负载体
径向畸变系数，指定为实数的1 × 2或1 × 3非负向量。当光线在透镜边缘的弯曲程度超过其光学中心时，就会发生径向畸变。镜头越小，失真越大。该块计算一个点的径向扭曲位置。单位是无量纲的。
此参数等价于RadialDistors.（电脑视觉工具箱）A的财产cameraIntrinsics对象。
切向畸变系数-切向畸变系数
(0,0)(默认)|实值1 × 2非负向量
切向失真系数，被指定为真实值的1×2非负向量。当透镜和图像平面不平行时发生切向失真。坐标以世界单位表示。单位是无量纲的。
此参数等价于TangentialDistortion（电脑视觉工具箱）A的财产cameraIntrinsics对象。
轴倾斜- 相机轴的歪斜角度
0.(默认)|非负标量
相机轴的倾斜角度，指定为非负标量。如果X设在和y-axis正垂直，那么歪斜必须是0.．单位是无量纲的。
此参数等价于歪斜（电脑视觉工具箱）A的财产cameraIntrinsics对象。
地面实况
输出深度- 输出深度图
从（默认）|在
选择此参数以在深度端口。
输出语义分割- 标签ID的输出语义分割映射
从（默认）|在
选择此参数以输出标签ID的语义分段图标签端口。
输出位置（M）和方向（RAD）-传感器输出位置和方向
从（默认）|在
选择此参数以输出传感器的位置和方向位置和方向端口,分别。
尖端
可视化由输出的相机图像图像端口,使用一个视频查看器（电脑视觉工具箱）或视频显示（电脑视觉工具箱）块。
控件输出的深度和语义分割映射深度和标签港口,请参阅利用虚幻发动机仿真的深度和语义分割可视化的例子。
由于虚幻引擎可能需要很长时间才能在模拟之间开始，因为考虑记录传感器输出的信号。然后，您可以使用此数据在MATLAB中开发感知算法®．看配置日志信号（金宝appSimulink）．
您也可以使用视频文件保存图像数据到多媒体文件（电脑视觉工具箱）块。有关此设置的示例，请参阅利用虚幻引擎模拟环境设计车道标记器．
算法
该块使用Jean-Yves Bougeet提出的相机模型[1]．该模型包括:
针孔相机模型不考虑透镜畸变，因为一个理想的针孔相机没有透镜。为了准确地表示一个真实的相机，整个相机模型使用的块包括径向和切向镜头畸变。
更多信息请参见什么是相机校准?（电脑视觉工具箱）
参考
[1] Bouguet，J. Y.Matlab的相机校准工具箱．http://www.vision.caltech.edu/bouguetj/calib_doc
[2]张，Z.“相机校准的灵活新技术。”图案分析和机器智能的IEEE交易．卷。22，第11,2000，PP。1330-1334。
[3]海克拉，J.和O. Silven。带有隐式图像校正的四步摄像机校准程序计算机视觉与模式识别国际会议．1997.
也可以看看
块
应用程序
- 相机校准器（电脑视觉工具箱）
对象
cameraIntrinsics（电脑视觉工具箱）
话题
- 虚拟引擎模拟自动驾驶
- 自动化驾驶工具箱中虚幻发动机仿真的坐标系
- 为虚幻引擎模拟选择一个传感器
- 什么是相机校准?（电脑视觉工具箱）
- 立体视频深度估计（电脑视觉工具箱）
- 利用深度学习的语义分割（电脑视觉工具箱）
你也可以从以下列表中选择一个网站:
