距离门控成像水下3D摄像机的研制
作者:延斯·蒂勒曼,彼得·里泽姆,卡尔·h·豪霍尔特,SINTEF
水下光学成像有潜力提供比声纳更高分辨率的图像。然而,这些图像的清晰度取决于水质。在浑浊的水中,主动照明(在低光环境下使用)导致后向散射或者是水中粒子的光反射回相机的效果(同样的效果使雾中难以驾驶)。
为了应对这一挑战,SINTEF与欧盟各地的合作伙伴合作开发了一种用于浑浊环境的成像系统UTOFIA(图1)。
UTOFIA相机以每秒10-20帧的速度提供3D图像,范围达15米,在300米深的地方分辨率为1厘米。它使用距离门控成像(见侧栏)来最小化后向散射的影响,并获得其视场内对象的距离信息(图2)。
我们开发了算法来处理来自相机的原始数据,并生成无后向散射的3D图像。我们在一个新的领域工作,我们需要快速测试新的想法。感谢MATLAB的集成环境®在其强大的可视化支持下,我们能够尝试40多种不同的方法和技术。金宝app在Python中®或者c++,每一个实现和测试都将花费更长的时间,我们不太可能有时间测试超过几个。
距离选通脉冲成像
距离门控成像使用的是由频闪激光产生的纳秒长的光脉冲,而不是用恒定的光流照射目标。从目标前面的粒子反射回来的光比从目标本身反射回来的光稍早一点回到相机。我们可以通过控制相机快门来抑制后向散射,只捕捉目标反射的光,而水中粒子反射的光很少(图3)。此外,我们可以通过测量单个光脉冲的飞行时间并除以光速来准确确定到目标的距离。
初始数据分析和峰值检测
与标准数码相机产生2D像素阵列不同,我们的相机产生3D立方体阵列,每个立方体上的记录值表示在视场中特定位置和与相机特定距离处反射的光强度。为了从相机生成的千兆字节数据中提取有用的图像,我们的算法必须识别这些强度值中的峰值(图4)。外部因素会影响峰值的位置,水中的散射会引入假峰值。这降低了结果图像的清晰度和3D重建的质量。
为了了解起作用的机制,我们对各种水浑浊度和相机设置的数据进行了广泛的统计分析。这些分析包括建立后向散射的经验模型,研究前向散射的特性,以及建立探测器响应特性的模型。
我们还开发了一个MATLAB应用程序来自动化和控制数据捕获过程(图5)。该应用程序包括控制脉冲扫描的接口元素和用于配置捕获设置和其他相机组件的. net接口。
三维重建算法开发
相机硬件显著地减少了后向散射,但我们知道我们可以在软件中进一步减少它的影响。我们开发了一个跨混浊度的后向散射响应模型,并实现了几种减少后向散射效应的算法。我们在这里探索了许多替代方案,包括同态滤波和直方图均衡化的变化,最后选择非锐化滤波,这也提高了我们的3D性能。此外,我们还开发了用于相机校准、3D估计、峰值检测和峰值拟合的算法。
可视化图像数据
一旦我们分析了数据并开发了3D重建算法,我们需要与UTOFIA联盟中的其他组织分享他们产生的结果。为此,我们构建了第二个MATLAB应用程序,用于可视化UTOFIA图像数据(图6)。该应用程序包括用于调整选项和算法参数的控件,包括对比度、焦点、噪声去除和直方图均衡。用户可以设置这些参数,并立即在屏幕上看到效果。
我们用MATLAB Compiler™打包了一个独立版本,并将其分发给我们的合作伙伴,他们为我们提供了反馈和增强请求。使用MATLAB和MATLAB编译器,我们可以在几天内实现他们要求的更改。在C/ c++或类似语言中实现这些更改可能需要几周,甚至几个月的时间。
持续发展
我们已经完成了UTOFIA项目的第一阶段,即相机及其核心软件的开发。我们现在正在对图像和3D数据进行额外的处理,用于特定行业的应用,并研究项目的第二阶段:将机器学习和深度学习应用于图像,以识别物体和其他现象。
实时3D数据的可用性为改进渔业和水产养殖业的流程,特别是在自动化定量分析领域,开辟了新的可能性。例如,在西班牙的一个水产养殖设施中,我们使用相机来识别和测量红金枪鱼的长度(图7)。
在挪威的一个研究机构,我们使用UTOFIA进行行为分析,随着时间的推移跟踪单个鱼,以估计游泳速度和模式(图8)。
同时,在相机的水产养殖试验中,在低光和高浊度条件下观察鱼类和其他海洋生物,以估算生物量(图9)。
这些条件是传统水下摄像机无法穿透的。
2019年出版的
了解更多
-
彼得·里泽姆、约斯坦·索尔斯坦森、延斯·t·蒂勒曼、克里斯汀·卡斯珀森、乔恩·楚迪、克里斯·耶茨、克里斯·斯特利、伊戈尔·阿布罗西莫夫、乔纳森·亚历山大和卡尔·亨里克·豪霍尔特,”在浑浊水中使用快速距离门控CMOS相机实现实时超分辨率3D,"达成。选择.57, 3927-3937(2018)。