MIT CSAIL研究人员开发的视频处理算法放大细微的动作和颜色变化

挑战

分析视频来检测和扩增颜色不可察觉的运动和变化

用Matlab来发展和完善空间分解和时间滤波算法,并行计算工具箱,以加速其执行和MATLAB编译器将其打包作为独立软件

结果

  • 与其他研究人员合作提高
  • 多次实验并行运行
  • 与其他编程语言集成启用

“对于我们集团,MATLAB的主要优点包括可以快速原型我们的算法的能力,调试他们用伟大的可视化工具,然后轻松地与他人分享在视觉研究社区的代码。”

迈克尔·鲁宾斯坦,麻省理工学院计算机科学和人工智能实验室

麻省理工学院计算机科学和人工智能实验室(CSAIL)的研究人员已经开发出视频放大的算法,使觉察不到的变化,如运动和色彩变化肉眼可见。该小组最初开发通过检测皮肤颜色由每个脉冲的细微变化来测量从一个视频流的心跳的技术。他们随后将它用于许多其他应用,包括研究振动的物体的视频重建环境声音或估计对象的材料特性。

该CSAIL团队使用MATLAB®开发,提炼,并部署其视频放大算法

“像许多研究团队和大学,我们看重的是能力,快速测试的想法,”迈克尔·鲁宾斯坦,CSAIL附属研究机构说。“有了MATLAB我可以很快写一个原型算法,看看它是否工作。然后我可以与学生和合作者进一步建立共享和完善的原型“。

挑战

摄像机不是用来检测分钟颜色变化或振动,其中许多出现在视频记录在强度极小变化的最佳的传感器。为了检测这些微妙的信号,球队需要执行该会集结单个像素尺寸空间滤波算法。他们还需要时间滤波算法来分析这些聚集如何随时间变化。

显影初始算法之后,团队将需要通过使用多个计算内核来处理多个帧或并行算法的测试多种配置,以加速它们的执行。此外,研究人员希望分享他们与其他视觉研究者的代码,并允许任何人使用他们的方法过程的视频。

CSAIL的研究人员开发了视频放大算法的MATLAB,并行计算工具箱™加速他们,并与MATLAB编译器™部署它们。

在MATLAB与图像处理工具箱工作™,该球队实施了分析每个像素周围的区域中的几个秤在帧中的该点,以产生颜色的精确测量的初始空间分解算法。为了提高精度,他们后来更新该算法使用在变化(空间)相位图像的子带,从本地小波计算施加到框架,而不是直接使用的颜色。

空间分解算法的部分是基于在另一所大学的研究人员编写的代码。该小组将这一代码,这既包括MATLAB和MEX功能,到他们的MATLAB实现。

用于时间滤波算法,小组使用MATLAB和DSP系统工具箱™到傅立叶变换以及巴特沃斯和其它带通滤波器应用于通过空间分解所产生的信号。这种过滤使算法着眼于运动或颜色变化的特定频率范围中的研究人员想放大或分析噪声降低。

在算法开发,在MATLAB球队产生地块以可视化的信号。

使用并行计算工具箱,该球队通过一个24芯的计算机上同时处理多个帧加速算法的执行。他们也跑了多个平行实验,以测试快速和调整算法参数。

与其他研究人员分享他们的成果和MATLAB代码后,CSAIL研究人员使用MATLAB编译器创建自己的算法,适用于Windows单机版®,Linux的®和Mac OS X操作系统。任何人都可以使用这些版本,即使他们没有安装MATLAB。

结果

  • 与其他研究人员合作提高。“许多研究人员在计算机视觉领域使用MATLAB,”鲁宾斯坦说。“MATLAB代码通常更容易比C ++阅读,因此谁是项目的启发学生或其他研究人员可以下载代码并理解它。这是简单的为我们编写的可执行文件,任何人都可以使用。”
  • 多次实验并行运行。“我们研究的一个重要组成部分正试图和测试应用不同的想法和算法,它更好地工作,指出:”鲁宾斯坦。“并行计算工具箱给了我们一个非常简单的,易于接受的方式只是通过改变一个循环的parforloop并行运行或处理多个帧的多个实验并行频繁。”
  • 与其他编程语言的集成功能。“我们使用许多MATLAB函数提供了我们的需要足够的性能,”鲁宾斯坦说。“如果我们需要加快算法的特定部分,MATLAB给我们的灵活性,它写在C ++和它作为一个MEX功能,它可以从MATLAB代码可以方便地调用。”

麻省理工学院是全球1300所大学提供给MATLAB和Simulink校园范围内的访问之一。金宝app随着跨院许可证,研究人员,教师和学生有机会获得的产品的通用配置,在最新版本的水平,任何地方使用,在教室里,在家里,在实验室还是在现场。下载188bet金宝搏