麻省理工学院CSAIL的研究人员开发了视频处理算法来放大细微的运动和颜色变化

摄像机不是最好的传感器来检测细微的颜色变化或振动，其中许多出现在视频记录的强度极其微小的变化。为了检测这些微妙的信号，研究小组需要实现空间滤波算法，将单个像素测量值进行聚合。他们还需要时间过滤算法来分析这些聚集如何随时间变化。

在开发了初始算法之后，团队需要通过使用多个计算核心来并行处理多个帧或测试算法的多个配置来加速它们的执行。此外，研究人员希望与其他视觉研究人员共享他们的代码，并使任何人都能使用他们的方法处理视频。

CSAIL的研究人员在MATLAB中开发了视频放大算法，使用并行计算工具箱™加速它们，并使用MATLAB编译器™部署它们。

该团队使用MATLAB和Image Processing Toolbox™进行图像处理，实现了一个初始空间分解算法，该算法在多个尺度上分析每个像素周围的区域，以生成帧中该点的颜色的精确测量。为了提高精度，他们后来更新了这个算法，利用应用于帧的局部小波计算的图像子带的(空间)相位变化，而不是直接使用颜色。

部分空间分解算法是基于另一所大学的研究人员编写的代码。该团队将这些包含MATLAB和MEX函数的代码合并到他们的MATLAB实现中。

对于时间滤波算法，团队使用MATLAB和DSP System Toolbox™对空间分解生成的信号应用傅里叶变换和巴特沃斯等通带滤波器。这种过滤使算法能够通过聚焦于研究人员想要放大或分析的运动或颜色变化的特定频率范围来降低噪声。

在算法开发过程中，该团队在MATLAB中生成图形来可视化信号。

使用并行计算工具箱，该团队通过在一台24核计算机上同时处理多个帧来加速算法的执行。他们还并行进行了多个实验，以快速测试和调整算法参数。

在与其他研究人员分享了他们的结果和MATLAB代码之后，CSAIL的研究人员使用MATLAB Compiler为Windows创建了独立版本的算法^®, Linux^®以及Mac OS X操作系统。任何人都可以使用这些版本，即使他们没有安装MATLAB。

• 与其他研究人员的合作得到了改善。“计算机视觉领域的许多研究人员都使用MATLAB，”鲁宾斯坦说。MATLAB代码通常比c++代码更容易阅读，因此受到该项目启发的学生或其他研究人员可以下载并理解代码。对我们来说，编译任何人都可以使用的可执行文件很简单。”
• 多个实验并行运行。鲁宾斯坦指出:“我们研究的很大一部分是尝试和应用不同的想法和算法来测试哪一种效果更好。”“Parallel Computing Toolbox为我们提供了一种非常简单、可行的方法，可以并行运行多个实验或并行处理多个帧——通常只需将for循环更改为parforloop即可。”
• 支持与其他编程语言的集成。“我们使用的许多MATLAB函数为我们的需求提供了足够的性能，”Rubinstein说。“如果我们确实需要加速某个算法的特定部分，MATLAB为我们提供了灵活性，可以用c++编写它，并将其作为一个MEX函数，这可以方便地从MATLAB代码中调用。”