修补、图像插值是一个过程用来重建缺失的部分图片。艺术家们长期使用手动修复恢复受损的画作。今天,数学家应用偏微分方程(pde)自动化图像插值。pde操作一样,训练者做的事:他们传播信息结构在洞洞里填满它[1,2,3]。
艺术家可以直接在一幅画,PDE需要的数学表示的主题,如数字图像。一个数字图像本质上是一个二维矩阵的整数,与每一个整数代表单个像素的颜色或灰度值。洞的图像由未知值矩阵。PDE-inpainting填写这些缺失值基于邻近像素的值。
我第一次探索之一使用pde修补专注于14世纪的壁画的修复。我发现高阶、非线性pde使广泛的其他应用程序修补,等众多领域的医学、天文学和制图。
对我来说,MATLAB®是一种天然的选择与pd修补。MATLAB让我快速开发和测试初步算法。MATLAB操作脚本中有一个算法中的步骤我几乎一对一的关系发展。这种级别的对应关系不可能使用低级编程语言实现。我可以很容易地想象结果在许多不同的格式使用图表和阴谋,一个类型的图形分析,用低级语言,通常需要一个工具。
简单的修复:傅里叶热方程
傅里叶热方程描述了温度的物质变化。鉴于这种PDE,材料的热导率的知识,和知识的初始温度条件u (t = 0),可以计算出温度在任何时候在任何给定时间的材料
\ [u_t = \δu \]
热方程也称为扩散方程,因为它描述了一个值(在本例中,温度)扩散区域内的时间间隔。
用灰度值代替温度,稍微修改版本方程可用于基本修复。我实现了一个简单的MATLAB程序,使用这种技术。这个程序可以恢复图像与孔通过传播(或削减扩散)周围的灰度值每个孔对孔的中心(图1)。
这种方法适用只有当每个洞周围地区是同质的。洞跨越一个锋利的边缘,边缘像素扩散,导致边缘丢失恢复部分(图2)。
处理非线性:Perona-Malik方程
因为热方程具有光滑的解决方案,它不能保护不连续的图像特征,如边缘。金宝搏官方网站特别是,它不能传播边跨大洞,因为它依赖于线性插值。在图2中,这些边缘(黑暗的平行线两侧洞)不进洞里传播的修复过程。
为克服此缺点,我创建了一个第二MATLAB程序,使用非线性扩散。这个程序使用全变差流[2],技术扩散率常数的大小取决于图像梯度,减少边缘附近的扩散。
从最初的猜测\ (u (t = 0) \)孔内的图像,不仅形象\ (u (t = t) \)是由进化
\ [u_t = \ mathrm {div} \离开(\压裂{\微分算符u}{| \微分算符u |} \) \]
这个程序,它使用Perona-Malik方程[4]的一种形式,在某种程度上保留了边缘在图像和传播他们失踪的区域(图3)。
虽然全变差流热方程是一个明显的改进方法,它仍然具有缺点。因为Perona-Malik方程是二阶PDE,它不执行跨大缺口或洞的边缘在图像(图4)。方程不能合并信息的方向继续优势。因此,边缘逐渐消退进洞里。
考虑到梯度:四阶总波动方程
高阶pde地址全变差流方法的缺陷。使用四阶pde的MATLAB程序,我们可以考虑两个边界条件,而不是只有一个。具体地说,而不是只考虑像素的灰度值附近的一个洞,这个项目还在梯度因素,使它保持模型的方向边缘应该传播进洞里。
材料科学研究人员经常使用Cahn-Hilliard方程模型相分离,这一过程中自发分离液体混合物的组成,粗化阶段。Cahn-Hilliard方程非常成功地应用于二元结构的修复与大缺口[5]。这个方程的泛化grayvalue[6]的图像可以证明是相当于一个四阶版本的全变差流:
\ [u_t = - \三角洲\离开(\ mathrm {div} \离开(\压裂{\微分算符u}{| \微分算符u |} \) \) \]
fft ()执行快速傅里叶变换。
图6显示了更复杂的例子使用这种修补方程。虽然丢失的像素的数量在第一个例子是只有十分之一的缺失的像素的数量在第二个例子中,正确的修复是前者更难实现。这是因为修复领域的直径(孔的宽度)是关键因素,而不是他们的区域。尤其是在第一个例子的更加困难情况在图6中,四阶和非线性pde是至关重要的。
四阶总波动方程的解为修补space-dependent和时间。使用一个显式的方法来解决这个四阶PDE将计算的:每个时间步涉及复杂的矩阵乘法操作,需要成千上万的时间步骤,确保算法融合。MATLAB算法,我开发了使用semi-implicit时间离散化方法中渗流问题在每一个时间步,然后解决线性方程组[7]。空间离散化,该算法使用有限差分方法。这些方法的工作本质上是固定的,因为图像像素的等距网格。
PDE-Based修复中的应用
我主要使用Cahn-Hilliard修复在一个项目开始恢复一些14世纪的壁画,在1979年被重新发现(图7)。
我最近做的一个项目从卫星影像地图的道路网络。大量的对象,包括汽车和树木,模糊的道路图像。使用MATLAB与Cahn-Hilliard修复,我和我的同事们开发了一个算法,从卫星图像自动删除这些障碍物。法国天文学家使用类似的技术来将银河系的星星从天文图像,以获得清晰的星系之外。PDE-based修补算法也适用于医学领域重建图像高度undersampled MRI测量。
新趋势在修补
并不是所有的修补方法依靠pde。例如,exemplar-based修补算法使用一个复制粘贴填写丢失的区域的图像。如果图像有一个洞,一个失踪的衬衫按钮应该是,例如,一个算法,它使用exemplar-based修补可以插入按钮通过复制一个从另一个位置的形象;PDE-based算法不能。
Exemplar-based修补是一个外地的方式使用信息从整个图像,不仅从周围的区域形象。exemplar-based修复提供了令人印象深刻的成果在恢复纺织品和重复结构[8],其重建的能力结构没有一个给定的例子是有限的。出于这个原因,综合当地(PDE)与非本地(exemplar-based)修复技术是可取的,和当前的研究专注于这种方法。
