Ai推出了古代文物的秘密

利用深度学习和图像处理来恢复和保存艺术品


当Carola-BibianeSchönlieb开始她的博士时。2005年数学研究,她的第一个项目之一是帮助在维也纳恢复中世纪壁画。一旦被旧公寓的墙壁隐藏,绘画的遗体被白洞嬉戏,几年前几年从墙上造成损坏。代替涂料,溶剂或树脂,Schönlieb的恢复工具是算法。“从维也纳大学有一些节约商,他们开始身体恢复这一点,”Schönlieb说。“然后我们必须以数字方式这样做。”

MACH倡议结合了艺术历史学家、修复学家、古典主义者、中世纪学家和数学家的专业知识来推进修复和考古学。

在拍摄损坏的壁画照片后,Schönlieb研究算法可以使用这些照片填补缺失,损坏的绘画碎片,创造了一个数字样机的原始壁画所需的样子。当时,只有少数论文描述了数学家和保险人如何共同努力恢复艺术品。保守派和艺术历史学家刚刚开始在机器上数字化档案,保存绘画,手稿和陶器。

中世纪壁画的一部分,曾经隐藏在维也纳公寓墙后面。图像信用:马赫。

剑桥大学应用数学教授的Schönlieb使用图像分析和处理来进行艺术恢复和保护。目前,她与其他数学家和人文专家合作数学在文化遗产中的应用(马赫)倡议。该倡议结合了艺术史学家,节约家,考古学家和中世纪的专业知识,以推进恢复和材料文化研究。

在他们当前的项目中,“揭幕隐形”,马赫队使用Matlab®对目录罗马陶器的算法,分析油漆横截面,以允许学者看到文物之间的新关系,并数字恢复为物理恢复的照明稿件过于精细。这三个项目焦点在制作中已经多年了。

重新照明手稿

当Schönlieb谈到大学数字图像恢复时,马赫协作始于2013年。来自剑桥的Fitzwilliam博物馆的工作人员,这些博物馆通过目前的古代艺术,曾出席过。他们认为Schönlieb的方法可以应用于他们的工作。

菲茨威廉博物馆的手稿和印刷书籍的管理员在听到Schönlieb的图像修复演讲时,一直在寻求非侵入性的手稿修复方法。她找到Schönlieb,建议他们一起工作。就在那时,MACH项目诞生了。

当面对损坏的绘画和文物时,保守党面临困境。虽然他们可以选择将一块恢复到它的原始形式所示,但损坏本身就可以编年一个对象的历史记录。例如,中世纪的照明手稿是手写的书籍,写在羊皮纸上,具有彩绘装饰,通常包括金或银等贵金属。在某些情况下,手稿可能会故意删除或添加以消除所有权标记,或掩盖令人反感的形象。

“使用虚拟和数学方法允许您保留[照明稿件],并保留该历史,并提供其所需的恢复,原始版本。它让你有机会拥有两个世界。“

Suzanne Reynolds,Fitzwilliam博物馆的策展人

“通过恢复,我们获得了什么,我们通过恢复失败了什么?”询问Suzanne Reynolds,在手稿和印刷书籍的Fitzwilliam博物馆策展人。Reynolds是Mach组的成员,与中世纪照明手稿一起工作。

细节。

域名。

最后结果。

具有大损坏区域的手稿是数字恢复的。图片:©The Fitzwilliam Museum,剑桥。

恢复时,照明的手稿尤其有问题。与其他形式的绘画相比,他们很少身体恢复。与Reynolds,Schönlieb和Simone Parisoto合作,是剑桥应用数学和理论物理学系和Fitzwilliam博物馆的研究助理,正在开发一个应用程序,以解决较大的“揭幕”项目的一个手臂中的这些挑战。

该应用程序专为保护园设计并开发使用MATLAB,使用图像处理技术来识别损坏并实际上重建稿件中的图像。它依赖于in,这个术语最初指的是对一幅画进行物理重建。在数学领域,inpainting指的是用数字技术恢复图像。

利用深度学习和偏微分方程,MACH组的程序可以填补破损手稿的空白,并预测不同恢复途径的结果。用户用来自相同或相关手稿的例子来训练算法——越多越好——然后算法就会重建需要恢复的图像中缺失的内容。

雷诺兹说:“使用虚拟和数学方法可以让你保持物体的原貌,并保留它的历史,提供一个复原的、原始的版本,它可能是什么样子。”“它为你提供了两全其美的机会。”

除了恢复外,数学方法不仅可以数字化档案,还可以利用人工智能,使档案数据更有用处对保险柜,艺术史学家和考古学家更有用。

集群罗马陶器

“揭幕隐形”的第二次焦点的想法起源于2015年,当时剑桥经典高级讲师Alessandro Launaro来到Schönlieb的问题。Launaro的考古学家们侧重于罗马时期,并在意大利西部挖掘了遗址。正如几乎总是如此,他发现了一系列的共同厂陶器,那种用于烹饪的日常任务,但面临分析几千张陶器的艰巨任务,锅边缘和基地。

“我有一个考古问题,分析了一个伟大的证据,”劳伦罗说。虽然有系统和全面的目录,但有助于考古学家分析更精致的罗马陶器(Fineware),但他想在他想了解更多内容的日常陶器上没有任何归零。

“有人可以通过所有这些[陶器片段]形状,但这是超级繁琐的。由于我们是人类,我们犯了错误,我们有时累了,我们可能会错过一些东西。算法不会轮胎。“

Carola-BibianeSchönlieb,剑桥大学应用数学教授

据名称表明,公共套装陶器,占考古地点发现的大多数陶器。但是,鉴于这种陶器可以采取非常多样化的形状,而且这些发现的纯粹数量,弄清楚不同地点不同陶器类型之间的关系一直在具有挑战性。

Launaro说:“因为日常用品代表了日常物品,它让我们看到了比雕像、马赛克或博物馆里漂亮的彩绘陶罐更大比例的古代人口。”创建一个目录来记录这些物品及其彼此之间的关系,可以为了解过去文明的日常生活提供更有价值的见解。“但这不是一个人能轻易做到的,”他说。

Schönlieb和Parisoto认为他们可以帮助Launaro解决这个问题。“有人可以通过所有这些形状,但这是超级乏味,”Schönlieb说。“既然我们是人类,我们犯了错误,我们有时会累,我们可能会错过一些东西。算法不会轮胎。“

Parisoto和Schönlieb转向Matlab,创建Launaro设想的目录。2016年,他们试图一个系统意味着将一块陶器的绘图绘制到数据库中的类似图像。考古学家通过他们的轮廓形状对古代陶器进行分类,并认为类似的形状表示时间顺序和功能关系。

古代罐由个人资料所代表的形状分类。假设类似的简档与相关的相关性。图像信用:马赫。

但它并不好。参考陶瓷图像没有很好地组织。该团队需要退后一步并自己做这组织。“鉴于它将涉及成千上万的独特形状的陶器,我们需要利用计算机的处理权力,”Launaro说。

要填写并组织自己的陶器数据库,团队已添加成千上万的图像,黑白配置件的共同窗口。到2020年底,将包括大约6,000个陶器配置文件。Parisoteo正在使用无监督的深度学习算法,对组或集群相关的陶瓷形状。该程序创建分层Dendrograms分组陶器分片以更好地显示考古学家不同类型之间的关系。“这个想法是从可用对象中提取相关功能,”帕萨特“并找到与不同功能的关系。”

通过确定普通软件类型之间的关系,考古学家可以更好地将其开发和分布在空间和时间上。然后,这些关系可以提供关于贸易,结算模式或饮食习惯的重要发展的线索。Mach集团仍在开发和测试应用程序,但是,“最终的想法是创建一个工具,使考古学家能够更有效地解释他们挖​​掘和学习的网站,”Launaro说。

油漆碎片的艺术课程

Kasia Targonska-Hadzibabic是一项与Mach团队和物理学通过培训协会的研究,正在研究“揭幕隐形”子项目,该子项目借鉴类似于罗马陶器数据库的原则。但代替陶器,targonska-havzibabic正在与Parisote一起使用,为涂料芯片横截面的数字图像构建一个平台,可以进行分类和比较。

在艺术保护中,研究一幅画上小芯片的横截面可以揭示艺术家是如何创作这幅作品的。Targonska-Hadzibabic说:“它提供了有关艺术家使用的技术,以及画作是如何绘制的信息。”

MACH团队还创建了一个系统,可以识别不同画作、艺术家或时间时期的油漆芯片截面之间的联系,从而找出相似之处可能意味着什么。

传统上,保守派将这些横截面取,将它们保存在树脂中,并在显微镜下检查不同的涂料层。关闭,树脂覆盖的涂料芯片看起来像一个色彩缤纷的多层三明治。Targonska-Hadzibabic的艺术保护的同事一直在数字化自己的档案芯片横截面,并希望看到更多,除了个人艺术家的技术,这些涂料芯片可以揭示。

从早期绘画大师的绘画中绘制横截面。图像信用:马赫。

targonska-hadzibabic与schönlieb一起创建一个系统,可以识别不同绘画,艺术家或时期的横截面之间的连接。横截面中的层并不均匀,不仅不同于颜色,而且在拍摄条件下的纹理,混合物和一致性方面不等。与罗马陶器项目一样,该团队正在使用MATLAB中的机器学习技术基于其特征将超过10,000个横截面的数字图像集成有意义的群体。

据Targonska-Hadzibabic说,他们还不确定这些算法可能揭示什么。她说:“这是一个反复的过程,它依赖于与文物保护人员的交流,以找到从艺术史的角度来看很重要的相似点。”

但是通过他们的应用程序,他们希望修复人员能够将源截面的层与数据库中其他截面的类似补丁进行比较。不仅应用程序用户可以看到这些结果,而且Targonska-Hadzibabic正在努力确保管理员也可以根据他们的需要轻松地修改这些结果。

在该领域

来自考古、艺术保护和艺术史专家的反馈对指导这些项目至关重要。“只有专家才能引导数据科学领域的人们走上正确的道路,”Parisotto说。

FitzWilliam的Mach协作者刚刚开始测试这些应用程序,但目标是为所有学者和保护者发布这些资源,扩展其现有的工具箱。对于Launaro来说,公共件陶器参考目录将能够更详细地研究以前忽略的考古方面。

根据Reynolds的说法,不仅Mach的数字手稿恢复工具有助于节约柜,而且还可以扩大教学和公众参与的选择。“希望这对教学非常有用,因为它将使您能够以最佳方式与对象的图像一起工作,”雷诺兹说。该工具还可以扩展博物馆的虚拟产品,显示公众的成员,实际的工件和数字“原始”。

INLUMINA) developed in MATLAB. Image: © The Fitzwilliam Museum, Cambridge.

" data-toggle="lightbox">

inpainting的照明缩影应用程序(INLUMINA)在Matlab开发。图片:©The Fitzwilliam Museum,剑桥。

Targonska-Hadzibabic说,编译一个可以识别样品之间联系的绘画横截面数据库,可以帮助专家识别新的绘画方法,并揭示艺术家和艺术品之间以前未知的联系。

然而,这些工具都不会取代人文专业人员的工作。劳纳罗说:“你需要一个人来进行某种程度的解释。”“但还有其他东西可以让我们的工作变得更简单、更直接,这是机器可以做到的。”

标题图片:©剑桥菲茨威廉博物馆。

面板导航

绿色技术/控制系统

清除数百万吨二氧化碳2每年海港的排放量

用氢气燃料电池通电商用车辆

面板导航

词干/学术界

建立茎的未来

一名高中生发现,编程不仅仅是为了电脑屏幕

面板导航

学术界

Reennineers Matlab课程教授过夜回应Covid

在线和交互式工具简化了远程学习的举动