人工智能揭开了古代文物的秘密

利用深度学习和图像处理来恢复和保存艺术品


卡罗拉·比比安·舍恩利布开始攻读博士学位时。在2005年学习数学时,她的第一个项目之一是帮助修复维也纳的一幅中世纪壁画。这幅画曾被一间旧公寓的墙壁所隐藏,但它的残骸上布满了白色的洞,这是几年前拆除墙壁造成的损坏。Schönlieb的修复工具不是油漆、溶剂或树脂,而是算法。”维也纳大学的一些保护者开始了身体的恢复。“水果挞”。然后我们要用数字技术来做这件事。”

Mach倡议将艺术历史学家,保守派,典型主义者和中世纪主义者的专业知识结合在数学家上,以推进恢复和考古。

在拍摄了受损壁画的照片后,Schönlieb研究了一些算法,可以用这些照片来填补这幅画缺失的、受损的部分,创造出原始壁画可能看起来的数字模型。当时,只有少数几篇论文描述了数学家和文物保护者如何合作修复艺术品。文物保护人员和艺术历史学家刚刚开始将他们的档案数字化,用机器保存绘画、手稿和陶器。

中世纪壁画的一部分,曾经隐藏在维也纳公寓的墙壁后。图片来源:马赫。

现在剑桥大学的应用数学教授Sc'O'NeLeb利用图像分析和处理来进行艺术修复和保护。目前,她与其他数学家和人文专家合作研究文化遗产中申请的数学(马赫)主动性。该倡议将艺术史学家、保育员、考古学家和中世纪学者的专业知识与数学家的专业知识相结合,以推进修复和物质文化研究。

在他们当前的项目中,“揭幕隐形”,马赫队使用Matlab®对目录罗马陶器的算法,分析油漆横截面,以允许学者看到文物之间的新关系,并数字恢复为物理恢复的照明稿件过于精细。这三个项目焦点在制作中已经多年了。

重新照明手稿

当Schönlieb谈到大学数字图像恢复时,马赫协作始于2013年。来自剑桥的Fitzwilliam博物馆的工作人员,这些博物馆通过目前的古代艺术,曾出席过。他们认为Schönlieb的方法可以应用于他们的工作。

当她听到Schönlieb的形象恢复谈话时,在Fitzwilliam博物馆的手稿和印刷书籍的饲养员在Witzwilliam博物馆的守门员一直在追求非冒险方法。她走近Schönlieb,并建议他们一起工作。那是马赫项目出生的时候。

当面对损坏的绘画和文物时,保护人员面临两难的境地。虽然他们可以选择将一件物品恢复到原来的样子,但损坏本身可以记录一件物品的历史。例如,中世纪的彩绘手稿是手写的书,写在羊皮纸上,并有彩绘装饰,通常包括黄金或白银等贵重金属。在某些情况下,手稿可能被故意删除或添加油漆,以消除所有权的标记,或掩盖一个冒犯的形象。

“使用虚拟和数学方法允许您保留[照明稿件],并保留该历史,并提供其所需的恢复,原始版本。它让你有机会拥有两个世界。“

苏珊娜·雷诺兹,菲茨威廉博物馆馆长

“重建对我们有什么好处,又有什么损失?”菲茨威廉博物馆手稿和印刷书籍部馆长苏珊娜·雷诺兹问道。雷诺兹是MACH小组的成员,从事中世纪彩绘手稿的研究。

细节

域名。

最终结果。

具有大损坏区域的手稿是数字恢复的。图片:©The Fitzwilliam Museum,剑桥。

恢复时,照明的手稿尤其有问题。与其他形式的绘画相比,他们很少身体恢复。与Reynolds,Schönlieb和Simone Parisoto合作,是剑桥应用数学和理论物理学系和Fitzwilliam博物馆的研究助理,正在开发一个应用程序,以解决较大的“揭幕”项目的一个手臂中的这些挑战。

该应用程序专为保护园设计并开发使用MATLAB,使用图像处理技术来识别损坏并实际上重建稿件中的图像。它依赖于in,一个最初被称为物理重建绘画的术语。在数学圈子中,批量意味着数字恢复图像。

使用深度学习和部分微分方程,Mach Group的程序可以填补损坏的稿件的空白,并预测不同途径的恢复途径。用户将算法与来自相同或相关的稿件(s)的示例进行培训 - 更好地和算法更好,然后重建需要恢复的图像的缺失内容。

“使用虚拟和数学方法允许您保留对象并保留该历史,并提供恢复的,原始版本,所以它可能看起来像,”Reynolds说。“它让你有机会拥有两全其美。”

除了修复,数学方法不仅可以数字化档案,还可以利用人工智能使档案数据对管理员、艺术史学家和考古学家更有用。

聚集罗马陶器

“揭开看不见的面纱”第二个焦点的想法起源于2015年,当时剑桥大学古典文学高级讲师亚历山德罗·劳纳罗(Alessandro Launaro)带着一个问题来到Schönlieb。作为一名考古学家,劳纳罗专注于罗马时期,一直在意大利西部挖掘遗址。几乎总是这样,他发现了大量的日用陶器,用于烹饪等日常工作,但面临着分析数千个陶器形状、壶边和底座的艰巨任务。

“我有一个考古问题,对大量证据的分析,”劳纳罗说。虽然有系统和全面的目录可以帮助考古学家分析更精致的罗马陶器(精细陶器),但没有任何东西集中在他想了解更多的日常陶器上。

他说:“有些人可以尝试所有这些(陶器碎片)形状,但这非常乏味。因为我们是人,我们会犯错,我们有时会累,我们可能会错过一些东西。算法不会疲劳。”

Carola-BibianeSchönlieb,剑桥大学应用数学教授

据名称表明,公共套装陶器,占考古地点发现的大多数陶器。但是,鉴于这种陶器可以采取非常多样化的形状,而且这些发现的纯粹数量,弄清楚不同地点不同陶器类型之间的关系一直在具有挑战性。

“因为普通软件代表日常物体,它允许我们看到古代人口的比例大于雕像,马赛克或博物馆中的漂亮彩绘的盆,”Launaro说。创建目录以录制这些对象及其相互关系的关系可以提供进一步有价值的洞察过去文明的日常生活。“但这不是一个人可以轻易做的事情,”他说。

Schönlieb和Parisotto认为他们可以帮助Launaro解决这个问题。Schönlieb表示:“有些人可以遍历所有这些形状,但这非常乏味。”“因为我们是人,我们会犯错,我们有时会累,我们可能会错过一些东西。算法不会疲劳。”

Parisoto和Schönlieb转向Matlab,创建Launaro设想的目录。2016年,他们试图一个系统意味着将一块陶器的绘图绘制到数据库中的类似图像。考古学家通过他们的轮廓形状对古代陶器进行分类,并认为类似的形状表示时间顺序和功能关系。

古壶是根据侧面图所代表的形状来分类的。假设相似的概要文件是相关的。图片来源:马赫。

但是效果并不好。参考陶器的图像没有很好地组织。团队需要退后一步,自己做这个组织。劳纳罗说:“考虑到这可能涉及数千种独特形状的陶器,我们需要利用计算机的处理能力。”

要填写并组织自己的陶器数据库,团队已添加成千上万的图像,黑白配置件的共同窗口。到2020年底,将包括大约6,000个陶器配置文件。Parisoteo正在使用无监督的深度学习算法,对组或集群相关的陶瓷形状。该程序创建分层Dendrograms分组陶器分片以更好地显示考古学家不同类型之间的关系。“这个想法是从可用对象中提取相关功能,”帕萨特“并找到与不同功能的关系。”

通过确定常用软件类型之间的关系,考古学家可以更好地绘制它们在空间和时间上的发展和分布。这些关系可能会为贸易、定居模式或饮食习惯的重要发展提供线索。MACH小组仍在开发和测试这个应用程序,但是,“最终的想法是创造一个工具,使考古学家能够更有效地解释他们挖掘和研究的地点,”劳纳罗说。

涂料芯片的艺术课程

MACH团队的研究助理、训练物理学家卡西亚·塔冈斯卡-哈兹巴比奇(Kasia targonka - hadzibabic)正在进行一项“揭开隐形物体”的子项目,该项目借鉴了与罗马陶器数据库相似的原理。但不是陶器,Targonska-Hadzibabic正在与Parisotto合作,建立一个平台,用于对油漆薄片横截面的数字图像进行分类和比较。

在艺术保护中,研究来自绘画的小芯片的横截面可以揭示艺术家如何创造工作。“它为您提供了有关艺术家使用的技术的信息,绘画如何被绘制,”Targonska-Hadzibabic说。

Mach团队还在创建一个系统,可以识别来自不同绘画,艺术家或期间的涂料芯片横截面之间的连接,以弄清楚相似性意味着什么。

传统上,保存员会将这些横截面保存在树脂中,并在显微镜下检查不同的油漆层。近距离观察,树脂覆盖的油漆芯片看起来像一个彩色的多层三明治。Targonska Hadzibabic在艺术保护方面的同事一直在数字化他自己的颜料碎片截面档案,他想看看除了一位艺术家的技术之外,这些颜料碎片还能揭示什么。

绘制旧主绘画的横截面。图片来源:马赫。

Targonska-Hadzibabic与Schönlieb合作,创建了一个系统,可以识别来自不同绘画、艺术家或时间时期的横截面之间的联系。横截面上的图层不是统一的,不仅颜色不同,纹理、混合和拍摄条件的一致性也不同。与罗马陶器项目一样,该团队正在使用MATLAB中的机器学习技术,根据其特征将10,000多张横截面的数字图像聚类成有意义的组。

根据Targonska-Hadzibabic,他们还不确定这些算法可能会揭示什么。“这是一个迭代的过程,依赖于与节省者的沟通,以寻找重要的意义从艺术视角的历史,”她说。

但与他们所产生的应用程序一起,他们希望保险箱能够将其源横截面中的图层与数据库中的其他横截面中的类似补丁进行比较。App用户不仅会看到这些结果,而且Targonska-Hadzibabic正在努力确保保护者可以根据需要轻松修改结果。

在该领域

考古学,艺术保护和艺术历史专家的反馈对指导这些项目至关重要。“只有专家可以在正确的道路上指导数据科学中的人民,”帕萨托说。

Fitzwilliam的MACH合作者刚刚开始测试这些应用程序,但他们的目标是向所有学者和管理员发布这些资源,扩大他们现有的工具箱。对劳纳罗来说,普通陶器参考目录将有助于更详细地研究以前被忽视的考古学方面。

据雷诺兹说,马赫的数字手稿修复工具不仅可以帮助保存人,还可以扩大教学和公众参与的选择。”雷诺兹说:“我们希望它对教学非常有用,因为它能让你在最佳状态下处理物体的图像。”。该工具还可以扩展博物馆的虚拟产品,向公众展示真实的文物和数字“原件”

INLUMINA) developed in MATLAB. Image: © The Fitzwilliam Museum, Cambridge.

" data-toggle="lightbox">

INpainting ilLUminated MINiatures App (inlumina)在MATLAB中开发。图片:©剑桥菲茨威廉博物馆。

targonska-hadzibabic表示,编译油漆横截面数据库,可以识别样品之间的连接可以帮助专家识别新的绘画方法,并揭示艺术家和艺术品之间的先前未知的连接。

然而,这些工具都没有取代人文专业人员的工作。“你需要一个人类的解释程度,”Launaro说。“但还有其他事情会使我们的工作更容易,直接直接,即机器可以实现。”

标题图片:©剑桥菲茨威廉博物馆。

面板导航

绿色技术/控制系统

删除数百万吨CO2海港的排放每年

用氢气燃料电池通电商用车辆

面板导航

词干/学术界

建立茎的未来

高中学生发现比电脑屏幕更多

面板导航

学术界

Reennineers Matlab课程教授过夜回应Covid

在线和交互式工具简化了远程学习的举动