创建能够分析艺术品的计算机视觉和机器学习算法

当你研究一幅画时，你很有可能对它做出几个推论。例如，除了理解主题之外，你还可以根据时期、风格和艺术家对其进行分类。计算机算法能“理解”一幅画，并像人类一样轻松地完成这些分类任务吗?

我和罗格斯大学艺术与人工智能实验室的同事们用MATLAB探索了这个问题^®，统计和机器学习工具箱™，以及过去六个世纪的数千幅绘画的数据库。我们还讨论了另外两个关于人工智能算法的能力和局限性的有趣问题:它们是否能够识别哪些画作对后来的艺术家产生了最大的影响，以及它们是否能够仅使用视觉特征来衡量一幅画作的创造力。

基于视觉特征的绘画分类

我们希望开发能够根据风格(例如，立体主义、印象派、抽象表现主义或巴洛克)、流派(例如，风景、肖像或静物)和艺术家对大组绘画进行分类的算法。这种分类的一个要求是能够识别颜色、构图、纹理、透视、主题和其他视觉特征。第二种能力是选择那些最能表明绘画相似性的视觉特征的能力。

利用MATLAB和图像处理工具箱™，我们开发了算法来提取绘画的视觉特征。特征提取算法是计算机视觉中比较常见的一种算法，实现简单。更有挑战性的任务是找到最好的机器学习技术。我们首先在统计学和机器学习工具箱中测试支金宝app持向量机(svm)和其他分类算法，以识别风格分类中有用的视觉特征。在MATLAB中，我们应用距离度量学习技术来衡量特征，从而提高算法对绘画分类的能力。

我们开发的算法对数据库中的绘画风格进行分类的准确率为60%，而随机表现的准确率约为2%。虽然艺术历史学家可以以超过60%的准确率完成这项任务，但该算法的表现要好于典型的非专业人士。

使用机器学习揭示艺术影响

一旦我们有了算法，能够可靠地识别两幅画之间的相似之处，我们就准备好应对下一个挑战:使用机器学习来揭示艺术影响。我们的假设是，对风格分类(有监督学习问题)有用的视觉特征也可以用来确定影响(无监督问题)。

艺术历史学家根据艺术家的工作、旅行或与同时代人一起训练的方式发展艺术影响的理论。我们基于MATLAB的机器学习算法只使用了视觉元素和合成日期。我们假设，考虑到绘画中的物体和符号的算法比依赖于颜色和纹理等低级特征的算法更有效。考虑到这一点，我们使用在谷歌图像上训练的分类算法来识别特定的目标。

我们对来自66位不同艺术家的1700多幅绘画作品进行了算法测试，这些作品历时550年。该算法很容易确定迭戈·贝拉斯克斯的《教皇英诺森十世画像》对弗朗西斯·培根的《贝拉斯克斯对教皇英诺森十世画像的研究》（图1）的影响。

这两幅画在构图和题材上的相似之处，即使是外行也很容易发现，但这种算法也产生了令我们合作的艺术史学家感到惊讶的结果。例如，我们的算法将法国印象派画家弗雷德里克·巴齐尔（Frederic Bazille）1870年绘制的“巴齐尔工作室；康达明街9号”（Bazille’s Studio；9 rue de la Condamine）确定为对诺曼·罗克韦尔80年后完成的“Shuffleton理发店”的可能影响（图2）。虽然这些画乍一看可能并不相似，但仔细检查会发现它们在构图和主题上有相似之处，包括每幅作品右下角的加热器、中间的三人组以及左下角的椅子和三角形空间。

在我们的数据集中，算法正确识别了艺术历史学家识别的55种影响中的60%，这表明视觉相似性本身就为算法(可能也为人类)确定许多影响提供了足够的信息。

通过解决网络中心性问题来衡量创造力

最近，我们的研究集中在开发算法来衡量艺术的创造力。我们基于一个广泛使用的定义，即如果一个物体既新颖又有影响力，那么它就是有创意的。在这些术语中，一幅创造性的画将不同于它之前的画(新颖)，但类似于那些它之后的画(有影响力)。

在解决这个问题的过程中，我们再次看到了应用MATLAB算法识别绘画相似性的机会。在MATLAB中，我们创建了一个网络，其中顶点是绘画，每条边代表了两幅画在其顶点上的相似性。通过对该网络的一系列变换，我们看到，从这样一个图中推断创造力是一个网络中心性问题，可以用MATLAB有效地解决。

我们在包含62000多幅绘画的两个数据集上测试了我们的创意算法。该算法对一些被艺术史学家认为既新颖又有影响力的作品给予了高分，包括图3所示的一些作品。卡齐米尔·马列维奇（Kazimir Malevich）的几幅画在同一时期的排名甚至高于巴勃罗·毕加索（Pablo Picasso）的《阿维尼翁的年轻女士》（1907年）。这个结果最初让我感到惊讶，因为我对马列维奇的工作知之甚少。从那以后，我知道他是至上主义运动的创始人，这是抽象艺术最早的发展之一。

为了对我们的算法进行基本验证，我们更改了特定艺术品的日期，有效地将它们在时间上前后移动。在这些“时间机器”实验中，我们看到印象派艺术的创作分数显著上升，追溯到1600年代，巴洛克绘画的创作分数显著下降，追溯到1900年代。这些算法正确地认识到，300年前有创意的东西今天并不具有创意，而现在有创意的东西如果在遥远的过去被引入，将会更有创意。

一个可扩展的框架，用于正在进行的艺术研究

人类天生具有对艺术进行分类的感知技能，他们擅长在成对的画作中识别相似之处，但他们缺乏时间和耐心将这些技能客观地应用到成千上万幅或数百万幅画作中。处理这种规模的任务是计算机发挥作用的地方。通过开发具有类似人类感知能力的机器学习算法，我们的目标是为艺术历史学家提供工具，以导航庞大的图像数据库。

我们在MATLAB中开发的用于识别相似性和测量创造力的框架并不局限于艺术。它可以应用于文学、音乐或几乎任何其他创造性领域，只要单个作品可以以算法可访问的方式进行编码。

然而，目前我们的重点仍然是视觉艺术。我们不仅对确保机器学习算法产生良好的结果感兴趣，而且对它们如何达到这些结果感兴趣。在这方面，MATLAB也是一个巨大的优势，因为它提供了许多方法来快速、轻松地可视化结果。这些可视化使我们能够理解结果，并利用它们为正在进行的人工智能研究提供信息。

文章刊登在MathWorks新闻与笔记