当你研究一幅画时，你很有可能对它做出几个推论。例如，除了理解主题之外，你还可以根据时期、风格和艺术家对其进行分类。计算机算法能“理解”一幅画，并像人类一样轻松地完成这些分类任务吗?
我和同事在罗格斯大学的艺术和人工智能实验室用MATLAB探讨了这个问题。®，统计及机器学习工具箱™, 以及一个包含过去六个世纪数千幅绘画的数据库。我们还讨论了另外两个关于人工智能算法的能力和局限性的有趣问题：它们是否能够确定哪些绘画对后来的艺术家产生了最大的影响，以及它们是否能够仅使用绘画的视觉特征来衡量绘画的创造力。
提取用于分类绘画的可视特征
我们希望开发能够根据风格（例如立体派、印象派、抽象表现主义或巴洛克）、流派（例如风景画、肖像画或静物画）和艺术家对大量绘画进行分类的算法。这种分类的一个要求是能够识别颜色、构图、纹理、透视、主题和其他视觉特征。第二是能够选择那些最能显示绘画之间相似性的视觉特征。
利用MATLAB和图像处理工具箱™，我们开发了算法来提取绘画的视觉特征。特征提取算法是计算机视觉中比较常见的一种算法，实现简单。更有挑战性的任务是找到最好的机器学习技术。我们首先在统计学和机器学习工具箱中测试支金宝app持向量机(svm)和其他分类算法，以识别风格分类中有用的视觉特征。在MATLAB中，我们应用距离度量学习技术来衡量特征，从而提高算法对绘画分类的能力。
我们开发的算法对数据库中的绘画风格进行分类的准确率为60%，而随机表现的准确率约为2%。虽然艺术历史学家可以以超过60%的准确率完成这项任务，但该算法的表现要好于典型的非专业人士。
使用机器学习揭示艺术影响
一旦我们有了能够可靠地识别成对绘画之间相似性的算法，我们就准备好迎接下一个挑战：使用机器学习揭示艺术影响。我们的假设是，对风格分类有用的视觉特征（有监督的学习问题）也可以用来确定影响（无监督的问题）。
艺术历史学家根据艺术家的工作、旅行或与同时代人一起训练的方式发展艺术影响的理论。我们基于MATLAB的机器学习算法只使用了视觉元素和合成日期。我们假设，考虑到绘画中的物体和符号的算法比依赖于颜色和纹理等低级特征的算法更有效。考虑到这一点，我们使用在谷歌图像上训练的分类算法来识别特定的目标。
我们从66个不同的艺术家在550年的不同艺术家中测试了超过1700张画作的算法。该算法容易确定Diego Velazquez的“Pope Innocent X”在Francis Bacon的“Pope Innocent X的肖像之后”的影响力（图1）。
即使是专业人士，这两种绘画之间的组成和主题之间的相似性也很容易，但该算法也产生了对我们合作的艺术历史学家感到惊讶的结果。例如，我们的算法确定了“巴扎尔的工作室;9 rue de la Condamine，“由法国印象派弗雷德里奇巴扎勒在1870年绘制，作为诺曼罗克韦尔的”Shuffleton Barbershop“的可能影响，已有80年后完成（图2）。虽然绘画乍一看可能看起来不太相似，但仔细检查揭示了组成和主题中的相似之处，包括每项工作右下方的加热器，该组中的三名男子，以及椅子和三角空间左下方。
图2。左:弗雷德里克·巴齐耶的《巴齐耶的工作室》;孔达米纳街九号。”右图:诺曼·洛克威尔的《沙佛顿的理发店》黄圈表示相似的对象，红线表示相似的组成，蓝色矩形表示相似的结构元素。
在我们的数据集中，算法正确识别了艺术历史学家识别的55种影响中的60%，这表明视觉相似性本身就为算法(可能也为人类)确定许多影响提供了足够的信息。
通过解决网络中心性问题来衡量创造力
最近，我们的研究集中在开发算法来衡量艺术的创造力。我们基于一个广泛使用的定义，即如果一个物体既新颖又有影响力，那么它就是有创意的。在这些术语中，一幅创造性的画将不同于它之前的画(新颖)，但类似于那些它之后的画(有影响力)。
在解决这个问题的过程中，我们再次看到了应用MATLAB算法识别绘画相似性的机会。在MATLAB中，我们创建了一个网络，其中顶点是绘画，每条边代表了两幅画在其顶点上的相似性。通过对该网络的一系列变换，我们看到，从这样一个图中推断创造力是一个网络中心性问题，可以用MATLAB有效地解决。
我们在包含超过62,000个绘画的两个数据集上测试了我们的创意算法。The algorithm gave high scores to several works recognized by art historians as both novel and influential, including some of the works shown in Figure 3. Ranking even higher than Pablo Picasso’s “Young Ladies of Avignon” (1907) in the same period were several paintings by Kazimir Malevich. This result initially surprised me, as I knew little about Malevich’s work. I have since learned that he was the founder of the Suprematism movement, one of the earliest developments in abstract art.
图3。计算创造力分数(y轴)绘画从1400到2000 (x轴)，显示选定的最高得分的绘画为个别时期。
为了执行我们的算法的基本验证，我们改变了特定艺术品的日期，有效地将它们倒退或转发。在这些“时间机器”实验中，我们看到对印象派艺术的显着创造力分数增加，向前移动到1600年代，并对巴洛克式绘画的显着减少向前移动到20世纪。这算法正确地认为，300年前的创意是今天的创造性，而现在是创意的东西如果过去介绍，那么现在的创造力就会更具创造力。
一个可扩展的框架，用于正在进行的艺术研究
人类天生具有对艺术进行分类的感知技能，他们擅长在成对的画作中识别相似之处，但他们缺乏时间和耐心将这些技能客观地应用到成千上万幅或数百万幅画作中。处理这种规模的任务是计算机发挥作用的地方。通过开发具有类似人类感知能力的机器学习算法，我们的目标是为艺术历史学家提供工具，以导航庞大的图像数据库。
我们在Matlab中开发的框架用于识别相似之处和衡量创造力并不局限于艺术。它可以应用于文献，音乐或几乎任何其他创意域，只要可以以可用于算法可以访问的方式编码。
然而，现在，我们的重点仍然存在于视觉艺术上。我们不仅在确保机器学习算法产生了良好的效果，而且还感兴趣，而且还在他们到达这些结果的情况下。在这一领域，Matlab也是一个巨大的优势，因为它提供了很多方法，可以快速轻松地可视化结果。这些可视化使我们能够理解结果并使用它们来通知正在进行的AI研究。
专题文章MathWorks新闻和票据
