基于物体颜色分布的图像重新着色

马哈茂德阿菲菲¹，布莱恩价格²，斯科特•科恩²,迈克尔·s·布朗<sup>1

1</sup>约克大学²Adobe的研究

项目页面

摘要

我们提出了一种基于与图像中存在的物体相关的颜色分布执行自动图像重新着色的方法。例如，当重新着色包含天空物体的图像时，我们的方法结合了“sky”类物体具有三种主要模式的颜色分布:蓝色(白天)，黄色/红色(黄昏/黎明)和深色(夜间)。我们的工作利用了最近的深度学习方法，可以执行相当准确的对象级分割。通过使用用于训练深度学习对象分割方法的数据集中的图像，我们能够对数据集中每个对象类的颜色分布进行建模。给定一个新的输入图像及其相关的语义分割(即对象掩码)，我们执行颜色转移，将输入图像的颜色直方图映射到一组目标颜色直方图，该直方图是基于图像中学习到的对象的颜色分布构建的。我们表明，我们的框架能够产生引人注目的颜色变化，往往比现有方法产生的结果更有趣和独特。

快速启动

1. 运行install_p1
2. 运行install_p2
3. 去演示目录，并将输入图像复制到input_images目录
4. 运行demo_recoloring
5. 重新着色的图像将在recolored_images目录和生成的语义掩码将在output_masks目录中。
6. 运行demo_GUI我们的交互式GUI版本。

手动安装

1. 安装RefineNet用于语义分割。
2. 下载ADE20k数据集的训练模型。在我们的实验中，我们使用resnet - 152模型．
3. 创建一个目录并命名它SS_CNN．该目录应包含RefineNet目录RefineNet和MatConvNet(RefineNet的先决条件)。例如，RefineNet的readme文件应该位于以下路径中SS_CNN / RefineNet / README.md
4. 使用下面的matlab代码为子目录添加路径:

电流= pwd;当前目录(' / colour-transfer-master ']);当前目录(/ cp的]);当前目录(' / emd ']);当前目录(' / getMask ']);当前目录(/上色的]);目录([当前' /一般']);savepath

5. 为地球移动器的距离(EMD)文件编译mex文件emd目录中。使用下面的Matlab代码:

. mex EMD1.cpp . mex EMD2.cpp . mex EMD3.cpp

确保为c++ Mex文件编译选择MinGW。要更改它，请使用以下Matlab命令:

mex -setup c++

6. 下载场景解析数据集(我们只使用包含训练图像/语义掩码的训练集)。数据集应该位于以下路径中. . / ADEChallengeData2016(假设您位于源代码的根目录中)。例如，您应该能够读取第一张训练图像ADE_train_00000001.jpg及其语义掩码，编写如下Matlab代码:

I = imread(fullfile('..'，'ADEChallengeData2016'，'images'，'training'，'ADE_train_00000001.jpg'));M = imread(fullfile('..'，'ADEChallengeData2016'，'annotation '，'training'，'ADE_train_00000001.png'));

7. 下载我们预先计算的数据，包括物体颜色分布(DoD)的分布在这里(也是可用的在这里)。确保将DoD数据定位在以下路径中. . /数据/ DoD_data(假设您位于源代码的根目录中)。例如，您应该能够通过编写以下Matlab代码来加载第一个集群数据:

负载(fullfile(‘…’,‘数据’,‘DoD_data’,' airplane_clust_1.mat '));

GUI

尝试我们的GUI版本，其中包括以下功能:

1. 语义掩码调整:您可以以交互方式调整语义掩码(提供半自动和手动调整)。
2. 选择主要对象:您可以选择主要对象来获得不同的结果。

要测试它，请运行demo_GUI从演示目录中。

出版

如果您使用此代码，请引用我们的论文:

mahmahdafifi, Brian Price, Scott Cohen, Michael S. Brown，基于物体颜色分布的图像再着色，欧洲图形学2019 -短论文，2019

@inproceedings {afifi2019imageRecoloring，书名= {Eurographics 2019 - Short Papers}，标题={{基于对象颜色分布的图像重新着色}}，作者= {Afifi, Mahmoud and Price, Brian and Cohen, Scott and Brown, Michael s}，年份={2019}，出版商={欧洲图形学会}，ISSN = {1017-4656}， DOI = {10.2312/egs。20191008}}

相关研究项目

• HistoGAN一种控制GAN和真实图像颜色的方法。图像自动重着色是其应用之一。
• 摄像头:一种对颜色敏感的多风格转印方法。