随着深度学习的兴起,自动上色引起了很多关注,目标是在复杂的图像语义(如形状、纹理和上下文)中生成合适的颜色。一些早期方法尝试使用卷积神经网络(CNN)预测每个像素的颜色分布。不幸的是,这些基于CNN的方法由于缺乏对图像语义的全面理解,通常会产生不正确或不饱和的上色结果(图1中的CIC、InstColor和DeOldify)。为了更好地理解语义信息,一些方法借助生成对抗网络(GANs),利用它们丰富的表示作为上色的生成先验。然而,由于GAN先验的表示空间有限,它们无法处理具有复杂结构和语义的图像,导致不合适的上色结果或不愉快的伪影(图1中的Wu等和BigColor)。
前两次的训练都不满意,用mmgen库做通用和线稿的,效果看起来都不好,我怀疑是不是mmgen不行。
我重新找了一个仓库来做这个事情。
通用场景上色任务太难,pix2pix效果不佳:
https://www.dong-blog.fun/post/1924
通用场景照片的要求太大了:要场景、要渐变色、要理解场景里的事物,比如你总不能给树叶上一个红色,是需要一定语义理解能力的。
线稿是一种需要块状涂色的任务,相对就简单得多。
https://arxiv.org/abs/1703.10593
图像到图像的转换是一类视觉和图形问题,其目标是通过使用一组对齐的图像对训练集,学习输入图像与输出图像之间的映射关系。然而,对于许多任务来说,成对的训练数据并不可用。我们提出了一种方法,在没有对齐样本的情况下,学习将源域X的图像转换到目标域Y。我们在几个任务上展示了定性结果,包括风格迁移、对象变形、季节转换、照片增强等。如下图: