选自arXiv
作者：KaidiCao、JingLiao、LuYuan
机器之心编译
来自清华、香港城市大学和微软的研究者最近提出了CariGAN，可以在没有成对图像的情况下将真人照片自动转换成形式夸张的漫画。目前这篇论文已经被SIGGRAPHAsia大会收录。
漫画可被定义为通过素描、铅笔笔画或其他艺术形式以简化或夸大的形式描绘人物的形式（通常是面部）。作为传达幽默或讽刺的一种形式，漫画通常用于娱乐，作为礼品或纪念品，也可由街边艺术家创作。艺人可以从被画者面部捕捉到独特的特征，并进行夸大和艺术化。
众所周知，我们能看到的绝大多数照片和漫画的例子都是不成对的，所以直接进行「翻译」是不可行的，我们无法通过有监督学习来训练计算机实现这种风格迁移，如自编码器、Pix2Pix，或是其他适用于成对图像的神经网络。
图1.人脸漫画化结果对比。（b）为手绘漫画，（c）为风格迁移自动生成，（d）为CycleGAN，（e）和（f）为新论文的结果。其中（d）（e）（f）都是在同一个数据集上进行训练的。
总而言之，生成漫画有两个关键：形状夸张和外观风格化，如图1(a)(b)所示。在这篇论文中，研究者提出了一个用于非成对图像到漫画转换的GAN，他们将其称之为「CariGANs」。该网络会使用两个组件以明确模拟人脸漫画的几何夸张形状和外观风格。
其中CariGeoGAN只建模几何到几何的形状转换，即人脸图像形状到人脸漫画形状的转换。另外一个组件CariStyGAN会将漫画中的外表风格转换到人脸图像中，并且不产生任何几何形变。两个GAN进行独立的训练，这可以令学习过程更加鲁棒。
为了构建非成对图像间的关系，CariGeoGAN和CariStyGAN都使用cycle-consistency的网络结构，它广泛应用于交叉领域或无监督图像转换任务中。最后，夸张的形状对经过风格迁移的人脸进行变形，从而获得最终的输出结果。
CariGeoGAN使用人脸特征点的PCA表征作为GAN的输入和输出。该表征隐性地强制执行该网络中较为重要的人脸形状约束。此外，研究者还在CariGeoGAN中考虑新的特征损失（characteristicloss），以鼓励独特人脸特征的夸张表达，避免不规则失真。CariGeoGAN输出人脸特征点位置，而不是图像，这样在图像实现形状变形之前可以调整夸张程度。这使得输出结果可控，且具备几何形状多样性。
至于风格，CariStyGAN用于像素到像素的迁移，不会产生任何几何变形。为了排除训练CariStyGAN时的几何推断，研究者通过CariGeoGAN的逆几何映射将所有原始漫画变形为人脸图像的形状，从而创建中间漫画数据集。
总体而言，本文的贡献可以总结为以下几点：
展示了非成对照片到漫画转换的首个深度神经网络。展示了用于几何夸张的CariGeoGAN，是使用cycle-consisteny的GAN实现几何形状跨域转换的首次尝试。展示了用于外观风格化的CariStyGAN，允许多模态图像转换，同时通过添加感知损失保留生成漫画的一致性。该CariGAN允许用户仅通过调参或给出一个示例漫画来控制几何形状与外观风格中的夸张程度。
论文：CariGANs:UnpairedPhoto-to-CaricatureTranslation
论文链接：
转载请注明地址:http://www.1xbbk.net/jwbrc/9335.html
