AI换脸的常用方法

这几天“AI换脸”又火了。我们从技术角度简单回顾一下近年来重要的AI换脸技术。

CycleGAN可以说是所有人脸变换工作中重要的早期努力。在对抗性生成网络（GAN）的趋势中，大家发现只要给定源类别的样本和目标类别的样本，GAN就可以轻松学习到两个类别之间的转换比例，天然适合“图像”“.到图像转换”问题，就像同一张风景照片从冬天到夏天，马到斑马；CycleGAN的核心思想是，如果能够从源到目标再从源转换回来，这个模型就可以认为非常好，它有效地学习到了两个类别之间的转换比例，保证了输出的质量转换后的图像效果更好。不过CycleGAN的换脸效果并不是很好。毕竟，这是所有类型图像的通用方法。

Face2Face可以说是一项“标准且规范良好”的努力。它使用dlib和OpenCV首先检测源图像中的人脸并找到人脸上的关键标志，然后使用人脸检测器检测人脸的pix2pix变换模型将关键标志转换为目标人脸图像。也许是因为这种方法没有给深度学习留下足够的空间，所以效果马马虎虎。

目前最火、传播最广的深皮换脸模式无疑是DeepFakes。DeepFakes于2017年底发布，是一个深度自动编码器-解码器模型（Auto-encoder-decoder），它使用源人和目标人的数百张照片（越多越好）来构建模型线索分别识别并还原两个人的面孔。最后通过将源字符的图片与目标字符的解码器进行匹配即可完成转换。它还对视频到视频的转换有很好的支持。

DeepFakes的缺点是它无法在小样本上工作，这意味着它无法用一两张照片替换任意两个人的脸部；模型的训练过程也需要大量的资源。

DeepFakes刚被公开时，仅限于技术爱好者之间的交流，并没有发布正式论文。但盖尔·加朵的一些换脸GIF突然引起了人们的关注。今年年初热门话题的“杨幂给朱茵换脸”的视频也很可能就是用这种方法实现的，因为DeepFakes中的编码器确实可以输入任何人脸（比如朱茵的脸）转换）经过充分训练后能够创建高质量、高保真的目标人脸（杨幂人脸）。

更改照片中的面部动作

DeepFakes的风格“用另一张人脸替换目标图像中的人脸”可能很难在未来减少样本量要求和资源需求，所以还有另一种思路，即给定一张人脸图像，然后制作画面中的人根据给定的动作“移动”。三星莫斯科AI研究中心和斯科尔科沃科技研究所今年5月发表的一篇论文带来了不错的成果。这些不仅是真人的照片，甚至可以让画中的人自然地说话。

关注技术推送，第一时间接收最新技术资讯。

如有违规，请联系我们删除。谢谢您的关注~