南都讯 记者冯群星 把粗糙的手绘草图输入AI，可以生成逼真的人脸图像？日前，中国科学院计算所和香港城市大学的研究团队发表论文，介绍了相关的研究进展。

随着深度学习技术的发展，计算机视觉领域的“图像到图像翻译（image-to-image translation）”也越来越丰富，比如把黑白照转换成彩色照、白天照转换成黑夜照、低像素图片转换成高像素图片，等等。把手绘草图转换成照片般的逼真图像，也是其中一种。

中科院计算所和香港城市大学研究团队的最新论文题为《深度人脸画像：从草图到面部图像的深度合成（DeepFaceDrawing: Deep Generation of Face Images from Sketches）》。这篇论文已经被计算机视觉顶级学术会议SIGGRAPH接收，将在今年七月的会议期间展出。

研究人员在论文中表示，目前大多数基于深度学习的草图到图像翻译任务仍然靠数据驱动，对输入草图的质量要求较高，即草图的质量要接近于边缘图像。

所谓边缘图像，就是对原始图像进行边缘提取后得到的图像。边缘是图像信息最集中的地方，也是图像中不确定性最大的地方，提取边缘对计算机视觉系统的任务处理至关重要。没有接受过专业绘画训练的人所画的草图，显然很难达到这样的要求。

原始图像与计算机算法提取的边缘图像。图自论文《图像边缘提取方法及展望》。

为了破解这一难题，研究人员开发了一种新的深度学习系统，能够基于粗略的、不完整的草图来生成人脸图像。该网络使用的人脸数据更少，并且能够对图像的形状细节进行更细粒度地控制。

简单地来说，研究人员使用的是“从局部到整体”的思路。整个系统由三大主要模块组成，分别是构件嵌入模块、特征映射模块和图像合成模块。构件嵌入模块负责从面部草图数据中分别学习左眼、右眼、鼻子、嘴巴和其他面部构件的特征。特征映射和图像合成模块可以融合这些特征，再将其映射到分辨率为512×512像素的高质量人脸图像。

深度学习系统生成图像的过程。

在训练过程中，研究人员使用了1.7万对草图和照片数据，并邀请10位志愿者参与测试（其中4位是绘画小白，4位有一定绘画基础，2位是专业人士）。每位志愿者至少要手绘三幅草图。结果显示，虽然志愿者给出的草图质量不一，但系统生成的人脸图像始终较为稳定。与现有的其他算法系统（如pix2pixHD、Lines2FacePhoto 、iSketchNFill等）相比，系统生成的人脸图像也更为自然。

10位志愿者画出的不同草图及系统生成的对应人脸。

不同系统根据草图生成图像的对比。

当然，该系统还存在着局限性。研究人员表示，分开学习人脸构件的特征可能带来构件不兼容的问题。例如，如果草图中左眼和右眼的差距较大，最终生成的人脸图像就会出现左右眼形状和颜色不一致。

系统生成的人脸图像中左右眼不一致。

研究人员认为，基于粗略草图生成人脸图像存在广泛的应用前景，比如刑事调查、绘画设计、教育培训等。

AI前哨站注意到，早在前几年，就有人提出设想：通过AI技术实现模拟画像智能化。

模拟画像是一种刑侦手段，许多大案要案的侦破背后都有画像师的功劳。然而，传统的模拟画像对目击者的描述能力有着很高的依赖性，有画像师在接受媒体采访时表示，直接利用模拟画像手段破案的成功率仅在百分之二十左右。

中国科学院计算所和香港城市大学的新研究，无疑为模拟画像智能化提供了一种可能性。但AI的准确性和可靠性有多高？会不会带来冤假错案及其他伦理问题？在技术进步的过程中，这些问题同样需要予以重视。

编辑：李玲

本文作者

李玲

3.64亿

南方都市报记者