假爱豆真AI，中国女子组合SNH48构建智能3D替身

新智元报道

编辑：木青、克雷格

【新智元导读】中国女孩偶像组合SNH48发布的最新圣诞音乐视频中，六位明星出现了数字替身，只要用手机自拍一张照片，就能几秒钟内生成一个完整的3D头像。

遇到“假”爱豆，还做不做舔狗？

中国女孩偶像组合SNH48最新发布圣诞音乐视频，六位最受欢迎的明星一起唱歌和跳舞，值得注意的是，这六人都有假“替身”。

先看视频感受下：

视频中，六个女孩儿都出现了3D数字替身。

最近，南华早报报道了这项技术背后的公司ObEN。

一张自拍照生成3D头像

以虚拟形式生成人的画像是一项艰巨的任务，ObEN的CV团队会在每张2D图像上查看数十个标记，并分析每个标记如何在2D和3D之间移动和变化，从而改变3D模型。

3D建模从内部构建的面部数据库开始。首先收集大量数据，帮助确定这些面部特征，并训练AI算法识别它们。通过将2D图像与3D对应物进行比较，团队分析了这些标记如何变形以及如何在2D和3D之间转换。然后训练AI以自动变形（或重组）一个通用的3D头部模型（网格线框），使其与2D图像中描绘的面部匹配，可根据标记点检查其准确性。

ObEN首席执行官Nikhil

最厉害的地方在于，只要用手机自拍一张照片，就能几秒钟内生成一个完整的3D头像。

ObEN计算机视觉科学家王睿哲博士讲述了背后的一些技术。

形象逼真是件好事，但过于真实可就不见得了。用户希望他们的虚拟形象看起来像一个增强的、“美化”的版本，而不是一个完全的复制品。这就是为什么他们可以通过训练人工智能来生成虚拟化身，在人物真实形象和改善外观之间取得良好平衡，缩小艺术与技术之间的差距。

要快速完成此过程，必须教会AI识别这些标记的变化（换句话说，用户个体脸部的纹理）如何与标准的线框模式合并，以最好地模拟用户的视觉外观。

与传统媒介的艺术家一样，某些属性比其他属性更重要，并且难以捕捉到，特别注意眼睛和嘴巴周围的区域。

此外，CV团队还在探索在讲话时如何更自然，并对视觉语音的研究涉及训练AI来识别各类人的说话方式、脸部动画，尤其是嘴巴的动作。通过足够的训练，AI可以接收任何文本或音频输入，并根据其面部特征自动设置用户模型说话时的动态。

ObEN的语音合成技术应用深度学习，可以捕获完整的声波纹，创建任何语言的数字声纹，比如美国人录制的声音可以用来说中文，同时，录声音也不需要专业录音环境，只要没有太多背景噪音就OK。

构建明星替身：虚拟形象可能比明星还厉害

ObEN成立于2014年，软银旗下SB Next Media创新基金投出的第一笔钱就是这家公司，目前ObEN完成数轮融资：

• 2014年7月，完成种子轮融资；
• 2016年11月，完成770万美元A轮融资；
• 2017年3月，获软银韩国的投资。
• 2017年7月，完成500万美元的A2轮融资，腾讯领投
• 2018年1月，完成1000万美元B轮可转债融资。

另外，通过与SM Entertainment（韩国最大的娱乐机构）合资，ObEN成立了世界上第一个名人AI机构AI Stars，为世界上一些超级明星创建PAI（定制AI），他们可以创造新的体验，与世界各地的粉丝建立联系。

这其中的基础技术与之前说提到的技术类似，该团队通过对合作的明星进行全面3D面部扫描来获取更多数据。通过更多数据，模型可以使用更多数据，从而获得更高质量的虚拟形象。

但是，对于ObEN的研究人员来说，一个漂亮的面孔是不够的。团队正在进行的工作不仅涉及不断改进AI模型，还为更具表现力的虚拟化身创建定制的面部装备。现在，ObEN正在收集各种表情的数据集，分析这些不同面部表情的相应标记，并训练模型来预测不同表情的面部形状。

很快，你的爱豆模型便不再只是单纯长得像你的爱豆了——它可能比你的爱豆还要厉害