搜狗发布全球首位 3D AI 主播,背后分身技术有玄机
作者 | 陈利鑫头图 | CSDN 下载自东方 IC又是一年两会时间,平时关注新闻的朋友们可能会发现,新华社关于两会的报道,进行消息播送的主持人队伍加入了一位漂亮小姐姐,而这位小姐姐竟然...
作者 | 陈利鑫
头图 | CSDN 下载自东方 IC
又是一年两会时间,平时关注新闻的朋友们可能会发现,新华社关于两会的报道,进行消息播送的主持人队伍加入了一位漂亮小姐姐,而这位小姐姐竟然不是真人,而是一个 3D 数字人!
眼前这个神奇的虚拟人,完全可以满足人们对于新闻消息的接收需求了。这不禁让人好奇,这个 3D 虚拟人是什么来头?
原来这位 3D 数字人名叫“新小微”,是搜狗联合新华社推出的全球首位 3D AI 合成主播。以新华社记者赵琬微为原型,由人工智能“克隆”而成。
看这细致入微的表情,丰富的动作,细致的肌肤纹理和瞬间变化的服装,堪比大制作电影中的特效人物。
3D AI 合成主播有哪些特性?
事实上,这已经不是搜狗推出的第一位合成主播了,早在 2018 年 11 月的互联网大会上,搜狗发布全球首个 2D AI 合成主播时就曾引起过巨大的轰动。不到两年,搜狗再次推出 3D AI 合成主播,使其AI合成主播品牌下形成2D和3D两条技术线来并行发展,各显所长。
那3D “新小微”究竟有哪些特点呢?
1) 超写实的高度逼真:
高度还原真人发肤,在特写镜头下,连头发丝和皮肤毛孔都清晰可见;
2) 更高可塑性,更强交互能力、可适用更多空间:
高立体感和层次感:支持多机位景深、支持多样化精微表情播报,播报形态可通过360°全方位呈现;
高灵活性:可走动、转身、可摆出各种复杂动作和姿态;
基于“微模块化”特性,其表情、发型、服饰均能根据不同新闻和场景变换。
3)基于 AI 算法实时驱动:只需输入文本内容,“新小微”就能根据语义实时播报新闻,其表情唇动、肢体动作和语音表达高度契合、自然逼真。
这也是搜狗 3D 合成 AI 区别于电影和游戏特效 CG 技术的主要区别,电影合成技术背后要耗费巨大的人力、财力和时间成本,而搜狗 3D AI合成主播根据输入的文本几乎做到了实时生成视频或视频流。
开创 3D AI 合成主播,背后实现技术有玄机
推出3D 版 AI 合成主播,靠的是搜狗分身技术的不断突破和创新。下面,我们来看一下 3D AI 合成主播的技术实现细节与步骤。
1) 首先,是基于真人原型采集海量数据:
搜狗搜狗 AI 交互技术部总经理陈伟解释,要想实现对模型更加逼真的驱动,主要通过两部分来实现,第一部分在于在采集过程中使用的设备是否能捕捉到更精细的数据,第二部分是做到采集数据后的精准标注,这相当于在整个采集端把数据生产出来。
为了打造“新小微”,真人赵琬微戴着数据采集头盔,几百个摄像头对其身体各个部位进行 360 度全方位“打点”扫描,采集每一处细节,并对其多种形态的表情和动作进行细致入微地捕捉记录,这才有了逼真的既视感。
2) 其次,采用了行业领先的扫描还原算法,以及面部肌肉驱动、表情肢体捕捉等技术,生成高逼真度的 3D 数字人模型。
实现逼真的 3D 效果,关键还在于搜狗在采集过程中设计的一套完整的人体和面部参数。之前的卡通模型多基于 Blend shape(融合变形)方式,但是“新小微”的模型创建更多地用到了肌肉模型,因为肌肉模型更加符合人的生理结构,不同参数之间可以更好地协同,因此,对建模参数进行优化之后,最后的运动效果会更加真实。
“新小微”的 3D 模型具体是如何构建的呢?搜狗技术专家解释到,原来这需要先把静态模型建起来,然后再绑定一下。“新小微”最逼真的部分就是她的脸,搜狗采用了业界最领先的笼式采集装置,里面分布 100 多个摄像头同时拍照,相当于全方位捕捉人脸信息,再通过经验丰富的动画师对结果进行细化,对着写实的图片,把成品模型建出来。这是建模人头的部分。
另外,搜狗对“新小微”的人头、身体采用了肌肉模型绑定,这种方法下需要先构建骨骼模型,然后在骨骼上附着肌肉,再在肌肉上附着表皮,是一个联动的过程。肌肉模型更符合动力学的特征,比如人在跑的时候,肌肉运动时,会带着皮肤做一些微小的动作,之前动画中常用的 Blend shape 方案可以实现整体的动作,但难以把细微的动作表现出来。这是骨骼绑定模型的优势。
对于“新小微”,不管是面部表情还是身体动作的采集,搜狗都采用了业界最领先的技术,并对数据进行专业质检及精修,耗费了很多人力,最终获得优质的的学习数据,直接驱动与真人相比差异变小。
3) 然后,通过搜狗分身的多模态生成算法对 3D 数字人模型进行实时驱动、渲染,使其面部表情唇动、肢体动作和语言表达能力实现了高度契合。
当前,大部分“能动”的 3D 数字人主要是靠真人驱动,而”新小微”播报新闻,却是文本输入,实时“翻译”成语音,也就是说输入文本,经过搜狗的度学习多模态建模方法,可以实时将文本转化为语音,并且实时匹配面部表情和动作。
这背后的方法,是搜狗自研的联合建模方式,但实现这一点并不容易。陈伟介绍到,在这个过程中搜狗遇到过几个问题,第一是如何保证实时、快速地响应,因为“新小微”这个数字人是实时驱动的,需要保证模型本身运算复杂度和延迟要低;
第二是要考虑如何定量用单一模型替代多个模型,因为只有在单一模型下才能有效地确保语音和 3D 数据之间的一致性,如果完全区分开,对齐和匹配需要花费时间,因此,搜狗就做了端到端的多模态合成模型,在端到端的模型下,内部的语音和 3D 之间不是完全割裂的两个输出,把语音合的中间信息。
比如时长等信息同步到 3D 肌肉运动的预测中,共享一部分参数,使得最后生成的语音效果和最后 3D 肌肉运动的效果达成一致,实现高品质效果。接下来,就是如何保证数字人做到实时、低延时的驱动,渲染出来的效果还要超写实,这就涉及到实时渲染驱动的工作,只有把这些动作都做到了,最后才能实现一个逼真的数字人的效果。
相比于靠真人驱动,AI 算法实时驱动具有灵活可控、高效率低成本等优势,比如在 3D 游戏行业,制作一个一分钟的视频,需要花费一个专业的美术师一个月的时间,而基于 AI 驱动的 3D AI 合成主播,却只需要一分钟,几乎可以实时生产,而写实度并不出现下降。这意味着,它未来可能代替游戏产业中关于 3D 制作的工作,大幅降低 3D 人物制作成本。
分身技术突破升级,意义在于推动 AI 落地
搜狗分身”技术让我们切实地看到,机器可以以更逼真自然的形象呈现在用户面前,而不是冷冰冰的“机器人”。
毫无疑问,搜狗是分身技术和AI合成主播的开创者,在这一领域也一直保持着技术上的创新,引领着分身技术的发展方向。
自从搜狗 2018 年推出 2D AI 合成主播“邱小浩”以来,业界迅速掀起一股合成 AI 主播的风潮,比如日本 NHK 电视台 AI 主播“新闻报导子”等等。
随着图像生成引擎的优化,搜狗又带头让 AI 合成主播从过去的“坐着播新闻”升级成结合肢体动作的“站立式播报”,实现具备多语言能力的多语种播报、能同用户沟通交流的自然交互等能力,让 AI 合成的主播更智能、更自然。
“让 AI 赋能于人”是搜狗的理念,促进 AI落地,推动解放各个产业生产力,更是实现 AI 技术价值的最终落点。
当前,搜狗分身技术在新闻场景中的价值与意义越发凸显,但 传媒新闻播报仅是分身技术的应用场景之一。未来,分身技术“大施拳脚”的前景仍非常广阔,将涵盖众多内容表达场景,例如虚拟教师、虚拟医生、虚拟客服、虚拟导游,等等。在解放行业生产力的同时,“搜狗分身”技术还会给用户更好的个性化音视频效果,用 AI 提高生活体验指日可待。
【END】
更多精彩推荐
☞雷军:4G 手机已清仓,全力转 5G;QQ音乐播放中途插语音广告引热议;Wine 5.9 发布 | 极客头条
☞中国 AI 应用元年来了!
☞新基建东风下,开发者这样抓住工业互联网风口!
☞15 岁黑进系统,发挑衅邮件意外获 Offer,不惑之年捐出全部财产,Twitter CEO 太牛了!
☞避坑!使用 Kubernetes 最易犯的 10 个错误
☞必读!53个Python经典面试题详解
☞赠书 | 1月以来 Tether 增发47亿 USDT,美元都去哪儿了?
你点的每个“在看”,我都认真当成了喜欢
所有评论(0)