全球首个 3D 版 AI 合成主播亮相

简介: AI 合成主播已不稀奇,但能走动、做手势、换装的 3D 版 AI 主播,「新小微」是全球第一个。

--------点击屏幕右侧或者屏幕底部“+订阅”,关注我,随时分享机器智能最新行业动态及技术干货----------

01998d5d45aba04fd7920659bb693b5af13f188c.gif

大家好,我是 AI 合成主播家族新成员——新小微。

整洁的头发,蓝色的正装,「新小微」坐在新闻台前正经地发话。

AI 合成主播已不稀奇,但能走动、做手势、换装的 3D 版 AI 主播,「新小微」是全球第一个。

刚一上岗,「新小微」就被安排参与今年全国两会期间进行新闻资讯播报。

「新小微」上岗

「新小微」是新闻界首个由 AI 驱动,3D 技术呈现的 AI 合成主播,其原型为新华社记者赵琬微。

与以前的 AI 合成主播相比,「新小微」最大的不同在于其 3D 特性,丰富了播报形态,可以从不同角度进行全方位的呈现。

image.png

传统单一景深

b88c90a4ea6d5e9cbc5939f092077720ae7fb135.gif

「新小微」进入虚拟演播室(图源新华社)

可以看出,此前的 AI 合成主播大多是坐在特定位置上进行新闻播报,而「新小微」则能够进行走动、转身等肢体动作。

不仅如此,「新小微」在表情方面也变得多样;不再只有“职业假笑”,多了一些微表情。

image.png

不得不说,AI 合成主播越来越有“人样”了。

除了增强了立体感和层次感,在智能性方面,「新小微」也有了新的提升。「新小微」的项目负责人表示,在人工智能的实时驱动下,3D 版 AI 合成主播可实现功能持续自我更迭。

比如说,在“变妆/装”上,「新小微」可以说比以前的 AI 主播“爱美”多了,她的发型、妆容可以根据不同场景、不同新闻报道需要而进行变换。

image.png

更为甚者,「新小微」的妆容还细致到看得见毛孔。

前面提到,「新小微」在两会期间将正式上岗,进行可量化生产新闻播报视频。

据新华社介绍,只要在机器上输入相应文本内容,「新小微」就能进行新闻播报,并根据不同的语义生成表情信息和肢体动作。

随着「新小微」越来越智能化,经过不断的迭代,「新小微」的舞台不仅仅在于演播厅。相关负责人表示:

随着 3D 虚拟场景不断拓展,「新小微」将走出演播室,在不同场景中更好地满足新闻呈现的多样化需求。

如此看来,只要实力够,走出演播厅不是梦。

难怪网友们纷纷感叹,可能要失业了。

image.png

AI 主播进入 3D 时代

从表现来看,无论在表情信息、肢体动作、妆容变化,或是在播报新闻的专业能力方面,「新小微」都优于前者。

问题来了,「新小微」作为 AI 合成主播的“后浪”,是借以什么技术将“前浪”拍在沙滩上的呢?

在数字人模型方面,「新小微」采用了扫描还原、面部肌肉驱动、表情肢体捕捉等技术,使其还原出逼真的头发和皮肤效果。

image.png

在肢体动作方面,其采集工作就涉及到海量数据,「新小微」的原型赵琬微需要带着数据采集头盔,有数百个摄像头对其身体部位进行 360° 全方位“打点”扫描。

不仅如此,摄像头的数据采集工作还包含了表情扫描,无论什么形态都能够细致地捕捉,作为「新小微」诞生的基础。

另外,基于搜狗分身的端到端多模态建模技术,「新小微」的建模训练能够联合语音、图像、文本、3D 肌肉运动数据等多模态信息完成。

再加以 AI 算法的驱动,「新小微」的专业能力得到了进一步提升,其表情变化、唇动、肢体表达都能够跟随语音文本改变。

而对于「新小微」妆容、服装上的改变,则是基于其“微模块化”的特性。项目负责人进一步解释称:

就像拼乐高一样,我们对‘新小微’的各个部位和表情进行了模块化处理,然后重新组装。

AI 合成主播家族

随着「新小微」的上岗,这意味着新华社的 AI 合成主播家族又添了新成员。

早在 2018 年 11 月 7 日,新华社就迎来了全球首个全仿真智能 AI 主持人「新小浩」,以主持人邱浩为原型。

image.png

据官方统计数据,首位 AI 合成主播「新小浩」已在新华社客户端上持续为观众服务 500 多天,先后产出 13000 多条新闻报道,累计时长超过 35000 分钟。

搜狗 CEO 王小川介绍到,该智能 AI 主持人基于「搜狗分身」技术,将真人主播的声音、唇形、表情动作等特征进行提取,然后再通过语音合成、唇形合成、表情合成以及深度学习等技术进行克隆。在播报新闻时,只需提供文字,AI 合成主播就能进行仿真播报。

不过,虽然第一代 AI 合成主播十分惊艳,但仍存在一些缺憾,如 AI 合成主播此前原型只有男性,没有女性;合成主播只有面部表情,没有肢体动作等。

2019 年 2 月-3 月,AI 合成主播进行了两次版本迭代,由此迎来了全球首位 AI 合成女主播「新小萌」。

image.png

相对于初代 AI 合成主播,「新小萌」进一步增强了用户的新闻视听体验,不再局限于坐着播新闻,还增加了一些肢体动作。

并且在版本迭代的同时,AI 合成主播的定制周期也在不断缩减。由于早期技术尚不成熟,需要用到大量的数据。通过迭代之后,录制时长缩短,且录取的数据也在减少,几个小时的视频资料就可以形成一个逼真形象。

从「新小浩」到「新小萌」,再到「新小微」,每一次 AI 合成主播的现身都会伴随着两种不同的话语声音,在赞叹科技进步之余,也有指出不足的发声。

image.png

以最新推出的「新小微」为例,有网友指出,「新小微」在读到“AI”时的发音有些别扭;这也从侧面说明了「新小微」还不够自然,还没能够完全像人一样。

但是,技术的发展是需要一点点的量变累积,在不断的迭代升级中完善,而从这一层面来看,「新小微」是有所进步的。

image.png

原文链接:https://yqh.aliyun.com/detail/10707

目录
相关文章
|
7月前
|
机器学习/深度学习 人工智能 算法
从300亿分子中筛出6款,结构新且易合成,斯坦福抗生素设计AI模型登Nature子刊
【4月更文挑战第12天】斯坦福大学研究团队在Nature子刊发表论文,展示人工智能如何从300亿个分子中筛选出6种新型抗生素候选分子,为抗药性问题提供新解决方案。利用深度学习算法,AI模型考虑化学结构及合成可行性,发现独特化合物,加速药物研发。然而,成功应用还需临床试验验证及克服安全性和耐药性挑战。AI技术在药物设计中的角色引起关注,强调平衡使用与基础科学研究的重要性。
60 1
从300亿分子中筛出6款,结构新且易合成,斯坦福抗生素设计AI模型登Nature子刊
|
4月前
|
机器学习/深度学习 人工智能 编解码
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
3D智能导诊系统源码,基于AI引擎,针对患者的病情及症状,结合性别年龄特征,智能推荐医院科室
智能导诊系统是一款基于AI技术的医疗辅助工具,利用自然语言处理和机器学习分析患者病情,精准推荐科室和医生。系统支持按性别分类导诊,设有3D人体模型辅助定位症状,界面简洁易操作。采用B/S架构,可无缝对接HIS数据库,支持多种接入形式,包括公众号、小程序和App,有效提升就诊效率并减轻医护人员负担。
|
6月前
|
人工智能 图形学
【制作100个unity游戏之24】unity制作一个3D动物AI生态系统游戏2(附项目源码)
【制作100个unity游戏之24】unity制作一个3D动物AI生态系统游戏2(附项目源码)
85 1
【制作100个unity游戏之24】unity制作一个3D动物AI生态系统游戏2(附项目源码)
|
4月前
|
机器学习/深度学习 人工智能 算法
|
6月前
|
人工智能 图形学
【制作100个unity游戏之24】unity制作一个3D动物AI生态系统游戏1(附项目源码)
【制作100个unity游戏之24】unity制作一个3D动物AI生态系统游戏1(附项目源码)
85 2
|
6月前
|
机器学习/深度学习 人工智能
可控核聚变新里程碑,AI首次实现双托卡马克3D场全自动优化,登Nature子刊
【6月更文挑战第4天】AI在可控核聚变研究中实现双托卡马克装置3D磁场全自动优化,助力抑制边缘能量爆发(ELMs),提升核聚变性能90%,成果登上《自然通讯》。虽有ELMs少量出现及装置适应性问题,但这一突破为经济可行的核聚变能源发展迈出重要步伐。[论文链接](https://www.nature.com/articles/s41467-024-48415-w)
96 1
|
6月前
|
人工智能 图形学
【unity小技巧】使用动画状态机脚本实现一个简单3d敌人AI功能
【unity小技巧】使用动画状态机脚本实现一个简单3d敌人AI功能
53 0
|
6月前
|
人工智能 定位技术 图形学
【Unity小技巧】一个脚本实现控制3D远程/近战敌人AI
【Unity小技巧】一个脚本实现控制3D远程/近战敌人AI
55 0
|
7月前
|
人工智能 前端开发 Java
Java语言开发的AI智慧导诊系统源码springboot+redis 3D互联网智导诊系统源码
智慧导诊解决盲目就诊问题,减轻分诊工作压力。降低挂错号比例,优化就诊流程,有效提高线上线下医疗机构接诊效率。可通过人体画像选择症状部位,了解对应病症信息和推荐就医科室。
304 10