——姜望
机器智能技术产品专家
一、产品介绍
过去几年，我们不断与行业客户进行深入沟通，探讨虚拟数字人领域的未来和现状，也了解了一些客户的需求和痛点。
许多开发者和客户没有专属的引擎工程师，缺乏 3D 资产构建能力，从零开发人工智能技术需要大量的时间、人力和成本投入。也有客户希望用自有版权的数字人形象创建数字人应用。此外，云渲染机器成本高、服务端资源利用率低也是不可忽视的问题。
为了解决开发者的痛点，尽可能满足用户需求，我们研发并推出了虚拟数字人开放平台。
虚拟数字人开放平台的定位是一款工具型 PaaS 平台，提供了包含简单实用接口的标准化公共云服务，同时也提供了专有云服务。该产品是面向仅拥有通用前端和后端技术能力的开发团队以及有数字人相关需求的客户。
数字人开放平台具有以下四个优势：
l 为开发者提供了内置的 3D、2D 模型动画以及包含普通话、方言等语音资产。通过以上资产，开发者可以组合出适合不同场景和行业的数字人形象。
l 将渲染驱动构建和互动能力封装为标准接口，开发者无需关注内部实现，大幅降低了研发周期和成本。
l 提供了 RTC、RTMP、离线视频等不同的媒体服务，开发者可以直接推流或下载到应用端上。
l 提供了自助升降配功能以及弹性、停复机等按量计费能力。
未来，我们将继续听取客户意见和反馈，不断完善产品能力，提升服务质量。
二、产品架构图
上图为虚拟数字人开放平台的产品架构图，主要包含应用场景和产品能力，产品能力为应用场景做支撑。在产品能力上，本次发布了通过云渲染实现的虚拟数字人流媒体服务，其中包含 3D 实时文本驱动、2D实时文本驱动、3D离线文本驱动、2D离线文本驱动、3D实时语音驱动等几个核心能力。围绕以上核心能力，还构建了Avatar UI 、形象资产库、动作库、声音库、多模双工组件等配套服务，以帮助开发者更好地实现数字人构建与互动能力。
核心能力和配套服务也离不开阿里云提供的基础能力支持，例如 ASR、TTS、智能对话机器人、RTC、ECS 等。通过产品能力，阿里云用户可以高效、快速、便捷地为终端客户场景提供服务，包括线下智慧互动屏、视频客服、长短视频制作、客服转人工、智能助理、电商直播、内容直播、视频会议等。
此外，我们还为数字人的 SaaS 层基础应用以及解决方案提供底层能力支持。
三、数字人资产管理
数字人供应板块主要包含了数字人预置、形象管理、形象选择、声音选择等服务。通过构建年轻化、互动化、人格化特征的数字人资产，帮助阿里云客户获得更多用户的青睐。
以下为3D 数字人捏脸功能演示：
点击 3D 数字资产 tab下的“新建角色”，输入角色的名称，点击确定进入角色创建界面。在角色创建界面可以调整发型、脸型、妆容、服装和声音。选择完成后，点击保存，方便之后配置。
如果用户已经按平台提供的技术规范安排真人模特拍摄了指定的视频素材，还可通过 2D 数字人资产界面新建形象，填写名称，将素材进行分类标签命名后新建专属的 2D 数字人形象。新建的 2D 形象目前只能供数字人应用部分离线生成数字人视频时使用。
四、实时文本驱动（3D、2D）
实时文本驱动提供了一系列标准接口，允许开发者以简单的接口访问和调用，启动数字人服务，发送文本让数字人播报，并且可以通过 RTC 或 RTMP 将生成的数字流媒体推送到指定的端上。
目前实时文本驱动支持 3D 与 2D 数字人，其中 3D 支持捏脸换装，2D支持上传视频素材，并且都可以选择不同风格的男女声音以及方言。数字人会依据输入文本自动识别意图，并且播放相应的口型动画。此外，还提供了内置的Avatar UI 功能，支持字幕、图片、卡片等内容的展示。双工打断、 RTC 透明通道等功能也已上线。
实时文本驱动适合构建线下大屏、视频客服、虚拟主播、智能助理等场景应用。
上图展示了结合 ASR、智能对话机器人实现数字人客服效果。
首先，终端用户通过麦克风收音，开发者可将音频通过阿里云提供的 ASR 接口进行处理并收集到终端用户的问题文本。然后将该文本输入对话机器人对话流，对话机器人吐出答案文本后，即可将该文本发送到实时文本驱动数字人播报接口，通过内置的数字人驱动渲染引擎合成的视频流可以通过阿里云提供的 RTC SDK 拉流到终端上，最终形成数字人画面嵌入终端的效果。
通过以上方式可以完成带有互动效果的数字人在终端的部署。
针对直播场景，可以使用类似的方式实现。与上一张图的不同之处在于终端用户观看直播的评论互动需要经过开发者的筛选，并且最终合成的视频流可以通过 RTMP 协议直接推流到直播平台，前提是直播平台提供了对应的推流地址和推流码。
