影视与游戏行业AI视频制作的第3步:为角色生成说话视频

简介: 继 影视与游戏行业AI视频制作实战:第一步,角色形象设计的一致性以及影视与游戏行业AI视频制作实战:第二步,为角色生成个性化语音 后,实现角色生动化的下一步动作就是能让图像动起来。

影视与游戏行业AI视频制作实战:第一步,角色形象设计的一致性以及影视与游戏行业AI视频制作实战:第二步,为角色生成个性化语音 后,实现角色生动化的下一步动作就是能让图像动起来。

今天给大家介绍目前常见的数字人说话视频的开源项目,按开源时间先后来做个评测:

其中,输入均为一张角色形象图片

和一个音频文件

示例音频

Sadtalker

项目主页:

https://sadtalker.github.io/

PC端体验地址:

https://modelscope.cn/studios/CVstudio/cv_human_portrait


注意:需要切换到最后一个tab

步骤:

  • 上传角色形象图片,
  • 上传角色声音文件,
  • 默认参数设置

生成效果如下:

效果点评:

作为较早开源的说话视频项目,支持多种参数设置,目前唇形和整体性有一些瑕疵,唇部有时候与语音不完全匹配,头部移动时与头发部分会出现分离现象。

Hallo

项目主页:

https://fudan-generative-vision.github.io/hallo/#/

PC端体验地址:

https://modelscope.cn/studios/AI-ModelScope/Hall

步骤:上传角色形象图片+角色声音文件

生成效果如下:

英文版:

image.png

效果点评:

Hallo目前还没有支持中文,所以中文效果一般,在英文的效果还是非常不错的,我们期待Hallo的中文效果。

EchoMimic

项目主页:

https://badtobest.github.io/echomimic

PC端体验地址:

https://modelscope.cn/studios/BadToBest/BadToBest

步骤:上传角色形象图片+角色声音文件

生成效果如下:

image.png

生成的视频会自动截取脸部位置,唇部和脸部动作较为自然,比较适合脸部特写视频,后期如果能保持上传图片的完整性,应用场景会更加广泛。

相关文章
|
8天前
|
人工智能
AnchorCrafter:中科院联合腾讯推出的AI虚拟主播带货视频制作技术
AnchorCrafter是由中科院和腾讯联合推出的一项AI虚拟主播带货视频制作技术。该技术基于扩散模型,能够自动生成高保真度的主播风格产品推广视频,通过整合人-物交互(HOI)技术,实现对物体外观和运动控制的高度还原。AnchorCrafter在物体外观保持、交互感知以及视频质量方面优于现有方法,为在线广告和消费者参与提供了新的可能性。
95 30
AnchorCrafter:中科院联合腾讯推出的AI虚拟主播带货视频制作技术
|
3月前
|
存储 人工智能 运维
正式收官!阿里云函数计算携手优酷,用 AI 重塑影视 IP 创新边界
近日,阿里云联合优酷发起的 Create@影视 IP x AI 应用创新大赛,将网剧《少年白马醉春风》这一热门影视 IP 与阿里云 AI 技术相结合,由阿里云函数计算提供 AIGC 技术支持参赛者基于网剧《少年白马醉春风》IP 或“少年江湖”精神内核,用 AI 生成角色场景设计、手办设计、破次元合照、数字人等多样化的作品。
125 10
|
2月前
|
人工智能 缓存 安全
什么是AI网关?AI网关在企业系统中承担什么角色?
AI大模型的快速发展正推动各行业增长,预计未来十年年均增长率达37.3%,2027年前全球企业在AI领域的投资将达8000亿美元。这促使企业进行战略转型,调整AI应用构建与保护方式。为应对AI创新需求,AI网关概念应运而生,它帮助企业随时随地控制和管理应用流量,提供更高的安全性。AI网关不仅支持多AI模型集成,还提供统一端点、应用程序配置与部署、安全与访问管理等核心功能。面对未来挑战,AI网关需支持模型故障转移、语义缓存等功能,确保AI应用的可靠性和效率。开源项目APIPark.COM为企业提供了一站式AI网关解决方案,简化大型语言模型的调用过程,保障企业数据安全。
106 1
|
2月前
|
人工智能 编解码 API
【选择”丹摩“深入探索智谱AI的CogVideoX:视频生成的新前沿】
【选择”丹摩“深入探索智谱AI的CogVideoX:视频生成的新前沿】
|
2月前
|
传感器 机器学习/深度学习 数据采集
AI在环保中的角色:污染监测与防治
【10月更文挑战第6天】AI在环保领域的应用,不仅提升了污染监测的精准度和防治效率,还推动了环保技术的创新和升级。作为未来环保事业的重要力量,AI正以其独特的优势,为构建更加绿色、可持续的生态环境贡献着智慧与力量。我们有理由相信,在AI的助力下,我们的地球将变得更加美好。
|
3月前
|
人工智能
防AI换脸视频诈骗,中电金信联合复旦提出多模态鉴伪法,还入选顶会ACM MM
【9月更文挑战第26天】中电金信与复旦大学合作,提出一种基于身份信息增强的多媒体伪造检测方法,并入选ACM MM国际会议。该方法利用身份信息作为检测线索,构建了含54位名人324个视频的多模态伪造数据集IDForge,设计了参考辅助的多模态伪造检测网络R-MFDN,显著提升了检测性能,准确率达到92.90%。尽管如此,该方法仍存在一定局限性,如对非英语国家数据及无明确身份信息的视频检测效果可能受限。
81 4
|
3月前
|
机器学习/深度学习 人工智能 监控
CEO和CIO如何在企业中引领AI革命 扮演战略领航者的角色
CEO和CIO如何在企业中引领AI革命 扮演战略领航者的角色
|
2月前
|
人工智能 自然语言处理 搜索推荐
Sora - 探索AI视频模型的无限可能
这篇文章详细介绍了Sora AI视频模型的技术特点、应用场景、未来展望以及伦理和用户体验等方面的问题。
34 0
|
3月前
|
人工智能 运维 监控
智能化运维:AI在IT管理中的角色与挑战
随着科技的不断进步,人工智能(AI)已经渗透到我们生活的方方面面,其中包括IT运维领域。本文将探讨AI如何改变传统运维模式,提高效率和准确性,并分析在实施智能化运维时可能遇到的挑战。
|
4月前
|
人工智能 数据挖掘 语音技术
通义语音AI技术问题之说话人识别的两种类型分类如何解决
通义语音AI技术问题之说话人识别的两种类型分类如何解决
73 5