一站式视频生成-MotionAgent操作指南

本文涉及的产品
模型训练 PAI-DLC,5000CU*H 3个月
交互式建模 PAI-DSW,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 这是一段特效短片,虽然只有四秒,但它在推特上斩获了十多万浏览。

引入

这是一段特效短片,虽然只有四秒,但它在推特上斩获了十多万浏览。

提问,这条视频是用什么做的?


1.Unity

2.Houdini

3.illusion


好,现在公布答案。


这是由ModelScope上的开源模型I2VGen-XL制作的。

魔搭亲自问了作者,这个视频从无到有,只花了两分钟。


哎,肯定有人说,数字生命卡兹克做流浪地球的宣传片,就生成了几百个镜头,还有前期的脚本筹划,ai做视频太复杂啦。


别急!我们不光开源了I2VGen-XL,还专门打造了一个集合工具!

github开源地址:https://github.com/modelscope/motionagent

能一键生成剧本、剧照、视频、音乐的应用页面。



框架介绍


这个集合工具集成了大语言模型,文本生成图片模型,视频生成模型,音乐生成模型。你只需要贡献一个脑洞和创造力,下面的就都交给AI吧。


其中大语言模型是通义千问-7B-chat,你是不是,有想象力,但是很难表达?从来没有创作过剧本?中文很好,但是很多开源的文生图,文生视频模型目前还是基于英文的prompt?没关系,通义千问-7B-Chat,通过大模型的协作创作力,中英双语的多语言能力,你只需要简单描述希望写的剧本内容,它就可以帮你创作剧本,做好分镜,写好提示词,妥妥的编剧小能手。


其中文本生成图片,用的是stability最新的SDXL模型,它集高质量的文本到图像模型,一流的真实感和自由的风格定义,以及高稳定性为一体,是我们集合工具中最佳剧照产出者。


核心模型就是I2VGen-XL啦,他包含了一个图片生成视频模型和一个高清视频生成模型,可以配合prompt把一幅图片变成一个四秒的短片,且毫无违和感,很震撼。

最后我们还用了音乐生成模型,给定文字描述就可以生成想要各种音乐。


集成了通义千问,SDXL,I2VGen-XL等开源模型,先看一个自己生成的案例:


视频链接:https://live.csdn.net/v/324732



操作流程


剧本生成

我们使用的通义千问-7B的模型,利用大模型的创作能力剧本生成,打造世界观和讲故事是创作者最核心的能力,创作者输入主题,背景,剧情推动的幕数,以及剧情要求,结合通义千问-7B大语言模型生成高质量的内容。


剧照生成

剧照生成,输入剧本,大模型可以结合剧本内容,生成剧照描述,并转化为文生图模型的提示词prompt。同时可以选择合适的风格和参数,就可以生成剧照。


视频生成

视频生成,上传剧照,点击生成,得到满意的视频框架,再补充对视频内容的文本描述,然后生成高分辨率的视频。


音乐生成

音乐生成,音乐会极大影响观众如何感知视觉内容,并激发另一种浸入内容的感官体验。剪辑时需要搭配上视频和音乐的节拍,能够帮助用户整理预告片中表达的思路和故事线。


ENDING


以上,就是使用MotionAgent来生成视频的方法。只要告诉AI你的灵感火花,它就能像这样一站式生成视频,将你的想法轻松变成现实。在未来,视频的生成效果还将继续优化,创作能发挥的空间将越来越广阔。


人人都能成为艺术家即将到来,快来阿里云生成你的第一部AIGC影片吧!


欢迎大家来使用:https://github.com/modelscope/motionagent


相关文章
|
9月前
|
SQL 数据管理 数据库
NineData:帮助开发者用好数据和云
数据库工具是用于创建、设计、管理、开发、维护和优化数据库的一系列软件工具。NineData是一款全球领先的数据库工具,旨在帮助开发者更高效地管理和使用数据库。该工具支持多云架构和混合云架构下的数据管理,可以轻松完成数据库开发、数据安全访问、数据库权限管理、数据库备份恢复等任务。对于个人开发者,NineData提供免费的SQL开发能力,同时还提供全量数据迁移/复制功能。对于中大型企业,NineData的SQL开发企业版和实时数据复制是收费产品,可以大幅提升企业的数据安全和研发效能。
119 1
|
4月前
|
SQL 运维 安全
客户说|享道出行 x DMS,构建一站式高效、安全的数据运维管理平台
享道出行通过引入一站式运维管理系统DMS,有效地降低数据运维的复杂性,提升运维团队的工作效率,同时保障IT系统的稳定性和安全性,最终实现业务的持续性和稳定发展。
|
4月前
|
SQL 存储 安全
CloudQuery一体化数据库SQL操作安全管控平台
CloudQuery一体化数据库SQL操作安全管控平台
312 0
|
11月前
|
存储 运维 DataWorks
DataWorks是阿里云推出的一款云数据集成、数据开发、数据运维一体化的数据开发平台
DataWorks是阿里云推出的一款云数据集成、数据开发、数据运维一体化的数据开发平台
166 4
|
10月前
|
SQL 数据可视化 数据挖掘
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——7. 自助分析:灵活分析,快速释放数据价值
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——7. 自助分析:灵活分析,快速释放数据价值
134 0
|
分布式计算 云计算 数据格式
【MemVerge上云系列】生物信息分析工作流上云技术分享1:数据驱动的工作流编排
MemVerge上云系列技术分享,为MemVerge公司Memory Machine Cloud应用级云平台产研技术专家,针对各垂直行业的上云场景,分享如果将垂直行业的各类计算框架与公有云相结合,来充分发挥公有云算力的优势,提升垂直行业客户的上云体验。
|
jstorm 消息中间件 存储
mPaaS云平台运维系列之—移动分析产品介绍
移动分析服务(Mobile Analysis Service,简称 MAS)是 mPaaS 平台的一个核心基础服务组件,是一项方便您轻松地大规模收集、可视化并理解应用程序使用数据的服务。MAS 通过统计和分析客户端流量、性能质量和用户行为等数据,用数据实现产品、运营、推广的决策;通过对闪退的分析,快速定位闪退原因,提高程序稳定性。
1106 0
mPaaS云平台运维系列之—移动分析产品介绍
|
弹性计算 监控 数据挖掘
《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——一、AnalyticDB助力客户行为日志实时分析
《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——一、AnalyticDB助力客户行为日志实时分析
|
SQL 运维 安全
『简单·易用』 一站式数据管理与服务
市场报告显示,2025年将有75%数据库迁移到云上,将有30%数据是实时数据,到2024年末数据保护法将会保护到 75% 人口。整体趋势可以总结为上云、实时以及安全。 我们认为,库仓一体是未来趋势。因为核心数据从数据库产生,而实现库仓一体化可以降低用户使用成本。
30290 9
『简单·易用』 一站式数据管理与服务
|
存储 JSON 城市大脑
阿里云云原生实时数仓升级发布,助力企业快速构建一站式实时数仓
9月14日,阿里云云原生实时数仓升级发布。阿里云计算平台的产品专家分享了实时计算Flink版和Hologres构建企业级一站式实时数仓的核心能力升级及新功能解读。
368 0
阿里云云原生实时数仓升级发布,助力企业快速构建一站式实时数仓