一、整体开发架构(最简商用版)
整体链路:用户输入剧情 → AI 写剧本 → 自动分镜 → 生成人物场景图 → 图生短剧视频 → AI 配音字幕 → 自动剪辑合成 → 导出发布
技术架构:前端页面 + 后端业务服务 + AI 能力层 + 存储 + 任务调度
二、开发前期准备
- 确定开发模式(首选低成本模式)
1)调用第三方 AI API(最推荐,最快上线)
不用训练模型,直接对接现成大模型接口,90% 创业团队都用这个
2)本地开源模型部署:适合想降成本、私有化部署
3)自研模型:资金雄厚大厂走,普通人不碰 - 确定系统功能(必做核心功能)
文案生成:短剧剧本、分集剧情、台词、热门爽文剧情
角色管理:自定义男女主、颜值、穿搭、人设
场景生成:古风、都市、校园、豪门等场景
分镜自动拆分
文生图 / 图生视频
智能 AI 配音、情绪配音
自动加字幕、背景音乐、转场
批量生成、作品管理、导出 9:16 竖屏
用户充值、会员、算力扣费(变现必备) - 必备开发人员配置(小团队)
后端开发 1 名(主力)
前端开发 1 名
测试 / 运营 1 名
无需算法工程师
三、分步详细开发流程
第一步:搭建前后端基础框架
后端(核心)
语言:Python FastAPI(最简最快)
数据库:MySQL / PostgreSQL
缓存:Redis(做视频生成排队任务)
存储:阿里云 OSS / 腾讯云 COS(存图片、视频)
任务队列:Celery(解决视频生成卡顿、异步排队)
前端
Web 端:Vue3 + Element Plus
桌面客户端:Electron(可打包成 PC 软件)
移动端:可做 H5 小程序
第二步:对接所有 AI 接口(核心 AI 能力)
按顺序对接,一套流程跑通
剧本大模型接口
用途:生成短剧完整剧本
可选:通义千问、DeepSeek、豆包大模型、讯飞星火
功能:一键生成 30 集内短剧、逆袭 / 甜宠 / 战神 / 赘婿等题材
文生图接口
用途:生成每一幕镜头画面、人物立绘
可选:通义万相、SD API、即梦、讯飞智作
图生视频接口(最核心)
用途:静态图片变成连贯短剧动态视频
主流稳定接口:可灵 AI、即梦、Runway、剪映开放平台
AI 配音接口
用途:自动给短剧配男女声音、情绪台词
可选:讯飞配音、阿里 TTS、微软语音
剪辑合成工具
免费开源:FFmpeg
实现:拼接视频、加字幕、调速、加 BGM、横竖屏转换
第三步:开发业务逻辑流程(核心逻辑)
用户后台输入:题材、剧情简介、集数、时长
后端调用 LLM 自动拆分分集剧本 + 每句台词
系统自动把剧本拆成镜头分镜脚本
根据分镜文案批量生成人物 + 场景图片
批量图片批量转为短视频片段
按剧情顺序拼接所有视频片段
匹配台词自动 AI 配音 + 精准字幕
自动添加转场、背景音乐、封面
渲染完成通知用户,支持下载 / 一键发布