案例摘要
一套本地运行的短视频工作台：导入自有或已授权的素材后，语音识别和大模型把视频切成主题片段库，导演智能体按目标受众和语气编排故事、补充画面、重写旁白，再配音、加字幕并批量合成竖屏成片。
- 形态
- 本地桌面工作台，可打包为 Mac 安装包
- AI 能力
- Whisper、DeepSeek、IndexTTS2、导演智能体
- 编排
- LangGraph 渲染状态机，可人工审核与断点恢复
- 素材原则
- 仅处理自有或已获授权的素材
90 秒
成片实测：13 段旁白、325 字，5 个推理组全部成功
0.10-0.23
配音字符错误率区间（强制对齐复核）
背景与挑战
文旅和账号运营团队手里有大量长视频素材，但从中找片段、写旁白、配音、加字幕非常耗时，剪辑人手往往是产量瓶颈。
解决方案
- 理解素材：ASR 转写，大模型按单视频切片并在工作区层面归纳主题，长字幕自动分块。
- 导演智能体：理解片段后找出叙事缺口，从授权素材库补片，重写文案并设计转场。
- 配音与字幕：本地 TTS 配音，强制对齐保证字幕与语音同步，多种花字样式。
- 可控渲染：状态机管理渲染流程，支持人工审核、失败回退和断点恢复。
交付成果
- 一条 90 秒成片：13 段旁白共 325 字，重切为 5 个推理组，全部生成成功。
- 某次完整任务约 851 秒，其中语音合成占约 81%，为下一步优化指明方向。
技术栈
- FastAPI
- PostgreSQL
- Redis
- RQ
- React
- FFmpeg
- Whisper
- DeepSeek
- IndexTTS2
- LangGraph