ViMax 把一段创意或剧本拆成故事、角色、分镜和镜头,再调用图像与视频模型完成生成和组装。它由 HKUDS 维护,适合做故事可视化、广告概念片或研究多智能体视频流水线。一句话可以作为创作起点,但实际生成仍需预先接入三类模型接口,成片效果通常也需要几轮微调。
![[Github发现] ViMax - 港大开源:一句话生成完整视频的多智能体AI工具](https://za.zmoyun.com/wp-content/uploads/2026/05/PPin_2026-05-19_21-26-43-1024x576.webp)
你的输入准备到了哪一步
选入口时,比起“能生成多长的视频”,更值得先看手里已经有哪些材料。只有想法、已经写好剧本和需要改编长篇作品,前面的规划工作差别很大。
- Idea2Video:从创意描述开始,整理故事、角色、剧本与分镜。可以同时给出受众、风格和场景数量,缩小生成方向。
- Script2Video:已有明确剧本时使用。角色、场景和创作要求由输入提供,适合想保留剧情顺序、镜头意图的创作者。
- Novel2Video:把长篇小说改编为分集叙事,涉及情节压缩、角色追踪和场景规划。改编前应确认作品使用权限,并检查关键情节有没有被省略。
- AutoCameo:用人物或宠物照片提供外观参考,再让角色进入故事。照片是参考材料,并非外观与互动始终准确的保证;涉及他人照片时应有相应使用许可。
这些是项目提供的创作路径,不是四个免配置的在线按钮。可以从少量场景的原型开始:先确认故事顺序与角色设定,再决定是否扩展成更多镜头。
角色连续性靠参考管理,不靠一句“始终一致”
ViMax 会协调角色与环境参考图、首帧、机位和镜头顺序,减少连续镜头中的外观与场景漂移。图像生成仍可能给出不合适的结果,因此流水线还加入候选图选择:生成多个关键帧候选,再由具备视觉能力的模型选取。
配置中的 image_selection.num_candidates 默认示例为 2,改为 1 可以关闭多候选选择。多生成候选意味着额外图像与模型调用;虽然多候选抽样降低了画面漂移,但面对复杂运镜切换时,人物特征与场景细节依然需要人工把关。兼容的镜头和媒体任务可以并行生成,实际耗时取决于模型接口、重试与镜头数量。
Agent Loop 和 TUI 可以围绕计划继续对话、修改、恢复会话并控制渲染,Web 界面则把项目文件、分镜预览与渲染进度放到一起。做原型时,先审文本和分镜再渲染,通常更容易发现故事或角色设定上的问题,也能避免把不满意的规划直接送进每个生成环节。
本地启动,要准备三类模型接口
以下启动与配置步骤按源码 v1.2.0 整理。Python 要求 3.12 及以上,项目使用 uv 管理环境,README 列出的运行环境为 Linux 与 Windows。先取得源码并安装依赖:
git clone https://github.com/HKUDS/ViMax.git
cd ViMax
uv sync
- 复制
configs/agent.example.yaml为私有的configs/agent.local.yaml。 - 分别配置语言模型、图像生成器与视频生成器的模型名、接口地址和 API Key。TUI 与 Web 使用同一份私有配置;不要把真实凭据提交到公共仓库。
- 在项目根目录运行
vimax tui,开始讨论与规划;需要恢复已有工作时可使用vimax tui resume。 - 检查剧本、角色和分镜产物,再发起渲染并查看结果。使用直接流水线时,
main_idea2video.py与main_script2video.py分别对应创意和剧本,配置在各自的 YAML 中。
更习惯浏览器,可以启动 Web UI
Web 前端另需 Node.js 18 及以上。从仓库根目录进入 web,安装依赖后启动开发服务:
cd web
npm install
npm run dev
浏览器入口为 http://127.0.0.1:4173,可管理命名项目、上传材料、预览分镜与渲染结果,并调整 Provider 设置。它默认绑定本机地址;远端机器运行时,项目文档提供 SSH 端口转发路径,不必为查看界面直接开放公网端口。
开源的是框架,模型调用与成片还要单独算
ViMax 的源码采用 MIT 许可。语言、图像与视频生成服务的收费、限额和数据处理条件由所选 Provider 决定,参考图筛选、重试和更多镜头也会增加调用。即便使用自备 API Key,脚本与参考照片仍会依照所填服务商地址发往外部平台并产生费用,而非本地离线推理。
它的价值在于把原本分散的规划与生成环节接成可调整的工作流。对于拍摄前的创意预览、故事原型和研究实验,这种组织方式有用;是否达到最终发布要求,仍要检查剧情、字幕或配音、角色、镜头衔接,以及作品和素材的使用范围。
- 项目源码与配置文档:
https://github.com/HKUDS/ViMax - 项目展示页:
https://hkuds.github.io/ViMax












暂无评论内容