ViMax | Github发现 – 港大开源:一句话生成完整视频的多智能体AI工具

ViMax 把一段创意或剧本拆成故事、角色、分镜和镜头,再调用图像与视频模型完成生成和组装。它由 HKUDS 维护,适合做故事可视化、广告概念片或研究多智能体视频流水线。一句话可以作为创作起点,但实际生成仍需预先接入三类模型接口,成片效果通常也需要几轮微调。

[Github发现] ViMax - 港大开源:一句话生成完整视频的多智能体AI工具

你的输入准备到了哪一步

选入口时,比起“能生成多长的视频”,更值得先看手里已经有哪些材料。只有想法、已经写好剧本和需要改编长篇作品,前面的规划工作差别很大。

  • Idea2Video:从创意描述开始,整理故事、角色、剧本与分镜。可以同时给出受众、风格和场景数量,缩小生成方向。
  • Script2Video:已有明确剧本时使用。角色、场景和创作要求由输入提供,适合想保留剧情顺序、镜头意图的创作者。
  • Novel2Video:把长篇小说改编为分集叙事,涉及情节压缩、角色追踪和场景规划。改编前应确认作品使用权限,并检查关键情节有没有被省略。
  • AutoCameo:用人物或宠物照片提供外观参考,再让角色进入故事。照片是参考材料,并非外观与互动始终准确的保证;涉及他人照片时应有相应使用许可。

这些是项目提供的创作路径,不是四个免配置的在线按钮。可以从少量场景的原型开始:先确认故事顺序与角色设定,再决定是否扩展成更多镜头。

角色连续性靠参考管理,不靠一句“始终一致”

ViMax 会协调角色与环境参考图、首帧、机位和镜头顺序,减少连续镜头中的外观与场景漂移。图像生成仍可能给出不合适的结果,因此流水线还加入候选图选择:生成多个关键帧候选,再由具备视觉能力的模型选取。

配置中的 image_selection.num_candidates 默认示例为 2,改为 1 可以关闭多候选选择。多生成候选意味着额外图像与模型调用;虽然多候选抽样降低了画面漂移,但面对复杂运镜切换时,人物特征与场景细节依然需要人工把关。兼容的镜头和媒体任务可以并行生成,实际耗时取决于模型接口、重试与镜头数量。

Agent Loop 和 TUI 可以围绕计划继续对话、修改、恢复会话并控制渲染,Web 界面则把项目文件、分镜预览与渲染进度放到一起。做原型时,先审文本和分镜再渲染,通常更容易发现故事或角色设定上的问题,也能避免把不满意的规划直接送进每个生成环节。

本地启动,要准备三类模型接口

以下启动与配置步骤按源码 v1.2.0 整理。Python 要求 3.12 及以上,项目使用 uv 管理环境,README 列出的运行环境为 Linux 与 Windows。先取得源码并安装依赖:

git clone https://github.com/HKUDS/ViMax.git
cd ViMax
uv sync
  1. 复制 configs/agent.example.yaml 为私有的 configs/agent.local.yaml。
  2. 分别配置语言模型、图像生成器与视频生成器的模型名、接口地址和 API Key。TUI 与 Web 使用同一份私有配置;不要把真实凭据提交到公共仓库。
  3. 在项目根目录运行 vimax tui,开始讨论与规划;需要恢复已有工作时可使用 vimax tui resume。
  4. 检查剧本、角色和分镜产物,再发起渲染并查看结果。使用直接流水线时,main_idea2video.py 与 main_script2video.py 分别对应创意和剧本,配置在各自的 YAML 中。

更习惯浏览器,可以启动 Web UI

Web 前端另需 Node.js 18 及以上。从仓库根目录进入 web,安装依赖后启动开发服务:

cd web
npm install
npm run dev

浏览器入口为 http://127.0.0.1:4173,可管理命名项目、上传材料、预览分镜与渲染结果,并调整 Provider 设置。它默认绑定本机地址;远端机器运行时,项目文档提供 SSH 端口转发路径,不必为查看界面直接开放公网端口。

开源的是框架,模型调用与成片还要单独算

ViMax 的源码采用 MIT 许可。语言、图像与视频生成服务的收费、限额和数据处理条件由所选 Provider 决定,参考图筛选、重试和更多镜头也会增加调用。即便使用自备 API Key,脚本与参考照片仍会依照所填服务商地址发往外部平台并产生费用,而非本地离线推理。

它的价值在于把原本分散的规划与生成环节接成可调整的工作流。对于拍摄前的创意预览、故事原型和研究实验,这种组织方式有用;是否达到最终发布要求,仍要检查剧情、字幕或配音、角色、镜头衔接,以及作品和素材的使用范围。

  • 项目源码与配置文档:https://github.com/HKUDS/ViMax
  • 项目展示页:https://hkuds.github.io/ViMax
ViMax | Github发现 - 港大开源:一句话生成完整视频的多智能体AI工具 - 杂货喵
ViMax | Github发现 – 港大开源:一句话生成完整视频的多智能体AI工具
此内容为免费资源,请登录后查看
0积分
项目作者HKUDS
发布平台GitHub
编码语言Python
支持语言中英文多语言
收录日期2026年6月2日
Stars8.5k
Forks1.3k
免费资源
© 版权声明
THE END
喜欢就支持一下吧
点赞14 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容