跳到正文

腾讯 Hy-Nomas 开源:能边生成边用文字和镜头操控的「世界模型」,按显卡看能不能跑

数据来自官方和社区,未经本站实测。文中所有数字都标了出处,核实日期为 2026-11-03(首尔时间);查不到的写「待核实」。

先看结论

  • 它是什么:腾讯混元开源的「交互式世界生成」模型。它不是一次生成一整段视频,而是一段接一段往下生成;每段之间你可以打字加事件(比如「狐狸坐下」)、换风格,或者给一条镜头轨迹控制视角,前面的画面会被记住,尽量保持场景和角色一致。
  • 能不能在自己电脑上跑:官方给了单张 RTX 4090(24GB)的低显存跑法,但要 Linux、要把模型轮流在内存和显存之间搬,官方没给显存峰值和速度;WanGP 从 v18.8x 起支持(当前 v19.29),作者称 8GB 显卡就能入门(作者自述)。
  • 许可:模型页和许可文件写的是 Apache-2.0,可以商用;自动下载的文本编码器等第三方组件按各自许可,以协议原文为准。
  • 项目很新:代码 10 月 21 日(按官方仓库新闻栏)才公开,之后陆续加了 Diffusers 推理示例、arXiv 技术报告和「上传参考图起步」,跑法和数字可能很快变。

它是什么

根据官方模型页:

  • 结构:分段自回归的扩散 Transformer(DiT),加 Qwen 文本编码器(自动从 Hugging Face 下载 Qwen2.5-VL-7B-Instruct)、镜头条件模块和 PixelUMM 视频解码器;段与段之间靠缓存记住前面的内容。
  • 官方蒸馏版每段 8 步出图,输出 720×1280、24 帧/秒。
  • 可以控制的东西:文字(主体、动作、外观、风格、环境)和镜头轨迹,两者可以交替用。
  • 附带两个 LoRA。附带的 Cinematic LoRA 训练数据未公开,本站不推荐。另一个是机械臂场景的 Robotics LoRA,训练数据是公开的 RealSource-World 机械臂数据集。
  • 官方还放出了评测集 Hy-Nomas-Bench(280 个测试用例)和技术报告(arXiv 2610.36729,仓库里也有 PDF)。
  • 官方仓库新闻栏(日期按原文):10 月 21 日首发训练和推理代码(含 LoRA 微调和单卡推理)和在线演示;10 月 23 日加 Diffusers 推理示例;10 月 25 日 WanGP 接入;10 月 26 日更新技术报告,并列出 SGLang、ComfyUI 等社区接入;10 月 27 日技术报告上线 arXiv;10 月 29 日发布和 Genie 4 的对比视频(官方用 Hy-Nomas 重做 Genie 4 的示例,本站未比较);10 月 31 日在线演示支持上传一张参考图作为世界的起点,再接着用文字和镜头操控(自己部署见部署说明)。

时间线(UTC):Hugging Face 模型页 2026-10-21 创建,最后更新 2026-10-28;GitHub 仓库 2026-10-21 创建,最近一次提交 2026-11-01。

按显卡分档

显卡档位 能不能用 跑法 依据
8GB 入门 能跑 WanGP 的「世界」图库(v18.8x 起支持,当前 v19.29) 【WanGP 作者自述】「8GB 就够入门」,靠它的显存管理;作者也提醒接近实时的体验要看模型和显卡,越新越快。没有独立复现,速度待核实
10–16GB 主流 能跑 同上(WanGP) 由 8GB 档的同一跑法往上推断,没有这一档的单独数据
24–32GB 高端单卡 能跑 官方单卡低显存配置 【官方】给单张 RTX 4090 的配置:主模型 INT8、解码器 FP8、模型按阶段在 CPU 和显卡之间来回搬、历史画面超出预算的部分存到内存。官方说明内存要装得下被卸载的模型和不断增长的历史,搬运会增加延迟;显存峰值随分辨率和段长变化,官方没给具体数字,速度待核实
48GB 以上及多卡 适用(多卡) 官方标准配置 【官方】标准配置用 8 路序列并行,默认要 8 张 GPU 组成一组推理;没给显卡型号和速度。单张 48GB 以上的卡没有单独数据,可按 4090 低显存配置跑(推断),待核实

说明:

  • 单卡配置用的是 INT8 主模型,官方写明 INT8 加载器不支持推理时另外加载 LoRA。
  • 官方的网页演示(也可以自己部署)还需要一个单独的提示词增强服务 Nomas-PE,要额外占用资源;上表的单卡说法只针对视频推理本身。

怎么装(官方说明)

  • 系统:Linux + NVIDIA 显卡。官方强烈建议用他们打包好的 Docker 镜像(要装 NVIDIA Container Toolkit)。
  • 不用 Docker 的话:Python 3.12 以上、uv、CUDA 13.0 工具包(含 nvcc)和 C++ 编译器;依赖包含 PyTorch 2.10.0、FlashAttention 2/3 和 MagiAttention。
  • 单卡跑法用官方仓库里的 configs/experiment/single_gpu_low_mem_inference.yaml,并要求容器里只暴露一张 GPU。
  • Windows 用户:官方没写 Windows 支持;想在 Windows 上试,可以看 WanGP(v18.8x 起支持:Hy-Nomas 官方新闻栏写 v18.81 接入,WanGP 更新日志在 v18.84 加入「世界」图库;当前版本 v19.29,README 写的日期是 2026-11-10,2026-11-11(首尔时间)核实。同一图库还支持 EVOKE Turbo 14B,作者称后者适合 640×384、生成较慢)。
  • SGLang(社区接入,SGLang 官方文档):支持单卡,或双卡(双卡用序列并行,文档称输出和单卡逐像素一致);文档写明只在 H200 上验证过,一个服务同时只接一个实时会话。Hy-Nomas 官方 README 写的是稳定版还没包含、要用 nightly 镜像 lmsysorg/sglang:dev;不过 SGLang 的 v0.5.23 发布页已列出这项支持,稳定版能否直接用待核实。
  • ComfyUI:有社区节点 ComfyUI-Hy-Nomas(第三方,GPL-3.0,10 月 23 日创建,项目很新),官方没有 ComfyUI 模板。

许可和注意

  • 模型页标注 Apache-2.0,许可文件写明腾讯的代码、参数和权重按 Apache-2.0 开放,另附第三方组件清单;文本编码器 Qwen2.5-VL-7B-Instruct 从 Hugging Face 自动下载,按其模型页的许可。商用前请逐个读原文,以协议原文为准。
  • 历史越长占的内存越多:官方说明完整历史模式会持续增长缓存;单卡模式把显存里的历史限制在 18 个潜空间帧,但内存里的存档会继续变大。
  • 生成内容请遵守当地法律和平台规则,不要用来冒充真实人物或伪造事件。

小结

想尝鲜「边生成边操控」的视频世界,Hy-Nomas 是目前许可最宽松(Apache-2.0)的选择之一:8GB 到 16GB 显卡先从 WanGP 试,24GB 卡可以照官方单卡配置在 Linux 下跑,但显存峰值和速度官方都还没给;8 卡服务器是官方标准配置。项目开源才两周左右,建议先观望一两个版本。

站内推荐