Sanbot.数据来自官方和社区，未经本站实测。
用文字描述镜头，模型只能「大概」照做；机位、景深和物体的位置每次都不一样。这篇讲另一种做法：先在 3D 软件里用灰模（不贴材质的简单模型）把场景、机位和人物走位定下来，渲染出深度视频，再让视频模型按这个结构去生成画面。构图和运镜由 3D 软件决定，材质和风格交给 AI。
主线用 Blender（免费、跨平台），虚幻引擎（UE）作为第二条路线，最后是两个社区方案。
数据说明：「官方」指模型方、NVIDIA、Blender、Epic 等发布的文档和模型卡；「社区」指个人或第三方项目，附链接和日期。显存门槛只采用官方给出的数字，官方没给的写「待核实」。文中的模型大小是「文件 xx GB」，指下载文件的大小，不等于显存需求。所有来源核实于 2026-10-27。
先看结论：四种方案怎么选
| 方案 | 控制信号 | 显存门槛 | 依据 | 许可要点 |
|---|---|---|---|---|
| Union Control 路线（主线）：Blender 深度视频 → LTX-2.5 Union Control IC-LoRA | 每一帧的深度（也可换成 Canny 边缘或姿态） | 24–32GB 高端单卡（要 32GB 的卡）起，48GB 以上更稳 | 【官方】LTX-2.5 系统要求：最低 32GB+ 显存，推荐 A100 80GB 或 H100 | LTX-2.x 社区许可：年收入 1000 万美元以上的机构商用要另签付费许可，以协议原文为准 |
| NVIDIA 首尾帧路线：Blender 灰模 → FLUX.1 深度出首尾帧 → LTX-2.3 首尾帧 → RTX 超分 | 深度只用来生成首尾两张关键帧，中间运动靠提示词 | 10–16GB 主流（要 16GB 的卡）起 | 【官方】NVIDIA Playbook：16GB 以上独立显存，建议 64GB 内存，Windows 11 | FLUX.1 Depth 为非商用许可，商用要联系 Black Forest Labs |
| UE 路线（第二路线）：UE 渲染深度视频 → 接前两条路线的后半段 | 同前两条路线 | 48GB 以上有社区跑通报告；其余三档待核实（UE 编辑器本身占显存，没有数据） | 同上；48GB 为社区报告 | 另有 Epic 协议问题，见下文 |
| 社区方案（ViewGen、ComfyUI-ReShot） | 深度、姿态、Canny | 见「社区方案」一节 | ViewGen：社区项目 README；ReShot：项目方 README（第三方项目，按官方说明标注） | MIT / Apache-2.0 |
按档位看：
- 8GB 入门：本文没有找到能完整出片的方案。Union Control 路线待核实（官方流程最低 32GB，ComfyUI int8 跑法没有数据）；NVIDIA 首尾帧路线不推荐（NVIDIA 官方最低 16GB）；UE 路线待核实。ReShot 的「提取深度/姿态」这一步能跑，但只能用 fast 模式（项目方称 8GB 卡可以跑 fast 模式，full 模式要 12GB，见社区方案），后面的视频生成模型另算，待核实。
- 10–16GB 主流：NVIDIA 首尾帧路线能跑（16GB 卡达到 NVIDIA 官方最低，10–12GB 卡达不到）。Union Control 路线待核实（官方没给 16GB 能不能跑的数字）；UE 路线待核实；ReShot 提取这一步能跑（12GB 以上可以跑 full 模式）。
- 24–32GB 高端单卡：Union Control 路线能跑（32GB 卡满足官方最低要求，24GB 卡低于官方最低值，能不能跑待核实）；NVIDIA 首尾帧路线适用；UE 路线待核实（UE 编辑器本身占多少显存没有数据）；ReShot 提取这一步适用。
- 48GB 以上及多卡：Union Control 路线适用（官方推荐 A100 80GB 或 H100）；NVIDIA 首尾帧路线适用（NVIDIA 说明覆盖 RTX PRO 单卡，多卡没有覆盖）；UE 路线适用（社区有人在单张 RTX 6000 Ada 48GB 上跑通）；ReShot 提取这一步按 24–32GB 档推断为适用（同样用 full 模式），这一档没有自己的数据。
Union Control 路线（主线）：Blender 深度视频 → LTX Union Control
它是什么
【官方】Union Control 是 Lightricks 发布的一个 IC-LoRA 适配器，一个文件同时支持深度、Canny 边缘和姿态三种控制信号。它是在 LTX-2.3 上训练的，LTX 官方文档的 LTX-2.5 工作流直接复用这个文件。LTX 官方的 IC-LoRA 文档在「深度图」一节里，把「Blender/3D 软件的合成深度渲染」列为深度来源之一。
- 适配器：Lightricks/LTX-2.3-22b-IC-LoRA-Union-Control，权重文件 0.65 GB。文件名里带的 ref0.5 表示参考视频按输出分辨率的一半来编码，用来节省算力，工作流会自动处理。
- 文档：Union Control IC-LoRA、IC-LoRA 用法、系统要求。
显存门槛
【官方】LTX-2.5 系统要求：最低是 NVIDIA 显卡 32GB+ 显存、32GB 内存、100GB 硬盘空间、CUDA 12.7 以上；推荐 A100（80GB）或 H100、64GB 以上内存。Union Control 文档本身没有单独写显存，按底模要求算。
模型文件大小（【官方】Hugging Face 文件列表）：
- LTX-2.5 蒸馏版主模型：bf16 文件 42.02 GB；ComfyUI 用的 int8 版文件 21.5 GB；NVFP4 版文件 18.72 GB。
- Gemma 4 12B 文本编码器：bf16 文件 26.26 GB；int8 版文件 15.37 GB。
ComfyUI 官方的 LTX-2.5 模板默认用 int8 版本，但 ComfyUI 文档没有给出 int8 版的显存门槛，所以 24GB 及以下能不能跑，待核实。
第 1 步：在 Blender 里搭灰模、定机位
- 用简单几何体和人形假人（mannequin）摆出场景，不用贴材质。
- 打好摄像机动画：推拉、摇移、升降都在这里定。之后改机位就要重新渲染，所以这一步要定死。
- 人物走位用骨骼动画或关键帧做在假人上。不要用真人扫描模型或真人肖像。
- 渲染引擎用 Workbench 或 EEVEE 就够了。灰模只需要结构，不需要好看。
第 2 步：渲染哪些通道
【官方】Blender 手册（5.2 版，「视图层 ‣ 通道」面板）里，数据类通道有这几个和本文相关：
- Depth（深度，旧版叫 Z）：到最近可见表面的距离，Cycles、EEVEE、Workbench 都能出。手册注明：画面开了景深或运动模糊时这个通道会有噪点，那种情况建议用 Mist。
- Mist（雾）：到最近可见表面的距离，映射到 0.0–1.0，Cycles 和 EEVEE 能出。起止距离在「世界」属性里设置。
- Normal（法线）：世界空间的表面法线。Union Control 不吃法线，只在社区方案 comfyui-blender-temporal 里会用到。
推荐做法：用 Mist 通道当深度来源，因为它已经是 0–1 的范围，而且不受景深和运动模糊影响。Mist 的起止距离要盖住整个镜头的前景到背景，并且整段镜头保持不变。LTX 官方的建议是全片深度范围一致、帧与帧之间不要闪。
第 3 步：调成 LTX 要的样子再导出
- 明暗方向要反过来。【官方】LTX Union Control 文档说明深度图「越亮越近」。Blender 的 Mist 是近处 0（黑）、远处 1（白），方向相反，所以在合成器里接一个反相（Invert Color）节点。用 Depth 通道的话，它是真实距离，要先接归一化（Normalize）节点再反相。
- 分辨率：长宽都要能被 32 整除（【官方】NVIDIA Playbook 对 LTX 的说明），例如 1280×704、1920×1088。LTX 官方建议控制视频的分辨率和目标输出一致。
- 帧数：用 8 的倍数加 1，例如 49、65、97、121 帧（【官方】NVIDIA Playbook 的排错表）。同一张表建议单个镜头控制在 5 秒左右（121 帧），太长容易跑偏。
- 帧率：Union Control 的输出分辨率、长度和帧率都跟着参考视频走，所以渲染时的帧率就是成片的帧率。
- 格式：工作流第一个节点是 Load Video，所以最终要交一段视频文件。可以先输出 PNG 序列方便检查，再在 Blender 里用 FFmpeg 视频格式编码成 MP4；也可以直接输出 MP4。想留原始数据以后重用，就另存一份 OpenEXR。
镜头运动怎么传进去？ Union Control 没有单独的「摄像机轨迹」输入，镜头运动就包含在每一帧的深度里，深度视频本身就带着运镜。如果只想锁运镜，不想锁画面结构，可以看 LTX 官方的另一个适配器 Motion Control IC-LoRA，它用稀疏的运动轨迹做控制，本文不展开。
姿态怎么办？ Blender 不直接输出 OpenPose 格式的骨架图。官方工作流的做法是在 ComfyUI 里用 DWPose 从视频里提取姿态。用灰色假人渲染的视频能不能被 DWPose 稳定识别，待核实。灰模场景建议优先用深度。
第 4 步：ComfyUI 里怎么接
【官方】需要的自定义节点：ComfyUI-LTXVideo、ComfyUI-VideoDepthAnything、comfyui_controlnet_aux（DWPose 和 Canny 预处理器在这里面）。
【官方】官方工作流：ComfyUI-LTXVideo 仓库里的 LTX-2.5 Union Control 蒸馏版工作流。官方文档描述的结构：
- Load Video 读入参考视频，进入「Reference Video」子图。子图默认用 Video Depth Anything 从视频里估算深度；想改用 Canny 或 DWPose，要把对应的预处理器重新连到 Resize 节点。
- LTXICLoRALoaderModelOnly 加载 Union Control 适配器，并读出它的参考缩放系数（ref0.5）；LTXAddVideoICLoRAGuide 把缩小后的参考视频作为引导加进去。
- 「use image input」开关可以在纯文字生成和「加一张首帧图」之间切换。首帧图可以用来定画风。
- 第一阶段：蒸馏模型加适配器跑 8 步；接着 LTXVCropGuides 去掉引导部分；第二阶段：2 倍放大再跑 4 步。
Blender 已经渲染好深度时：深度已经有了，再让 Video Depth Anything 估一遍是多余的，还可能把干净的渲染深度弄糊。思路是绕开子图里的深度估算，把你的深度视频直接接到 Resize 节点。官方文档写了「切换预处理器要改接到 Resize 节点」，也把 Blender 合成深度列为深度来源，但没有给出「直接喂渲染深度」的现成接法。这种接法是本文按官方说明推出来的，未经本站实测，具体连线待核实。不想改图的话，把灰模的普通渲染画面交给默认子图去估深度，也能用。
【官方】参数建议：
- 适配器强度默认 1.0；想让 AI 自由一点，调到 0.5–0.8。
- CFG 用 1，范围在 1.0–1.5 之间。
- 可以再叠普通风格 LoRA，强度 0.5–0.8。
- Canny 阈值默认 92/200（只在换成 Canny 时用）。
ComfyUI 自带模板里也有一个「LTX-2.3 IC-LoRA」模板（模板库里搜 LTX-2.3 IC-LoRA），用的是 LTX-2.3 蒸馏 fp8 版（文件 29.53 GB）加同一个 Union Control 适配器，同样从驱动视频里提取控制信号。ComfyUI 文档没有写这个模板的显存门槛，待核实。
许可
【官方】Union Control 适配器和 LTX-2.3 用的是 LTX-2 社区许可，LTX-2.5 用的是 LTX-2.x 社区许可。两份许可都规定：年收入达到 1000 万美元的机构（「Commercial Entities」）商用要另签付费许可。这是开放权重加条件免费商用，不是 OSI 意义上的开源。具体以协议原文为准：LICENSE-2、LICENSE-2_x。
新选择：Layout-To-Render（直接吃灰模预演）
【官方】2026 年 10 月，Lightricks 在 Hugging Face 上放出了 LTX-2.5 的 Layout-To-Render IC-LoRA。它不需要先渲染深度图：把 Blender 或 Unreal 里的灰模、方块预演视频直接喂进去，再给一张定调的首帧（可以用任何生图模型做），就能出成片，镜头路径和物体位置跟着预演走。
- 工作流文件在模型页仓库里（
LTX-2.5_ICLoRA_Layout_To_Render_Two_Stage_Distilled.json），要装 ComfyUI-LTXVideo；下载前要登录 Hugging Face 并同意协议。 - 官方参数：先 960×544 跑 8 步，再放大到 1920×1088 跑 3 步；强度 1.0、CFG 1；宽高能被 64 整除，帧数是 8 的倍数加 1，建议 24fps。提示词里别写 clay、3D、Unreal 这类词。
- ComfyUI 工作流出来的视频没有声音，需要的话在剪辑软件里另配；首帧要从预演第一帧出发做，不要直接用灰模截图（LTX 文档）。
- 显存：模型页没单独写，按 LTX-2.5 官方要求，最低 32GB 显存、32GB 内存；24GB 及以下待核实。
- 许可：LTX-2.x 社区许可，和上面 Union Control 一样，年收入 1000 万美元以上的机构商用要另签；以协议原文为准。
数据来自官方，未经本站实测；核实日期 2026-11-03。
NVIDIA 首尾帧路线：NVIDIA 官方的 Blender + LTX-2.3 首尾帧工作流
【官方】NVIDIA Playbook「Generate Controlled Video with ComfyUI」，页面写的最后更新日期是 2026-08-03，标注难度 Advanced、约 18 分钟。
和 Union Control 路线的区别
这条路线不往视频模型里喂深度视频。Blender 的深度只用来生成首帧和尾帧两张关键图，中间的运动由 LTX-2.3 的首尾帧（FirstFrame/LastFrame）模型按提示词补出来。所以它锁得住起点和终点的构图，但锁不住中间每一帧的运镜路径。要逐帧锁机位，用 Union Control 路线。
硬件门槛
【官方】GeForce RTX 或 RTX PRO 显卡，Windows 11；16GB 以上独立显存（推荐 RTX 5070 Ti、RTX PRO 2000 Blackwell 或更高）；建议 64GB 内存。其中「3D Guided Generative AI」蓝图的 README 写明只在 Windows x64 上测试过，内存最低 32GB、建议 64GB 以上。
步骤
- 装两个蓝图和 ComfyUI 组件。
- 3D Object Generation 蓝图：用文字生成 3D 道具，可选。也可以直接在 Blender 里建模。
- 3D Guided Generative AI 蓝图：安装后会带上 Blender 里的「ComfyUI BlenderAI node」插件。
- 搭场景。 Playbook 写的是：用 Blender 4.2 导入资产，蓝图自带示例场景，可以删掉示例道具换成自己的。机位、景深和主体位置会一路带到成片里。
- 生成首帧。 打开 Blender 4.5 LTS，在 ComfyUI BlenderAI node 面板里点「Launch/Connect to ComfyUI」。先确认 UNET Loader、DualCLIPLoader、KSampler 几个节点的字段都已经填好（蓝图 README 要求 UNET 选 FLUX.1 Depth dev 的 NVFP4 版），然后点 Run。这个图会从 Blender 视口生成深度图，再和提示词一起交给 FLUX.1 Depth 出图。
- 生成尾帧。 场景有动画就拖到结束位置；场景是静止的就另放一台摄像机、挪好物体。插件菜单切到 last frame，改个输出文件名，再点 Run。
- 用 LTX-2.3 出视频。 在 ComfyUI 模板库里搜 LTX，打开 FirstFrame/LastFrame 模板（ComfyUI 文档里叫「LTX-2.3 FLF2V」），放入首尾帧，提示词写一段描述中间运动的自然语言。先用 1280×704 试，满意了再出 1920×1088。
- 超分到 4K（可选）。 在 ComfyUI Manager 里搜 RTX，安装 RTX Video Super Resolution 节点，接在 VAE Decode 和 Create Video 之间。约 720p 的素材选 3 倍，1920×1088 的选 2 倍。
【官方】Playbook 排错表里的几条参数：
- 迭代时 20–30 步，成片 40 步以上；Guidance 约 3.0–3.5。
- 尾帧对不上时，把尾帧强度调到 1.0，或者把尾帧位置从 -1 改成 -12。
- 出全黑画面时，检查帧数是否符合 8 的倍数加 1、有没有在 VAE 解码前加 LTXVCropGuides、Gemma 文本编码器有没有加载。
许可
【官方】FLUX.1 Depth 是非商用许可，蓝图 README 写明本蓝图仅供非商用，商用要联系 Black Forest Labs。LTX-2.3 部分同 Union Control 路线的许可说明。
UE 路线（第二路线）：用 UE 渲染控制视频
UE 这一侧只负责出控制视频，后半段接 Union Control 工作流，或者像 NVIDIA 首尾帧路线一样出首尾帧。
怎么导出深度
- 【官方，待核实】UE 5.7 文档「Cinematic Render Passes」（链接）说明，Movie Render Queue 的 Deferred Rendering 可以额外输出后期处理材质通道，而且必须用 .exr 格式输出。这个页面本站未能打开，细节待核实。
- 【社区】Epic 开发者社区教程「Layered Rendering in Unreal Engine」提到：启用「Movie Render Queue Additional Render Passes」插件后，Deferred Rendering 设置里默认有 MovieRenderQueue_WorldDepth 和 MovieRenderQueue_MotionVectors 两个通道可以勾选。
UE 导出的世界深度同样是真实距离，要先归一化、再反相成「越亮越近」，再编码成视频交给 Load Video。分辨率、帧数的要求和 Union Control 路线一样。
显存门槛
先看后面接的方案：接 Union Control 路线要满足 LTX-2.5 官方最低 32GB，接 NVIDIA 首尾帧路线要满足 NVIDIA 官方最低 16GB。但 UE 编辑器本身也要占显存，和 ComfyUI 放在同一张卡上时要留多少没有数据，所以 8GB、10–16GB、24–32GB 三档都是待核实；48GB 以上有社区报告在单张 RTX 6000 Ada（48GB）上跑通（见下方社区案例）。
社区案例
- 【社区】Piotr Buczkowski 的 LinkedIn 帖子（2026-09 初发布）：在 UE 5.8 里搭了一条西部小街，有灰色假人、马和木桶，做了四个镜头。把每帧深度通过控制适配器交给 LTX 2.5，再用像素超分到 1536×896。作者称每个镜头生成约 2 分钟、超分约 4 分钟，全程在单张 RTX 6000 Ada 上跑（这张卡是 48GB 显存，帖子本身没写显存数字）。帖子没说用的是哪个控制适配器、什么精度、多少步，所以这个耗时不能直接套到别的卡上。
- 【社区】XRVP Lab 的文章「Previs to Photorealistic」（页面写的更新日期是 2026-01-31）：在 UE 里锁定机位，渲染一段低质量预演视频，交给 LTX-2.3 Motion Track Control IC-LoRA 当运动参考，再用 FLUX.2 [klein] 生成首、中、尾几张控制帧来定画面风格。节点同样是 LTXICLoRALoaderModelOnly 和 LTXAddVideoICLoRAGuide。文章没有写显存和耗时。
Epic 协议提醒
【官方】Epic 的协议禁止把 UE 和 MetaHuman 用于训练 AI：
- UE EULA 第 6(e) 条禁止把 Licensed Technology（UE 代码和随 UE 提供的 Epic 内容）用作生成式 AI 的训练输入，或用作会被拿去训练的提示输入。
- 同一条还禁止用 MetaHuman 数字角色和动画曲线（以及为复刻 MetaHuman 功能而做的渲染输出）去训练或测试 AI。
- 来源：UE EULA、MetaHuman Creator EULA、UE EULA 变更记录，核实于 2026-10-27。
本文的用法是：把 UE 渲染出的深度视频当作控制信号，交给已经训练好的模型去生成视频，不拿它训练模型。这种用法是否受上述条款限制（例如条款里的「prompt-based input」怎么理解），以协议原文为准，本文不下结论。如果场景里用到 MetaHuman 角色，或者打算把渲染结果拿去训练 LoRA，先读原文。用 3D 渲染做训练素材的协议问题，详见武打 LoRA 那篇的「自己训练前的提醒」一节。
用 Blender 走 Union Control 路线就不涉及 Epic 协议。
社区方案
ViewGen（UE_Gen）
【社区】neely3d-rgb/UE_Gen，作者 Creative Story Lab Inc.，MIT 许可，31 星。
- 功能：UE 编辑器插件，可以一键抓取视口画面和引擎深度缓冲，带分割、通过 Movie Render Graph 快速渲染，还有可视化的节点编辑器，直接对应 ComfyUI 的 API 格式工作流，自带 30 多个工作流模板（img2img、ControlNet 深度、vid2vid 等）。
- 要求：README 写的是 UE 5.7 以上，支持 Windows、Linux 和 macOS。
- 它也能接 Meshy 的付费 API，本站不推荐这一项，只用它对接本地 ComfyUI。
- 维护情况：仓库创建于 2026-04-14，最后一次推送是 2026-04-24，之后半年没有更新，在新版 UE 上能不能用待核实。
- 显存门槛：插件本身只抓图和发请求，显存取决于你在 ComfyUI 里跑的工作流。接 Union Control 路线就按 32GB 起。
ComfyUI-ReShot
【社区】maosika-ai/ComfyUI-ReShot，Apache-2.0 许可，最后推送 2026-09-13。上游项目 maosika-ai/reshot 也是 Apache-2.0，最后推送 2026-09-28。
- 用途（本文只推荐这一种）：动作迁移。 把一段参考视频转成深度、姿态（DWPose）或 Canny 视频，只保留运镜和动作，丢掉原视频的人脸、服装和画面。它有 6 个节点：Depth/Pose/Canny 各一对，分 Video 和 Map（图像帧）两种接口。
- 只做提取。 从公开的节点代码看：它只做深度、姿态、边缘提取，姿态节点的面部关键点默认关闭，不含替换人物的节点。
- 在本文流程里的位置：Blender 已经能直接渲染出干净的深度，用不上 ReShot 来估深度。它适合的场景是「动作来自一段你自己拍的视频」：先用 ReShot 抽出姿态或深度，再和 Blender 的场景配合。只用自己拍摄或有授权的视频，不要用他人视频或真人肖像。
- 能接的模型：作者给了 MiniMax H3 Fun ControlNet 的接法（target 设成 h3 时是 24fps、尺寸取 32 的倍数），以及 Wan 2.1 VACE 的接法（16fps、16 的倍数；作者注明这条路没有端到端验证过）。README 里还有接付费 API 的配方，本站不推荐。
- 【官方（第三方项目方 README，不是 LTX 或 NVIDIA 官方），2026-09-12】只算提取这一步：NVIDIA 8GB 显卡可以跑 fast 模式（约占 3GB 显存），full 模式要 12GB（约占 11GB）。RTX 4090 跑 full 约 62 毫秒/帧，RTX 3080 Ti 跑 fast 约 34 毫秒/帧。深度权重文件 111 MB，姿态权重文件 340 MB。
- 显存门槛：提取这一步是 8GB 入门起，但这不代表整条流程 8GB 能跑。后面的生成模型（H3 Fun ControlNet、Wan VACE 等）按它自己的门槛算，本文没有核实这些门槛，待核实。
其他相关项目
- 【社区】ComfyUI-BlenderAI-node（AIGODLIKE）：在 Blender 里直接跑 ComfyUI 节点，能用视口或渲染结果作为输入。GPL-3.0 许可，最后推送 2025-11-28。NVIDIA 首尾帧路线用的「ComfyUI BlenderAI node」插件就是这一类，由 NVIDIA 蓝图安装。
- 【社区】comfyui-blender-temporal：把 Blender 导出的 EXR 深度和法线通道归一化（可选反相），批量读成 ComfyUI 的图像，接时序 ControlNet。它的许可是 PolyForm Noncommercial 1.0.0，禁止商用，最后推送 2026-07-19。
小结
- 想逐帧锁住机位和走位：Blender 渲染 Mist 深度，反相成「越亮越近」，编码成视频，交给 LTX-2.5 Union Control 官方工作流。官方门槛是 32GB 显存起。
- 只有 16GB 卡：走 NVIDIA 官方路线，用 Blender 深度生成首尾帧，再用 LTX-2.3 首尾帧模型补中间。注意 FLUX.1 Depth 是非商用许可。
- UE 能出同样的深度视频，但多一层 Epic 协议问题。作为控制信号是否受限，以协议原文为准。
- 社区方案里，ReShot 只做动作迁移，不含替换人物的功能，项目方称提取这一步 8GB 能跑，但生成部分另算。ViewGen 功能较全，但已半年没有更新。
- 24GB 及以下跑 Union Control、灰模能否被 DWPose 识别，都还待核实。
站内推荐