公司动态

LTX-2视频生成入门:如何在ComfyUI中跑通第一个AI视频工作流

📅 2026/8/17 21:52:02
LTX-2视频生成入门:如何在ComfyUI中跑通第一个AI视频工作流
LTX-2视频生成入门如何在ComfyUI中跑通第一个AI视频工作流【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo想要用一句话生成一段会动的画面却不知道该从哪个插件下手ComfyUI-LTXVideo 就是为 LTX-2 视频生成模型准备的扩展包它把文字转视频、图像转视频、音频生成、HDR 调色、唇形配音等能力全部打包成可视化的节点让你不必写一行代码就能控制一条完整的视频生产线。下面这份指南会带你从安装、选模型、跑通首条工作流一路走到显存优化和高级玩法。一、先看仓库里有什么一张功能地图clone 下项目后你会看到几个关键目录它们各自负责一类活儿example_workflows/官方示例工作流按2.0/和2.3/两个模型版本分目录存放直接拖进 ComfyUI 就能跑tricks/nodes/进阶技巧节点包括注意力银行、流编辑、扰动注意力PAG、RF 采样器等web/js/给节点用的前端面板比如稀疏轨迹编辑器和引导器参数面板gemma_configs/与system_prompts/Gemma 文本编码器所需的配置和系统提示词负责把提示词翻译成模型听得懂的向量。记住一个原则想快速出片先看example_workflows想玩出花样再看tricks。二、5步完成环境准备缺一不可安装之前先做体检这台机器需要同时满足三样已装好 ComfyUI 主程序LTX-2 的核心模型本就在 ComfyUI 内核里支持 CUDA 的 N 卡显存建议 32GB 起步至少 100GB 空闲磁盘模型和缓存都很占地方。体检通过后安装节点只需走一遍 Comfy Manager打开 ComfyUI按CtrlM呼出 Manager进入Install Custom Nodes搜索LTXVideo点击安装重启 ComfyUI。重启后节点列表里会出现新的LTXVideo分类首次使用时模型会自动下载。三、蒸馏模型还是完整模型按用途选档位LTX-2 有蒸馏distilled和完整full两条路线对应不同工作流。两者的取舍很简单对比项蒸馏模型完整模型出片速度快适合反复试参数慢适合最终出片画面质量良好更细腻显存压力较小较大典型场景原型验证、测试提示词成品交付比如2.0/目录下就同时给了LTX-2_T2V_Distilled_wLora.json和LTX-2_T2V_Full_wLora.json两套文字转视频工作流你可以先跑蒸馏版确认创意方向再切完整版要画质。蒸馏与基础模型对比示例四、跑通第一条文字转视频工作流以2.3/目录下的单阶段工作流为例整条链路是这样的加载模型 → 编码提示词 → 采样器 → VAE 解码 → 输出视频具体操作时你只需要三步拖入LTX-2.3_T2V_I2V_Single_Stage_Distilled_Full.json在提示词节点里写一句画面描述越具体越好点击运行等待画面一帧帧长出来。如果你需要把画面从低分辨率放大到最终尺寸2.3还提供了两阶段工作流先出基础分辨率再做上采样追求效率时优先选它。五、让静态图动起来I2V 与视频续写图片转视频同样有现成方案。2.0/里的LTX-2_I2V_Full_wLora.json与LTX-2_I2V_Distilled_wLora.json分别对应完整和蒸馏两种档位。想要更长的视频可以在采样环节动脑筋。easy_samplers.py提供了四类采样器LTXVBaseSampler基础采样一次成型LTXVExtendSampler在已有视频末尾接着生成实现续写LTXVInContextSampler把多张条件图同时喂给模型适合多帧参考LTXVNormalizingSampler带归一化处理的采样路径。六、IC-LoRA 能力金字塔从单控制到全能控制IC-LoRA 是这个项目最值得玩的部分它像给模型插上不同感官让它能读懂额外的控制信号。按难度可以分三层第一层单信号控制。用2.0/的LTX-2_ICLoRA_All_Distilled.json体验深度、人体姿态、边缘三种控制适合理解 IC-LoRA 的基本接法。第二层Union 统一控制。2.3/的LTX-2.3_ICLoRA_Union_Control_Distilled.json把深度和边缘canny合并进同一个 LoRA无需来回换模型。它的秘密在于让 LoRA 在降采样后的潜空间上工作——显存占用更低推理更快画质却几乎不损失。第三层专项能力。同一个 2.3 目录下还有三张王牌HDR 调色LTX-2.3_ICLoRA_HDR_Distilled.json生成 ARRI LogC3 编码的线性 HDR 视频配合LTXVHDRDecodePostprocess节点见hdr.py解回线性 HDR同时输出 SDR 预览和原始 HDR 张量想导出 EXR 序列记得先设置环境变量OPENCV_IO_ENABLE_OPENEXR1唇形配音LTX-2.3_ICLoRA_Lipdub_Two_Stage_Distilled.json让视频里的人物说出你写的新台词支持多语言配音和同语言改词两阶段管线会先出基础分辨率再放大、同时锁定音频说话人的声音特质靠参考音频令牌保持空间超分LTX-2.3_ICLoRA_Pixel_Spatial_Upscaler_Distilled.json提供 2× 和 4× 两档创造性放大——它不是插值像素而是凭空补画细节所以先在小分辨率下锁定构图和运动最后一步再放大效果最好。七、顺带一提LTX-2 还会生成声音很多人不知道LTX-2 是一个音视频联合 Transformer单独驱动它也能做文字转音频。2.3/目录下的LTX-2.3_T2A_Single_Stage_Distilled.json演示了这套接法用LTXVAudioOnlyModel节点关闭视频流、只对音频做去噪配合LTXVAudioOnlyEmptyVideoLatent一个固定占位潜变量和LTXVConcatAVLatent拼接音频潜变量最后用LTXVAudioVAEDecode把音频从联合潜空间里抽出来再接 ComfyUI 自带的音频保存节点即可。八、显存不足5种解法从轻到重如果你只有 16GB 显存别急着放弃按顺序试换蒸馏模型蒸馏工作流的显存占用明显更低用低显存加载器low_vram_loaders.py里的LowVRAMCheckpointLoader等节点会安排好模型卸载顺序让生成过程挤进 32GB 显存开启动态卸载启动 ComfyUI 时加参数python -m main --reserve-vram 5预留出系统空间降低分辨率与帧数从 768×512、97 帧往下降观察画质与显存的平衡点启用分块处理tiled_sampler.py和tiled_vae_decode.py把大图切成小块逐步处理LTXAddVideoICLoRAGuide节点里也内置了use_tiled_encode开关。九、进阶武器库tricks 目录里藏着什么当你把基础工作流跑顺了tricks/nodes/下的节点就是你的外挂attn_bank_nodes.py把某一帧的注意力权重存下来再注入到后续帧保持跨场景一致性ltx_flowedit_nodes.py流编辑——保留源视频的运动与结构只替换内容适合做风格迁移式的改写ltx_pag_node.py扰动注意力引导PAG在无额外控制信号的条件下提升生成质量rectified_sampler_nodes.py与rf_edit_sampler_nodes.py提供正反向采样与纠偏采样路径是精细控制去噪过程的高级玩法latent_guide_node.py在潜空间里给生成过程打锚点实现定向引导。这些节点没有一个多余的但也不建议新手第一天就全接上——先把基础链路跑通再逐个体会每个节点改变的是什么。十、常见问题快问快答Q装完看不到 LTXVideo 分类A先确认是否装在了 ComfyUI 的custom_nodes目录下再核对requirements.txt里的依赖是否齐全最后查看 ComfyUI 启动日志里有没有报错。Q模型加载失败A对照 README 的 Required Models 清单核对文件名和存放目录——检查点放models/checkpoints上采样器放models/latent_upscale_modelsLoRA 放models/lorasGemma 编码器放models/text_encoders下对应文件夹路径错一格都不行。Q出片效果不理想A先把提示词写具体主体、环境、光线、镜头运动再调采样步数与引导参数最后确认你加载的工作流版本2.0/2.3与模型文件匹配。十一、给你的行动清单周一装好节点跑通一条蒸馏版 T2V周三切到 I2V用一张图生成一段动态周五给画面加上 Union Control 深度控制周末试试 HDR 或唇形配音把作品发到社区交流。AI 视频生成的入门门槛已经被这样的开源项目压到了拖拽节点的级别。剩下的变量只有你的提示词和耐心——现在就去example_workflows/里挑一个工作流开始你的第一个作品吧。【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考