AI视频配音不再靠猜：WhatDreamsCost-ComfyUI 自定义音频+Speech Length Calculator全解

【免费下载链接】WhatDreamsCost-ComfyUI LTX Director and a variety of other custom ComfyUI nodes and workflows 项目地址: https://gitcode.com/gh_mirrors/wh/WhatDreamsCost-ComfyUI

WhatDreamsCost-ComfyUI 是一个 ComfyUI 自定义节点合集，主打 LTX 视频生成。其中 AI视频配音 相关的两大神器——LTX Director 自定义音频（Custom Audio） 和 Speech Length Calculator 台词时长计算器，能彻底告别"视频生成完才发现声音差了3秒"的尴尬。本文将手把手带你玩转这套配音方案，零基础也能跟上！🎬

---

一、痛点：AI 视频配音为什么要"算着做"？

用 LTX 这类模型生成带语音的视频时，大多数人有过这种经历：

• 台词写好了，却不知道视频该设多长 → 生成完声音戛然而止，或者画面空转好几秒
• 想用自己的配音 → 只能把整段音频从头铺到尾，和画面节奏对不上
• 想"前半段用真配音、后半段让 AI 补音" → 常规工作流根本做不到

WhatDreamsCost-ComfyUI 用两个节点 + 一条时间线把这三件事全解决了：

节点	解决的问题	源码位置
Speech Length Calculator	台词说多久，视频就该多长	speech_length_calculator.py
LTX Director（自定义音频）	在时间线上精确铺音频，空白处自动补	ltx_director.py
Load Audio UI	可视化裁剪、试听音频	load_audio_ui.py

---

二、3步安装 WhatDreamsCost-ComfyUI

最快安装方法：进入 ComfyUI 的 custom_nodes/ 文件夹，执行克隆命令：

cd /你的路径/ComfyUI/custom_nodes
git clone https://gitcode.com/gh_mirrors/wh/WhatDreamsCost-ComfyUI

也可以直接在 ComfyUI Manager 中搜索 WhatDreamsCost-ComfyUI 一键安装。

⚠️ 重要提示：使用 LTX Director 前，请确保已把 ComfyUI-LTXVideo 和 ComfyUI-KJNodes 更新到最新版，否则节点无法正常工作（见 README.md 的安装说明）。

安装完成后，在节点列表的 WhatDreamsCost 分类下即可看到全部节点，节点注册表定义在 init.py 中。

---

三、Speech Length Calculator：台词时长计算器怎么用

3.1 节点长什么样、输入什么

这是一个"实时反馈"节点——不需要运行工作流，边打字边出结果：

1. 把剧本/提示词写进 text 输入框
2. 把角色要说的台词用引号包起来（双引号、单引号、中文引号都识别）
3. 节点按 慢速 100 WPM / 平均 130 WPM / 快速 160 WPM 三档语速，实时显示三种情况下视频应有的时长（秒数 + 帧数）

核心计算逻辑就在 speech_length_calculator.py 的三行代码里：先统计引号内的词数，再按每分钟 100/130/160 词换算成秒数，最后乘以帧率向上取整输出帧数。

3.2 参数怎么调

参数	默认值	作用
fps	24	视频的帧率，决定输出的帧数基准
additional_time	0.0 秒	额外留白时间，建议加 1~2 秒作为收尾缓冲
text_input（输入线）	—	可接入其他文本节点，仍然实时更新

节点输出 4 个结果：slow_frame_count（慢速帧数）、average_frame_count（平均帧数）、fast_frame_count（快速帧数）和文本透传，详见 speech_length_calculator.py。

3.3 实操技巧

• 拿"平均帧数"当目标时长最稳：真人说话大多落在 130 WPM 左右
• 中文台词按"字"估算：把每个汉字当作一个词即可，结果略偏长反而更安全
• 把计算出的帧数直接填进 LTX Director 的时间线总长度，声音和画面就天然对齐了 ✅

前端界面代码（三档语速卡片、实时词数统计）在 js/speech_length_calculator.js 中，如果你关心 UI 实现可以去看看。

---

四、LTX Director 自定义音频：把配音精确放进时间线

LTX Director 是一个完整的 LTX 时间线编辑器，自定义音频是它最实用的功能之一：导入、裁剪、拼接音频片段，全部在节点内完成，还能和 Prompt Relay、首尾帧等特性混用。

4.1 三步开启自定义音频

1. 铺音频：把音频文件拖进 LTX Director 的音频轨道，可放置多个片段，各自独立拖动和裁剪
2. 打开开关：勾选节点的 use_custom_audio（在 ltx_director.py 中定义）——打开表示"用时间线上的音频"，关闭则"让 AI 从零生成音频"
3. 生成：节点会把音频轨道上所有片段按时间位置合成一条完整音轨（合成逻辑见 _build_combined_audio），再编码成音频 latent 参与扩散过程

4.2 音频修补（Audio Inpainting）：人声 + AI 音无缝混合

这是自定义音频最惊艳的地方 🎉

• 打开 inpaint_audio（ltx_director.py）后，你在轨道上没铺音频的空白区，AI 会自动生成声音填进去
• 铺了音频的部分则严格保留你的原始声音
• 也就是说："前 5 秒是我的配音，之后让 AI 顺着生成环境音"——一行配置就能实现

技术上是给音频 latent 加了一个 noise_mask：有音频的区段 mask 置 0（保持原声），空白区段置 1（交给模型生成），实现细节在 ltx_director.py。

4.3 现成工作流直接跑

项目仓库自带一条支持最新 ComfyUI 版本的 I2V 自定义音频工作流，导入后照着连即可：

📂 LTX I2V FFLF Custom Audio Workflow - SUPPORTS LATEST COMFYUI VERSION - V3.json

同目录还有首尾帧两阶段/三阶段工作流可参考：example_workflows/ 文件夹。

---

五、Load Audio UI：铺轨前的音频小工坊

往 LTX Director 铺音频之前，通常要先裁剪。Load Audio UI 就是为此设计的升级版音频加载节点：

• 简单界面直接裁剪：拖动选区即可截取想要的片段，精确到百分之一秒
• 拖放支持：直接把文件拖进节点（原版 Load Audio 还不支持拖视频/音频文件）
• 输出三件套：audio 音频、duration 时长、filename 文件名，方便和其他节点联动
• 自动扫描 input 目录和 whatdreamscost 工作区文件夹里的音频

典型用法：Load Audio UI 裁剪 → 输出接到 LTX Director 的音频轨道 → 时间线上微调位置。

---

六、一套完整的"配音不靠猜"工作流

把三个节点串起来，就是本文标题承诺的完整流程：

1. 算时长：把剧本丢进 Speech Length Calculator，取"平均语速"的帧数 + additional_time 加 1 秒缓冲，作为时间线总长度
2. 剪音频：用 Load Audio UI 裁出每段配音
3. 铺时间线：LTX Director 里把配音片段拖到对应时间段，打开 use_custom_audio 和 inpaint_audio
4. 生成：有配音的地方用真声，空白的地方 AI 自动补环境音/台词，音画长度天然一致

💡 进阶：时间线支持保存/加载为 JSON，调好的音画布局可以一键复用；还可以配合 IC-LoRA 轨道做参考视频，玩法见 README.md 的 LTX Director 2.0 功能列表。

---

七、常见问题 FAQ

Q1：Speech Length Calculator 输出是 0？ 检查台词是否真的被引号包住——节点只统计引号内的词（speech_length_calculator.py），没引号就只按 additional_time 计算。

Q2：帧率和输出对不上？ fps 参数要和实际生成帧率一致（LTX 常用 24/25），否则秒数和帧数会错位。

Q3：自定义音频时视频变黑屏？ 这通常是 ComfyUI-LTXVideo 版本过旧导致的 mask 兼容问题，务必更新到最新版（README 中有明确提醒）。

Q4：override_audio 是干嘛的？ 它是"偷用"IC-LoRA 参考视频自带声音的开关（ltx_director.py），适合想让生成结果复刻参考视频音效的场景，日常自定义配音用不到。

---

八、总结

WhatDreamsCost-ComfyUI 用三个节点把 AI 视频配音 变成了"先算、再剪、后铺"的确定性流程：

• 📏 Speech Length Calculator 负责"视频该多长"
• 🎧 Load Audio UI 负责"音频先剪好"
• 🎬 LTX Director 自定义音频 负责"声音精确落位 + 空白自动补"

从此生成带配音的 AI 视频，不再靠猜，而是靠算。快去试试那条现成的 Custom Audio 工作流吧！

【免费下载链接】WhatDreamsCost-ComfyUI LTX Director and a variety of other custom ComfyUI nodes and workflows 项目地址: https://gitcode.com/gh_mirrors/wh/WhatDreamsCost-ComfyUI