1. 从灵感到镜头：为什么我决定用本地 AI 把一句剧本做成短剧

前阵子刷到一个挺有意思的玩法——把一句特别有画面感的话扔给 AI，让它自动生成分镜、对白，甚至直接剪出一条短视频。我第一反应是"这不就是套壳工具嘛"，但转念一想，要是能把整条链路跑在本地，既不用充会员，又不用被平台的审核和广告搞心态，那这事的价值就不一样了。

我当时手头正好有一句话："凌晨三点的便利店，只有自动门还在对每个失眠的人说欢迎光临。"这句话本身没什么剧情，但它自带场景、情绪、人物动线，恰恰是 AI 短剧生成最好的试验田。我给自己定的目标是：不花钱、不联网依赖、在本地机器上跑通"文本 -> 分镜脚本 -> 画面 -> 配音 -> 成片"的完整流程。

先交代一下我的硬件环境，方便你对照参考：CPU 是 i7-12700，显卡是 RTX 3060 12G，内存 32G，系统是 Windows 10。这套配置放在 2025 年就是标准入门级 AI 本地玩家配置，不算富余，但跑中小尺寸模型问题不大。如果你用的是 8G 显存甚至纯 CPU 机器，我也整理了对应的降级方案，后面会专门讲。

为什么要坚持本地？三个原因：第一，隐私。剧本也好、参考图也好，都是没公开发布的内容，我不放心丢到云端。第二，成本。市面上按条收费的 AI 短剧生成服务，一条 30 秒视频动辄几块到几十块，调试阶段一天能烧掉一顿饭钱。第三，可控性。云端工具给你的是"黑盒输出"，你没法干预中间任何一步，而本地部署的每一步都是透明的，模型不行就换，参数不对就调，这才是真正能沉淀出经验的做法。

整个项目从搭环境到出第一条完整成片，我一共花了大概一个周末的时间。中间踩了不少坑，尤其是 ComfyUI 的节点版本冲突和声音克隆模型的显存溢出，这两块卡了我最久。接下来我就按实际执行的顺序，把每一步怎么选型、怎么配置、踩了什么坑，原原本本写出来。

2. 短剧工厂搭建：模型选型与本地部署的取舍方案

2.1 本地大模型部署：先用 Ollama 跑通剧情生成

短剧的第一环是把那一句话扩展成有起承转合的迷你剧本。这一步我用的是本地部署的大语言模型。现在的选择其实不少，Ollama、LM Studio、llama.cpp 是三个主流方向。我选了 Ollama，理由是它对 Windows 用户最友好，一条命令行就能起服务，而且模型管理非常直觉化。

我用的模型是 qwen2.5:7b-instruct。为什么不是更大参数的版本？因为我的显卡只有 12G 显存，7B 模型用 Q4_K_M 量化之后大概占用 4.7G 显存，还能给后面的图像生成留出空间。如果你追求更好的文本质量，可以试试 14B 的 Qwen，但说实话，对短剧脚本这种结构化的内容，7B 已经够用，关键在提示词怎么写，而不完全在模型大小。

部署流程非常简单：

1. 去 Ollama 官网下载安装包，装完直接打开。
2. 打开命令行，执行 ollama pull qwen2.5:7b-instruct 。
3. 执行 ollama serve 启动服务。
4. 用 ollama run qwen2.5:7b-instruct 测试对话。

需要说明的是，如果你的机器没有独显，纯 CPU 跑 7B 模型也能出结果，就是速度会慢一些，大概每秒几个 token，但短剧脚本本身只需要几百字，等个一两分钟完全可以接受。

2.2 图像与视频生成：ComfyUI 工作流承担画面生产

画面生成我选的是 ComfyUI，而不是 WebUI。原因很直接：短剧生成需要批量产出分镜图，每张图的人物、场景、风格要保持一致。ComfyUI 的节点式工作流可以把"文生图""图生图""视频生成"串成一条流水线，改一个节点的参数，整个流程就跟着变，这比 WebUI 里一个个手动设置高效得多。

图像模型我用的是 SDXL 系列的 realisticVision，它对真实场景的表现力很好，适合便利店这种生活化场景。模型文件从 Hugging Face 或 Civitai 下载后，放到 ComfyUI 的 models/checkpoints 目录即可。视频生成用的模型是 AnimateDiff 的 mm_sd_v15_v2.ckpt，放到 models/animatediff_models 目录。

ComfyUI 的启动方式也不复杂，下载整合包后运行 run_nvidia_gpu.bat ，浏览器会自动打开 127.0.0.1:8188 的控制界面。如果你是第一次用 ComfyUI，我建议先导入官方自带的文生图默认工作流，确认基础出图没问题后再叠加上 AnimateDiff 的节点组。千万不要一上来就搭复杂工作流，否则你会在排查节点报错上浪费大量时间。

2.3 配音方案对比：Edge TTS 与本地声音克隆的取舍

短剧需要旁白和对白。旁白我用的是微软 Edge 的在线 TTS 接口，虽然是联网的，但胜在免费、音色自然、支持中文多种情绪语调。对白部分如果想要角色音色一致，用 Edge TTS 也够用，但如果想做到"同一个角色的声音从头到尾像同一个人"，那就得上本地的声音克隆方案。

目前的本地声音克隆工具主要有两个方向：一是 GPT-SoVITS，二是 CosyVoice。GPT-SoVITS 对中文支持极佳，且支持少样本微调，只需要几分钟的参考音频就能克隆出不错的音色。我实测用 GPT-SoVITS 克隆一个人声大概需要 6-8G 显存，如果显存不够，可以分批跑——先生成音频再导入视频剪辑，而不是实时合成。

这里我做个简单对比：

方案	成本	中文自然度	显存要求	适合场景
Edge TTS 在线	免费	高	无	旁白、一般对白
GPT-SoVITS 本地克隆	免费	高（需要微调）	6-8G	固定角色配音
云端配音服务	按条收费	较高	无	不在乎成本求省事

我的建议是：第一版先全部用 Edge TTS 跑通流程，等成片风格确认了，再考虑用 GPT-SoVITS 做角色音色统一。不要一上来就追求完美，否则你会陷入"调音色调一天、片子一条没出"的困境。

2.4 剪辑拼接：FFmpeg 命令行动手处理

最后一步是把生成好的分镜图、视频片段和音频片段拼在一起。短剧的素材量不大，用剪映或者 Premiere 都行，但我个人更喜欢用 FFmpeg，因为它是命令行工具，脚本化处理后可以反复复用。尤其是当你需要调整某个分镜的时长或者更换背景音乐时，改一行命令重新跑一遍就行，不用在时间轴上手工拖动几十个片段。

Windows 下安装 FFmpeg 最简单的方式是去官网下载 release 包，解压后将 bin 目录加入系统环境变量。然后你就可以在命令行里输入 ffmpeg -version 验证是否安装成功。

3. 一句台词怎么变成分镜脚本：提示词工程是灵魂

3.1 为什么提示词工程比模型大小更关键

很多人以为本地部署了大模型，随便扔一句话进去，它就能自动写出完整的短剧脚本。实际情况远没有那么理想。大模型确实能写，但写出来的东西往往泛泛而谈、缺乏视听语言的细节。这里的关键在于：短剧是一种影像产品，而大模型默认的文本输出是"文学描述"。你问它"一个失眠的人走进便利店"，它可能会写一大段心理活动，但对画面调度、镜头运动、光线氛围几乎没有涉及。

所以提示词工程的核心作用，就是把"一句文学描述"翻译成"一组导演指令"。这就像你请了一个编剧，但他不懂分镜，你得给他一份"分镜表填写说明"，他才知道你真正要的东西长什么样。

我在实际操作中总结了一套稳定的提示词结构，包含以下几个固定字段：

• 场景编号：方便后续对号入座。
• 景别：远景、全景、中景、近景、特写，决定信息量。
• 镜头运动：固定、推、拉、摇、移，决定画面节奏。
• 画面内容：主体、动作、环境、光线，决定画面质量。
• 情绪基调：冷清、温暖、悬疑、紧张，决定调色和音乐风格。
• 对白/旁白：角色说的话，如果没有就写"无"。
• 时长：以秒为单位，后期拼接时按这个时间裁剪。

在 Ollama 里，我实际使用的系统提示词（system prompt）大致长这样（本地模型聊天窗口里可直接粘贴）：

你是一位专业的短剧导演和分镜师。请将用户提供的剧情描述拆解为分镜脚本。
每个分镜必须包含以下字段：场景编号、景别、镜头运动、画面内容、情绪基调、对白或旁白、时长（秒）。
画面内容必须具体到主体动作、周围环境、光线方向。
不要输出任何与分镜无关的解释文字。

然后配合用户提示词：

剧情描述：凌晨三点的便利店，只有自动门还在对每个失眠的人说欢迎光临。
要求输出：8个分镜，覆盖完整的情绪起伏。

这段提示词的实际输出效果，比我预想的要专业不少，第一部分就把"便利店外景、路灯、空荡的街道"这些画面要素列了出来。当然，具体生成结果会因模型版本不同有所差异，但只要你严格按照字段结构去约束，它就不会跑偏。

3.2 分镜脚本里的"画面一致性"关键词设计

短剧最容易出戏的地方是画面不一致。前一个镜头男主穿黑夹克，下一个镜头变成了白衬衫，观众瞬间出戏。为了保证一致性，我习惯在每一个分镜的画面内容描述里都显式写明角色服装、发型、外貌特征，哪怕这句话每一条分镜里都有，显得啰嗦，也必须写。

比如我的剧本里有一个"店员"角色，我在每个分镜中都标注"戴黑色鸭舌帽、穿深蓝色围裙、短黑发"。在图像生成时，这些文字会直接影响模型的输出。如果你偷懒只写"店员"，那不同镜头里他可能长成完全不同的人。

还有一个小技巧：使用统一的角色参考图。在 ComfyUI 里，通过加载一张角色设定图（正面照），配合 Image Only 节点或 ControlNet 的 OpenPose 姿态控制，让每张分镜图在保持动作姿态多变的同时，脸部特征稳定统一。这个用法有点进阶，但值得学——短剧角色不统一，基本等于白做。

3.3 避免 AI 生成的"塑料感"文案

还有一点必须提醒你：AI 写对白很容易写出"塑料感"十足的句子。比如它可能会写"或许这就是人生吧"这种听起来很对但毫无信息量的废话。短剧对白最重要的品质是"口语化"和"行动化"——角色说出来的话要么在推动剧情，要么在透露性格，绝不能只是在喊口号。

我在让模型生成对白时，加了这样一条约束：

对白必须符合日常口语习惯，每句不超过15个字，禁止使用书面语和空泛的感慨。

实测加上这条之后，模型给出的对白明显更接地气。比如原来可能是"这个城市太大了，我觉得好孤独"，改成限定后变成了"这城市，真他妈安静"。后者听起来反而更有生活质感。

4. 从脚本到分镜图：ComfyUI 工作流的搭建与一致性控制

4.1 文生图节点的参数设置与出图质量调试

拿到分镜脚本之后，下一步就是逐条变成画面。这一步我在 ComfyUI 里完成。工作流的核心是一个"文生图"节点组，由 Checkpoint 加载器、CLIP 文本编码、KSampler、VAE 解码几个节点构成。

下面是我实际使用的一组关键参数，你可以直接抄：

参数	数值	备注
采样器	DPM++ 2M Karras	速度和质量均衡
步数	25	步数越高越精细，25是质量和耗时平衡点
CFG 引导系数	5.5	太高容易过饱和，太低画面发灰
分辨率	832x1248	接近手机竖屏比例，保证后期不裁切
种子	固定一个值	固定种子才能在调参时对比效果

其中"固定种子"这条容易被忽视。如果你每次生成都换种子，那你永远不知道一个参数改动到底带来了什么变化。调试阶段务必固定种子，确认画面风格稳定之后再解锁随机性。

另外一个关键点是 SDXL 模型对提示词的敏感度很高，提示词里逗号分隔的"关键词堆砌式"写法效果最好。比如"dark street, neon sign, empty road, night, rain, cinematic light, 8k, highly detailed"这种组合方式，比写成完整句子更符合模型的训练分布。但这只是图像模型层面的习惯，和前面文本大模型的分镜脚本结构完全不冲突——你先用文本模型产出人类可读的导演脚本，再在图像生成时把每条画面的关键元素重新组织成"关键词串"。

4.2 角色一致性：用 ControlNet OpenPose 固定人物姿态

短剧分镜中人物姿态如果全是"站着说话"会很无聊，但随机生成姿态又容易让角色走形。我的解法是引入 ControlNet 的 OpenPose 节点。你先找一张符合动作预期的姿态骨架图（可以从素材网找，也可以用 PoseMy.Art 这类网页工具摆出来），导入 ComfyUI，通过 ControlNet 限制人物整体姿态，再配合文本描述画面细节。

实际工作流大概是这样的：

1. 在 ControlNet 加载器中加载 openpose 模型。
2. 连接姿态参考图到 ControlNet 的输入。
3. 在正向提示词里写清服装、发型的稳定描述。
4. 在负面提示词里加上"bad anatomy, deformed hands, extra fingers, missing limbs"等常见翻车项。

这里要说一句大实话：即便加了 ControlNet，手部依然是 SDXL 模型最容易崩的地方，尤其是手指交叉或者拿着东西的动作。我的处理方式是尽量避免特写手部的镜头，或者干脆让角色手插兜，眼不见为净。如果你非要拍手部特写，那就要用 Photoshop 或者 inpaint 功能单独修，这是本地 AI 短剧绕不开的一道苦功。

4.3 批量生成分镜：怎么避免一个镜头一个镜头地手动跑

ComfyUI 是支持批量处理的。你可以在"文生图"工作流中，把提示词文本输入节点接上一个"从文件加载"的节点，然后在 txt 文件里每行写一个分镜的正向提示词。这样点一次 Queue 就能依次生成所有分镜，不用每次都手动替换提示词。

批量生成时，我强烈建议你每张图都顺手保存一个对应的 prompt 信息文件，或者直接在图片文件名里体现分镜编号。否则等你生成到第 40 张图时，你根本分不清哪张对应哪个分镜。我在这里吃过亏，后来养成了"分镜编号+内容首词"的命名习惯，比如 Scene_03_door_open.png 。

4.4 生成结果筛选：别贪多，选最优比概率

批量生成最大的诱惑是"再多跑几张"，但实际上废片率是存在的。我的习惯是每个分镜跑 4 张作为候选，挑出一张构图最稳、面部没崩、情绪最到位的，直接用于后期。这不是浪费显存，这是在节省后期修复的时间。后期用局部重绘修一张图比重新生成一张图麻烦得多。

如果你想要更高的筛选效率，推荐在 ComfyUI 里接一个"保存图像"节点，把候选图全部输出到一个文件夹，然后用系统的图片查看器快速翻看，选出符合要求的那张后直接改名使用。

5. 让静态图动起来：AnimateDiff 视频生成与时长计算的实操记录

5.1 AnimateDiff 的安装与基本参数

短剧不能只是静态图轮播，要有镜头内的小幅度运动，真实感才出得来。AnimateDiff 是目前本地视频生成里最成熟、最容易上手的方案。它基于 Stable Diffusion 模型扩展而来，可以理解为"在文生图的基础上加了一个时间维度的处理层"。

安装步骤大致如下：

1. 在 ComfyUI 的 custom_nodes 目录下执行 git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved.git 。
2. 重启 ComfyUI，在节点列表里搜索"AnimateDiff"即可看到相关节点。
3. 将下载的 mm_sd_v15_v2.ckpt 放入 ComfyUI/models/animatediff_models 文件夹。
4. 在文生图工作流中插入 AnimateDiff Loader、AnimateDiff Sampler Settings 等节点，并将采样器替换为 AnimateDiff 专用采样器。

核心参数方面，我默认使用 16 帧画面，帧率设定为 8 FPS，合成为 2 秒的短视频片段。虽然 AnimateDiff 支持更高帧数和更多帧数，但显存消耗会急剧增加。以我的 RTX 3060 12G 为例，生成 16 帧 512x768 分辨率，显存占用大概在 9G 左右，处于临界状态。如果你的显卡低于 12G，可以降低到 8 帧或者 480x720 分辨率，运行会更稳妥。

5.2 短剧时长与镜头数量的匹配逻辑

短剧行业有一个不成文的节奏规律：30 秒到 1 分钟的短剧，镜头数量大约在 8 到 12 个。每个镜头 3 到 5 秒，观众既能看清画面，又不至于疲劳。

参考这个规律，我把前面生成的 8 个分镜，每个生成 2 秒的 AnimateDiff 视频，素材总时长 16 秒，再搭配片头标题、转场和片尾，最终成片控制在 30 秒左右。如果你的剧本对白较多，需要给每句对白留出足够空间，可以适当增加每个镜头的时长，但单镜头建议别超过 6 秒，否则观感会明显拖沓。

5.3 显存溢出与分段渲染：12G 显存的极限操作

这里必须讲讲我踩过的最痛的坑。第一次尝试让 AnimateDiff 一次性生成 16 帧 832x1248 的竖屏视频时，直接爆显存报错。查询日志发现峰值显存占用约 13.5G，超出显卡上限。

我的解决方案是分段渲染：把分镜图先缩放到 640x960，生成 16 帧视频，再交给后期工具统一放大到 1080x1920。这样显存占用能控制在 8-9G，虽然牺牲了一点原始分辨率，但配合后期的高质量放大算法，观感下降并不明显。

另外还有一个技巧：如果 ComfyUI 提示 "CUDA out of memory"，不要盲目重启，先检查是不是同时开了 Ollama 服务。Ollama 的文本生成模型会常驻显存，如果你的 Ollama 没有配置 OLLAMA_MAX_LOADED_MODELS=1 或设置了过大的上下文长度，它会占掉 4-6G 显存。我后来养成一个习惯：跑图像生成时先把 Ollama 服务停掉，需要文本生成时再启动。两个大模型同时吃显存，是入门阶段最容易忽略的问题。

6. 配音与音效：对白生成、声音克隆和背景音乐的拼装

6.1 用 Edge TTS 生成自然旁白

短剧的旁白我用的是 Edge TTS 的免费接口。它的中文音色里， zh-CN-YunxiNeural 适合男声旁白， zh-CN-XiaoxiaoNeural 适合女声旁白，两者都支持语速和音调调节。

使用方式有两种：一是直接用 Python 的 edge-tts 库写脚本批量生成，二是用在线网站直接编辑。我推荐前者，因为短剧往往有几十句对白，批量脚本能按分镜编号逐条生成 wav 文件，省去手动操作。

python 脚本核心代码大致是这样的：

import asyncio
import edge_tts

TEXT = "凌晨三点的便利店，只有自动门还在对每个失眠的人说欢迎光临。"
VOICE = "zh-CN-YunxiNeural"
OUTPUT = "voiceover_01.mp3"

async def main():
    tts = edge_tts.Communicate(TEXT, VOICE, rate="-10%", pitch="-2Hz")
    await tts.save(OUTPUT)

asyncio.run(main())

这里 rate 设置成 -10% 是为了让旁白慢下来，更有深夜的沉静感。pitch 微调 -2Hz 则让男声更低沉一些。这些参数没有绝对标准，建议你多试几个组合，找到跟画面情绪最搭的。

6.2 GPT-SoVITS 本地声音克隆：让角色开口说话时有辨识度

如果短剧里有两个以上角色对话，光用 Edge TTS 会显得所有角色音色雷同。这个时候就该上本地声音克隆了。GPT-SoVITS 是我用下来中文效果最好的开源方案，它的部署流程相对简单，官方仓库也提供了一键整合包。

克隆过程的核心步骤是这样的：

1. 准备 3-10 分钟干净的目标人声素材，尽量没有背景音乐、没有回声。
2. 在 GPT-SoVITS 的 WebUI 里对音频进行切分。
3. 标注文本，校准识别结果。
4. 开始微调训练，大概训练 50-100 个 step 就能看到初步效果。
5. 推理时输入台词文本，选择参考音频，输出克隆语音。

这里有一个实操心得：参考音频不要选得太长，5 秒到 10 秒最佳，而且音频内容最好是平静的陈述句，情绪起伏越少，克隆出来的人声越稳定。如果你喂给它的参考音频里有明显的笑声或哭腔，合成出来的每个句子都可能带着这种情绪，非常出戏。

6.3 背景音乐与音效的叠加思路

短剧的氛围感一半靠画面，一半靠声音。背景音乐我推荐去免费音乐网站找一些"深夜安静"氛围的曲目，比如钢琴独奏、环境音、Lo-Fi Beats，音量压到很低，作为铺底音轨。

音效方面，便利店场景需要自动门开关声、冰箱嗡嗡声、脚步声、雨声。这些可以去免版权音效网站下载，也可以用 FFmpeg 自己合成简单的噪声底。我用的方法是：在视频剪辑软件里铺三层音轨——底层铺环境音，中层放配音，上层放关键音效。三层音量比例大概是 3:5:2，配音必须最突出，音效不能盖过对白。

关于音画同步，我有一个缓存教训：AnimateDiff 生成的每个视频片段是 2 秒，但音频片段往往时长不规整。你先按音频的实际时长去缩放视频片段的播放速度，还是按视频时长去裁剪音频？我实测下来，后者的观感更自然。因为视频画面哪怕被稍微拉伸一点慢放，观众很难察觉，但一句话说到一半被切断，就非常明显。所以我的原则永远是"画面迁就声音"。

7. 剪辑合成：FFmpeg 命令行的转场、字幕与成片输出

7.1 视频拼接与转场效果

素材准备好之后，就到了合成阶段。如果你追求效率，FFmpeg 足够完成大部分工作。最简单的拼接方式是用 concat 协议，把所有生成的 mp4 片段按顺序合并。

ffmpeg -f concat -safe 0 -i filelist.txt -c copy output.mp4

其中 filelist.txt 的格式如下：

file 'scene_01.mp4'
file 'scene_02.mp4'
file 'scene_03.mp4'

但这种拼接方式是硬切，没有转场效果。如果你想要淡入淡出、叠化等转场，就需要用 xfade 滤镜。xfade 的写法会比 concat 复杂一些，它要求你提前计算好每个片段的时长和转场的时间点。像我这种有 8 个镜头的短剧，逐个写 xfade 会很繁琐，所以我一般只在一头一尾加淡入淡出，中间保持硬切。硬切其实更贴近短剧的节奏感，转场太多反而显得拖沓。

7.2 字幕烧录：让对白文字直接嵌入画面

短剧默认是静音播放的场景非常少，但字幕仍然很有必要。它不仅能帮助观众理解剧情，还能在画面信息不足时补充关键信息。FFmpeg 的字幕烧录使用 subtitles 滤镜：

ffmpeg -i output.mp4 -vf "subtitles=subtitle.srt:force_style='FontName=Microsoft YaHei,FontSize=16,PrimaryColour=&H00FFFFFF,OutlineColour=&H00101010,Outline=1'" output_with_sub.mp4

如果你没有 srt 字幕文件，也可以先用语音识别工具从配音音频里生成。本地跑 Whisper 是常用方案，用小号模型即可，速度很快。我个人习惯先把字幕生成出来，再人工校对一遍人名和专有名词，因为 AI 识别中文人名偶尔会出错。

7.3 分辨率放大：从 640x960 拉伸到 1080x1920 不模糊的技巧

前面提到 AnimateDiff 为了省显存使用了 640x960 的分辨率，直接拉伸到 1080x1920 会明显变模糊。这里我推荐用 Real-ESRGAN 这类超分模型先做一次画质提升，再交给 FFmpeg 缩放。

Real-ESRGAN 的 Windows 使用方式很简单，命令行执行：

realesrgan-ncnn-vulkan.exe -i scene_01.png -o upscaled_scene_01.png -s 2

把每张关键帧超分之后，再喂给 FFmpeg 做视频缩放和裁切。这个过程会额外花一些时间，但画质提升是肉眼可见的，尤其适合短剧这种需要在手机全屏播放的场景。如果你嫌超分太慢，也可以直接用 FFmpeg 的 lanczos 缩放加轻微锐化，效果虽然不如超分，但速度快得多。

7.4 最终封装：音视频合并

最后一步是把配音、背景音乐和视频画面合在一起。我用 FFmpeg 的音轨混合功能，将配音和背景音乐混为一个音轨，再把音轨添加到视频中：

ffmpeg -i final_video.mp4 -i voiceover.wav -i bgm.mp3 -filter_complex "[1:a]volume=1.0[vo];[2:a]volume=0.3[bg];[vo][bg]amix=inputs=2:duration=first[a]" -map 0:v -map "[a]" -c:v copy -c:a aac -b:a 192k short_drama_final.mp4

这条命令的含义是先把配音音量设为 1.0、背景音乐设为 0.3，然后用 amix 混合两者，最后与视频画面封装成 mp4。音量的具体数值需要根据实际素材调整，你可以先混一版出来听听，再微调。

8. 零成本不等于零门槛：预算为零时需要付出的时间成本明细

很多人听到"本地零元实测"会觉得这是个白嫖教程，事实上从钱的角度看确实零成本，但从时间成本上看并不低。我把自己的时间花销列出来，让你心里有个底：

环节	耗时（第一次）	耗时（熟练后）
环境部署与环境变量配置	2 小时	20 分钟
大模型与图像模型下载	1.5 小时（看网速）	忽略
提示词设计与分镜脚本调试	3 小时	30 分钟
ComfyUI 工作流搭建与参数调优	4 小时	40 分钟
批量生成分镜图与筛选	1 小时	20 分钟
AnimateDiff 视频生成	30 分钟	15 分钟
配音与音效	1 小时	20 分钟
剪辑合成与字幕	1 小时	30 分钟

第一次全线跑通大概需要一个周末，但第二次开始，整条链路在两小时内就能完成。所以这个项目真正的价值不在于"零成本"，而在于把每个环节都握在自己手里，后续做任何调整都不需要求人。

9. 一次完整的夜间便利店短剧：从开始到成片的实测复盘

我按照上面的流程，完整跑出了一条 30 秒的夜间便利店短剧。这里分享几个印象深刻的数据和效果。

文本生成阶段，qwen2.5:7b 输出的分镜脚本质量超过我的预期。它把一句"凌晨三点的便利店"扩展出了"远处路灯忽明忽暗""推门瞬间风铃响""店员抬头看了一眼又低头"这些非常有画面感的动作细节。虽然有一部分画面我的图像模型没能完美还原，但导演思路是对的，做后期时只需要在提示词层面调整即可。

图像生成阶段，realisticVision 对便利店场景的表现力很强，尤其是冷白色日光灯和窗外深蓝色夜晚的对比，几乎不需要额外调色。不过它也有一个明显的毛病：货架上的商品文字经常是乱码。这在 SDXL 系列模型里很常见，毕竟模型不认识真实的品牌名。我的办法是避开特写货架的镜头，或者后期用局部重绘把文字区域修成模糊的色块。

AnimateDiff 的视频生成是最花时间的环节。每个分镜的视频生成耗时大约 1-2 分钟，8 个分镜总共耗时十五分钟左右。画面里的人物走动、自动门开关、灯光闪烁这些动作都实现了，但人物的面部表情依然比较僵硬，几乎不能有大幅度的表情变化。这是当前开源视频生成模型的普遍短板，目前只能靠"少拍脸部特写"来规避。

配音阶段我用 Edge TTS 生成了男声旁白，再用 GPT-SoVITS 克隆了一个角色声音作为店员的对白。实际听起来，旁白比较沉稳，店员的声音略微带一点电子感，但整体在可接受范围内。如果对声音要求更高，可以花更多时间在 GPT-SoVITS 的声音素材预处理上。

成片我发给几个朋友看了，他们第一反应是"这画面挺有电影感的"，但第二句就是"这角色看起来有点假"。这个反应其实点出了本地 AI 短剧当前的边界：氛围感、场景感、叙事节奏已经接近可用水平，但角色真实感和精细动作仍然有明显短板。所以我不建议你把这条片子和专业影视作品比较——它更适合作为概念预览、脚本可视化、教学演示，通过这些方向来发挥价值。

10. 进阶方向与常见坑位清单：一次说清后续还能怎么玩

如果你跑通了上面的全流程，接下来有几条进阶路线值得探索。

第一条是换更强的视频生成模型。目前本地视频生成领域更新很快，SDXL + AnimateDiff 只是起步方案，后面还有 Stable Video Diffusion、Wan2.1 等新方案可以选择。它们对动态效果和画面质量的支持更好，但对显存的要求也水涨船高。升级硬件之前，可以先试试模型量化或者用云 GPU 临时租用，不一定要立刻换显卡。

第二条是增加镜头语言复杂度。现在的短剧里基本都是固定镜头加轻微移动。你可以尝试用 ControlNet 的 Depth 节点控制镜头推拉摇移，或用多机位思路为同一个场景生成多角度的画面，再在剪辑时交叉使用，观感会丰富很多。

第三条是让人物一致性更稳定。方法之一是用 LoRA 微调一个人物专属模型。找 10-20 张同一角色不同角度的图片，训练一个 LoRA，之后所有分镜都加载这个 LoRA，角色的一致性会显著提升。这个训练的显存要求也不高，12G 显卡完全可以跑。

再来说说坑位清单，这些都是我实际操作中真实遇到的问题：

• 坑 1：ComfyUI 版本与 AnimateDiff 节点版本不匹配，导致节点报错。解决方案是先看日志提示，按提示升级或回退对应组件，不要盲目重装。
• 坑 2：Ollama 常驻显存导致图像生成时爆显存。解决方案是在跑图像生成前手动停止 Ollama 服务，或者给它加上显存限制。
• 坑 3：图片文字乱码。解决方案是构图上规避文字区域，或者后期做局部重绘。
• 坑 4：提示词里用了过多的抽象情感词，导致画面飘忽。解决方案是尽量把情绪转化为具体的视觉描述，比如"温暖"改为"暖黄色灯光照在木质桌面上"。
• 坑 5：背景音乐音量盖过配音。这个问题可以通过音量标准化解决，也可以在剪辑时把音乐轨道整体压低。
• 坑 6：角色手部畸形。这是所有本地图像模型的通病，尽量避开手部特写，或者用 ControlNet OpenPose 做姿态约束。

最后说一句我的真实体会：本地 AI 短剧这个方向，真正卡脖子的不是硬件，也不是模型，而是"从文本到视听语言的翻译能力"。你需要的不是会装软件，而是懂一点导演思维、懂一点画面构成、懂一点剪辑节奏。技术的门槛会越来越低，但审美的门槛才是真正拉差距的地方。你要是能把这一步跑通，以后每看到一个有画面感的句子，脑子里就会自动生成一版短剧的粗剪——这种创作自由度，是云端工具给不了的。