简介：整合 Waifu2x、Real-ESRGAN、SRMD、RealSR、Anime4K、Real-CUGAN 以及 RIFE、IFRNet、CAIN、DAIN、ACNet 等主流算法的图片、GIF 与视频放大降噪及补帧程序包，面向有画质增强、老片修复、动画放大等需求的开发者、多媒体研究人员和视频处理爱好者。整个压缩包共 230 个文件，体积约 75.88MB，类型涵盖 C++ 源码（32 个 cpp、3 个 h）、Qt 界面工程（pro、ui、qrc），以及大量 jpg、png 图片资源、gif 动图、mp4 样例视频，另有 md、txt 说明文档和 license 协议文件，结构清晰，方便按需查阅和二次编译。当前已有 255 人学习使用。代码中包含基于 ncnn/vulkan 与 CUDA 的多套超分实现，如 srmd_ncnn_vulkan、waifu2x_converter、RealSR 等，并附 FFmpeg 编码器列表脚本，便于比较不同算法在放大倍数、噪声抑制和补帧流畅度上的表现。适合希望快速搭建超分与补帧实验环境、理解工程实现细节或将其封装进自有工具链的读者参考。

1. 放大、降噪与补帧不是三件事：先理清超分辨率重建的流水线顺序

把一张 1080p 截图放大到 4K，显卡驱动里的“图形增强”或 DSR 这类显示管线超分辨率重建就能实时做到，但它不会给画面增加真实信息，噪点照样被放大，24 帧动画的卡顿反而更显眼。这个标题实际装着两条技术线：超分辨率重建负责画面细节，视频补帧负责时间细节，GIF 夹在中间——要放大、要处理帧率，还有调色板兼容的坑。对 IT 从业者来说，关键不是跑通某个模型，而是把降噪、放大、补帧的顺序和参数边界想清楚：顺序错了，模型把噪点当纹理固化；参数错了，补帧会在硬切镜头造出鬼影。下面按模型选型、GIF、视频、调优验证四段往下走。

2. 超分辨率重建的模型选型与降噪顺序：Real-ESRGAN 与 SCUNet 怎么配合

2.1 图像超分辨率重建：为什么 Real-ESRGAN 成为默认起点

Lanczos 这类传统插值只做采样重排，不产生新频率，放大到 2 倍以上文字边缘就发虚。深度学习超分里，图像超分辨率重建落到工程上默认选 Real-ESRGAN，原因是它的退化建模覆盖了真实照片最常见的三种损伤：模糊、噪声和 JPEG 块效应。早期 ESRGAN 在干净合成数据上效果不错，一遇到真实噪图，会把压缩块当成边缘去“增强”，结果得到的是被锐化的马赛克。Real-ESRGAN 把退化过程拆成多次模糊、加噪声、再加压缩的串联，模型见过的退化空间更宽，所以老照片、监控截图这类输入反而比很多新算法更稳。

模型选择按内容分三档，不要一上来就用通用模型跑动画。通用照片用 realesrgan-x4plus；纯动画、赛璐璐风格用 realesrgan-x4plus-anime，线条和色块更干净；老照片、网络压缩图用 realesr-general-x4v3，它自带可调节的降噪强度；动画视频逐帧批处理用 real-animevideov3，模型小、跑得快。四个模型的定位差异很关键，选错了模型，后面所有参数调优都是白费。

模型	适用内容	特点
realesrgan-x4plus	照片、截图、实拍视频	纹理重建强，速度中等
realesrgan-x4plus-anime	动漫图片、插画	线条锐利，色块干净
real-animevideov3	动画视频逐帧处理	体积小，批处理快
realesr-general-x4v3	老照片、压缩表情包	支持 denoise_strength

2.2 先降噪还是先放大：噪点会被超分模型当成纹理

超分模型分不清“真实高频纹理”和“随机噪声”，它会把噪点当作可重建的细节放大固定下来，之后再做任何降噪都会伤到真纹理。所以带噪输入的正确顺序是：先用 SCUNet 这类判别式去噪网络把噪声压下去，再交给超分模型。SCUNet 按噪声强度 sigma 分档提供模型，彩色图用 color 系列，灰度图用 gray 系列；噪声轻的选 sigma 25，颗粒感明显的选 sigma 50。

SCUNet 和 Real-ESRGAN 的 ncnn 版本都习惯用目录做输入输出，串成一条链很自然：

# 1. 先降噪：把带噪帧目录整体压一遍，sigma 按噪声轻重选 25/50
scunet_color -i ./frames -o ./frames_clean -m ./models/scunet_color_sigma50

# 2. 再做 4 倍超分，tile=256 防止大图显存溢出
realesrgan-ncnn-vulkan -i ./frames_clean -o ./frames_4x -s 4 -t 256 -f png

降噪是重计算，4K 视频逐帧跑非常贵。如果原素材只是轻微噪点，可以直接跳过降噪步骤，用 general 模型的 denoise_strength 顺手处理，性价比高得多。SCUNet 各发行版的参数名略有差异，统一规律是“输入目录、输出目录、模型目录”三者配对，拿不准就先跑一次 -h 确认，不要拿单张图片的路径方式去套。

2.3 三个必调参数：scale、tile、denoise_strength 的配合

这三个参数决定同一份输入的不同结果。scale 不是越大越好：Real-ESRGAN 的 ncnn 模型基本固定 4 倍，想要 2 倍输出就用 4 倍放大后再缩小，边缘比直接跑 2 倍模型干净；反过来，想从 4K 上到 8K，不要对结果再跑一遍超分，两次模型的伪影会叠加，正确做法是回到原始分辨率一档放大到位。tile 控制瓦片尺寸，8GB 显存处理 4K 帧建议 128 到 256，瓦片越小越省显存，但边缘接缝越明显。denoise_strength 只对 general 模型生效，范围 0 到 1，0 是完全保留原噪声，1 是最强去噪。

python inference_realesrgan.py -n RealESRGAN_general \
  -i ./input --denoise_strength 0.5 --outscale 4 --half

实际项目里我给三组预设：干净截图 denoise_strength 取 0.2，最多 0.3，再高文字边缘就开始糊；老照片默认 0.6，有胶片颗粒再降到 0.4；网络缩略图放大这种 JPEG 伪影明显的，取 0.7 起步。拿不准时，用同一张图分别跑 0.4 和 0.6，并排看噪点和字边，比调任何超参数都直观。

3. GIF 放大与修复：拆帧重建、帧延迟处理和苹果电脑静止 GIF 的解法

3.1 GIF 的调色板与透明通道：先变成 PNG 再说放大

GIF 是 256 色调色板索引格式，透明只是一个索引位，不参与超分模型的计算。直接把 GIF 喂给 Real-ESRGAN，模型看到的是已经被量化过的色块，重建出来的边缘全是台阶。所以任何 GIF 放大流水线的第一步都是拆帧成 PNG，把 RGBA 的原始信息还给超分模型。拆帧的另一个隐藏好处是帧延迟可以被统一控制：GIF 每一帧可以带不同的 delay，拆成 PNG 后这些元信息全部丢失，反而让后续重新设定延迟更简单。

ffmpeg -i anim.gif -vsync 0 -pix_fmt rgba frame_%04d.png

-vsync 0 让 ffmpeg 按真实帧数输出，不补也不丢； -pix_fmt rgba 是给透明 GIF 用的，不透明 GIF 可以直接去掉。拆出的帧如果出现透明黑边，说明原始 GIF 的透明像素 RGB 是垃圾值，放大后黑边会被模型固化成暗色描边；常见的做法是用 ImageMagick 把透明像素的 RGB 填成周围颜色再进超分，处理完再还原 alpha。

3.2 ffmpeg 拆帧、逐帧放大、再合成 GIF 的最小命令

完整链路是拆帧 → 超分 → 重新量化调色板。逐帧放大时每帧互不依赖，可以多开几个进程按帧号分段并行。合成这一步最容易翻车的是调色板：直接让 ffmpeg 用默认参数生成 GIF，256 色不够分，渐变色会出带状条纹，网上大量“超分完 GIF 反而更难看了”的抱怨基本都是这个原因。

# 拆帧
ffmpeg -i anim.gif -vsync 0 frame_%04d.png

# 逐帧 4 倍放大，动画类素材用 anime 模型
realesrgan-ncnn-vulkan -i ./frames -o ./frames_4x -s 4 -t 128 -f png -n realesrgan-x4plus-anime

# 重新量化调色板并合成，bayer 抖动缓解色带
ffmpeg -framerate 12 -i ./frames_4x/frame_%04d.png \
  -vf "split[a][b];[a]palettegen=max_colors=256:alpha_transparency=1[x];[b][x]paletteuse=dither=bayer:bayer_scale=5" \
  anim_4x.gif

palettegen 的 max_colors=256 把每帧颜色重新量化到调色板， alpha_transparency=1 保留透明通道；paletteuse 的 dither=bayer 是必须的，关掉抖动的后果是天空和皮肤上出现阶梯色带， bayer_scale=5 是抖动强度，数值越大色带越轻但噪粒感越重。帧延迟在这里统一成 framerate=12 ，也就是每帧约 83 毫秒。

提示：拆帧时 delay 信息全部丢失。原 GIF 里某些帧 delay 是 5、某些是 8，统一成 12 会改变动画节奏，这是超分 GIF 后“看起来不对劲”的最常见原因。

帧延迟和实际帧率的换算关系很简单，合成前先想好目标：

delay 值（1/100 秒）	对应帧率	适用场景
10	10fps	原速表情包
8	12.5fps	网页动图常用
5	20fps	补帧后的顺滑效果

3.3 苹果电脑打开 GIF 是静止的：帧延迟与 disposal 的兼容问题

苹果电脑打开 GIF 是静止的，这个问题的根因不在超分，而在重编码时帧延迟和清理方式写得不规范。macOS 的预览（Preview）对两类 GIF 表现得特别保守：帧延迟被写成 0 的，解码器认为没有播放依据直接停住；disposal 方式为不清理的，上一帧的内容残留在画布上和下一帧叠加，最终表现为静止或叠影。Chrome 和 Firefox 的容错强，能放不代表兼容，要拿 Preview 真机验证。

处理这个问题用 gifsicle 最顺手，它直接读写 GIF 的帧结构，不重新量化颜色，适合在超分流程之后做收尾修复：

# 统一延迟为 8（单位 1/100 秒），播放前清空画布，无限循环
gifsicle --delay=8 --disposal=background --loopcount=forever \
  --optimize=3 anim_4x.gif -o anim_4x_fixed.gif

--delay 单位是百分之一秒，8 就是 80 毫秒约 12.5fps； --disposal=background 要求每帧播放前把画布清成背景色，这是兼容性最好的清理方式； --optimize=3 在像素不变的前提下压缩体积，表情包场景能把体积压掉近一半。顺带说明，苹果电脑上按空格用 Quick Look 预览 GIF 本来就是静态的，这是预览器的设计行为，不属于这里要修的“静止”。

3.4 要不要给 GIF 补帧：低帧率放大后的卡顿怎么缓解

GIF 普遍 8 到 15fps，4 倍放大后每一帧的停留时间被视觉放大，卡顿感更强。如果只是表情包，不必上插帧模型，统一 delay 后按原速播放，节奏恢复正常即可；真要追流畅度，把拆出的帧序列交给 RIFE 做一次 2 倍插帧，再统一 delay=5（约 20fps），运动平滑度明显上一个台阶。代价是插帧会在两帧之间生成中间状态，快速摆动的物体可能出现半透明残影，循环短片通常可以接受。

4. 视频放大与补帧：抽帧、RIFE 插帧、合成到 4K60 的完整流水线

4.1 先放大还是先补帧：顺序决定残影和计算成本

视频补帧和超分辨率的先后有两种主流排法。先超分再插帧：运动估计在高分辨率的干净画面上做，插出来的中间帧纹理更一致，输出 4K60 的观感最好，代价是所有帧都跑一遍超分，4 倍放大 4K 分辨率时显存和耗时都吃紧。先插帧再超分：在原始小分辨率上补帧，RIFE 处理速度更快，超分只处理插值后的帧序列，总体计算量更小，但插帧时画面里还带着压缩噪声，运动估计会被噪声带偏，放大后残影更明显。

我一般按算力而不是质量来选：机器有 12GB 以上显存，走先超分后插帧；只有 8GB，或者素材是批量产出，走先插帧后超分，残影在暗部场景不放大看几乎不可见。还有一个必须注意的边界：插帧对硬切镜头无能为力，场景切换的那一帧前后，RIFE 会试图生成两段画面的混合体，表现为半透明鬼影。处理批量素材前先做场景检测，把硬切点从插帧序列里摘出去。

4.2 RIFE 补帧的原理与成倍率用法：一次跑出 2 倍帧数

RIFE 做的是光流引导的中间帧合成：输入相邻两帧，输出一张运动平滑的中间帧。ncnn 版本把输入输出都设计成目录，输入是一个帧序列文件夹，输出是插值后的序列，帧数关系是 2n-1，也就是每对相邻帧之间插入一帧。想 4 倍插帧，就把输出目录当新输入再跑一遍，每次成倍翻。

# 第一次：30fps 补成 60fps
rife-ncnn-vulkan -i ./sr4x -o ./interp_2x -n rife-v4.6 -t 256 -g 0

# 第二次：把结果当作输入再插一遍，60fps 变 120fps
rife-ncnn-vulkan -i ./interp_2x -o ./interp_4x -n rife-v4.6 -t 256 -g 0

-n 指定模型版本，rife-v4.6 是兼顾速度和质量的选择； -t 256 是瓦片尺寸，显存不足时往 64 降，但接缝风险上升； -g 0 选第一块 GPU，多卡机器按设备号分配不同帧段并行。插帧不改变视频时长，只有帧率在变，所以音频轨道完全不需要处理，这给流水线省掉一整块时间。

源帧率	目标帧率	插帧次数	备注
24fps	48fps	1 次	保留电影感，适合纪录片
30fps	60fps	1 次	最常见的配置
25fps	50fps	1 次	欧标素材直接翻倍
24fps	60fps	插到 96 再转	非整数倍，抽帧有轻微抖动

非整数倍目标帧率没有免费午餐：24 到 60 就是两次插值到 96fps，再用 ffmpeg 的 fps 过滤器转到 60，中间有轻微不均匀，但比在 24 和 30 之间硬凑的做法平滑得多。

4.3 一条命令从 1080p30 跑到 4K60：完整脚本

把前面的步骤串起来，是一份可直接改路径复用的脚本：

#!/usr/bin/env bash
set -euo pipefail
SRC="$1"

# 1) 抽帧：保留全部原始帧，qscale 1 保证质量无损
ffmpeg -i "$SRC" -vsync 0 -qscale 1 frames/frame_%06d.png

# 2) 超分放大：4 倍，瓦片 256，输出 PNG
realesrgan-ncnn-vulkan -i frames -o sr4x -s 4 -t 256 -f png

# 3) 补帧：30fps 变 60fps
rife-ncnn-vulkan -i sr4x -o interp -n rife-v4.6 -t 256

# 4) 抽音频，补帧不改时长，直接复制
ffmpeg -i "$SRC" -vn -c:a copy audio.m4a

# 5) 合成 H.265 10bit 4K60
ffmpeg -framerate 60 -i interp/frame_%06d.png -i audio.m4a \
  -c:v libx265 -crf 18 -preset slow -pix_fmt yuv420p10le -c:a copy out_4k60.mp4

第 1 步的 qscale 用在高质量中间帧保存上，避免抽帧阶段引入 JPEG 损失；第 2 步和第 3 步是整条流水线最耗时的部分，建议分开跑，每步结束后检查输出目录的帧数，确认 2n-1 的关系成立再进下一步；第 5 步的 yuv420p10le 是 10bit 编码，暗部过渡比 8bit 干净很多，crf 18 在 4K 下的码率已经够稳。音频之所以用 -c:a copy ，是因为补帧只是改变帧率，音频时间轴和视频完全对齐，不需要重编码。

4.4 长视频分片和场景切换：批量处理不翻车的两个习惯

长视频直接整段跑，中途断电或显存耗尽就得从头再来。常见做法是按 5 分钟切片处理，每片独立命名，处理完用 concat demuxer 合并，哪片坏了重跑哪片。无损切片用 segment muxer 最快：

ffmpeg -i input.mp4 -f segment -segment_time 300 -c copy part_%03d.mp4

每一片单独走 4.3 的脚本，切点两侧各留几秒重叠，防止丢帧。场景切换是这部分唯一的脏活：先跑一次场景检测拿到所有硬切点的时间戳，把每个镜头段单独插帧，硬切点前后不参与合成。检测命令用 ffmpeg 的 scene 滤镜，阈值取 0.3 到 0.4 之间比较稳：

ffmpeg -i part_001.mp4 -vf "select='gt(scene,0.4)',showinfo" -f null -

stderr 里带 pts_time 的输出就是切点位置。镜头内插帧和跨镜头插帧的差异在滚动字幕和快速剪辑的视频里非常明显：前者画面流畅，后者全是半透明残影，这也是“补帧补坏了”投诉的主要来源。

5. 显存不够就看这里：瓦片、半精度与补帧结果验证的三个抓手

5.1 瓦片尺寸按“能稳定跑完的最大值”给

tile 默认 0 是让程序自动选，但自动逻辑优先保证不崩溃，不稳妥。自己设的时候按素材最复杂的那一帧来测：8GB 显存处理 4K 帧建议 256，再大就 out of memory；降到 128 接缝会明显一点。接缝表现为规则网格上的纹理不一致，运动画面里最容易暴露。批量任务先用一帧测试最大 tile，再统一应用，不要每批都赌默认值。

5.2 半精度省显存，但暗部会出卖你

fp16 半精度能省约一半显存和带宽，ncnn 版本在支持的卡上默认开启。问题出在暗部渐变：夜空、深色西装这类低亮度区域，fp16 的尾数精度不足，放大后梯度变成可见色带。验证方法很简单，挑一段暗部场景用 fp32 单独跑一遍，和默认结果并排看；有色带就把中间帧保存改成 16bit PNG，编码端用 10bit 的 x265，这两个动作能把色带压到肉眼不可见。中间文件别用 JPG，有损压缩的块效应会被下一级模型当成纹理再次放大。

5.3 验证放大和补帧：定量一条命令，定性两个位置

定量对比用 ffmpeg 的 PSNR 滤镜，注意它需要两个输入流：

ffmpeg -i out_4k60.mp4 -i ref_4k60.mp4 -lavfi "[0:v][1:v]psnr" -f null -

PSNR 在 35dB 以上说明重建保真度可以接受，但 PSNR 对感知质量不敏感，最后还得肉眼过。放大结果看两处：小字号文字的断笔和边缘锯齿，人物皮肤毛孔是否被抹成橡皮塑料感。补帧结果看硬切场景和滚动字幕的中间帧，用 mpv 打开后按逗号逐帧后退、按句号逐帧前进，比任何采样工具都直接。记住这个操作，逐帧暂停不是按空格，而是逗号和句号，看完中间帧的拖影再谈参数调整。

本文还有配套的精品资源，点击获取