RV1126音视频开发实战：5种隐蔽内存泄漏场景与精准排查方案

在嵌入式音视频开发领域，RV1126凭借其出色的媒体处理能力成为推流设备的首选方案。但当项目进入长期运行阶段，内存泄漏问题往往成为稳定性的致命杀手。本文将揭示音视频合成项目中五种典型却极易被忽视的内存泄漏场景，并提供基于Valgrind的精准定位方法。

1. 线程安全队列的资源堆积陷阱

音视频合成项目通常采用生产者-消费者模型，而队列作为核心数据结构，其内存管理问题常被低估。以下是两个典型场景：

1.1 未处理的队列阻塞泄漏

当推流网络出现波动时，以下代码会导致视频帧持续堆积：

void *camera_venc_thread(void *args) {
    while (1) {
        MEDIA_BUFFER mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, vencId, -1); // 阻塞获取
        video_data_packet_t *packet = (video_data_packet_t *)malloc(sizeof(video_data_packet_t));
        video_queue->putVideoPacketQueue(packet); // 可能因网络延迟导致堆积
    }
}

解决方案：

• 实现带超时机制的队列插入
• 添加队列长度监控和自动丢弃策略

1.2 队列清空时的资源释放遗漏

在服务停止时，开发者常忘记清空队列中的残留数据：

~VideoQueue() {
    // 缺少对m_queue中元素的释放
    pthread_mutex_destroy(&m_mutex);
}

推荐改进：

~VideoQueue() {
    while (!m_queue.empty()) {
        video_data_packet_t *packet = m_queue.front();
        free(packet->buffer);
        free(packet);
        m_queue.pop();
    }
    pthread_mutex_destroy(&m_mutex);
}

2. FFmpeg资源释放的完整链条

FFmpeg接口使用不当是内存泄漏的高发区，特别是涉及多级资源引用时。

2.1 AVPacket的深层释放

以下代码看似规范，实则隐藏泄漏风险：

AVPacket *pkt = av_packet_alloc();
while (av_read_frame(format_ctx, pkt) >= 0) {
    if (pkt->stream_index == video_index) {
        AVPacket *new_pkt = av_packet_alloc(); // 复制用于队列存储
        av_packet_ref(new_pkt, pkt);
        video_queue->enqueue(new_pkt);
    }
    av_packet_unref(pkt); // 仅释放原始包
}

完整释放流程：

1. 对每个av_packet_ref()必须配对av_packet_unref()
2. 最终需调用av_packet_free()释放包结构本身

2.2 AVFormatContext的关闭陷阱

网络推流场景下，简单的avformat_close_input并不足够：

void stop_streaming() {
    av_write_trailer(oc);  // 可能因网络中断未执行
    avio_closep(&oc->pb);  // 需要检查NULL指针
    avformat_free_context(oc); // 必须最后执行
}

健壮关闭方案：

void safe_close(AVFormatContext **ctx) {
    if (!ctx || !*ctx) return;
    
    if ((*ctx)->pb) {
        av_write_trailer(*ctx);  // 写入结束标记
        uint8_t *buf;
        int size;
        if (avio_get_dyn_buf((*ctx)->pb, &buf) > 0) {
            avio_flush((*ctx)->pb);  // 强制刷新缓冲区
        }
        avio_closep(&(*ctx)->pb);
    }
    
    for (unsigned i = 0; i < (*ctx)->nb_streams; i++) {
        avcodec_free_context(&(*ctx)->streams[i]->codecpar);
    }
    avformat_free_context(*ctx);
    *ctx = NULL;
}

3. Rockchip SDK中的MediaBuffer管理

RV1126的媒体处理框架有其特殊的内存管理机制，不当使用会导致DMA内存泄漏。

3.1 未释放的MediaBuffer

典型错误案例：

void process_frame() {
    MEDIA_BUFFER mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, 0, -1);
    if (mb) {
        void *data = RK_MPI_MB_GetPtr(mb); // 获取数据指针
        process(data); // 处理数据
        // 缺少 RK_MPI_MB_ReleaseBuffer(mb)
    }
}

正确做法：

MEDIA_BUFFER mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, 0, -1);
if (mb) {
    // 使用MB_Handle2ModuleId确认缓冲区来源
    if (RK_MPI_MB_Handle2ModuleId(mb) == RK_ID_VENC) {
        process(RK_MPI_MB_GetPtr(mb));
    }
    RK_MPI_MB_ReleaseBuffer(mb); // 必须释放
}

3.2 跨模块传递时的引用计数

当MediaBuffer需要在不同模块间传递时：

// 视频处理线程
MEDIA_BUFFER mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VI, 0, -1);
RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, 0, mb); // 传递到编码模块
RK_MPI_MB_ReleaseBuffer(mb); // 仍需释放原始引用

// 编码线程
MEDIA_BUFFER enc_mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, 0, -1);
process(enc_mb);
RK_MPI_MB_ReleaseBuffer(enc_mb); // 释放新引用

4. 音视频同步中的时间戳管理

音视频同步逻辑中的时间戳处理不当会导致内存堆积。

4.1 未对齐的帧丢弃策略

当音频视频帧率不一致时：

// 错误做法：简单比较时间戳
if (video_pts > audio_pts) {
    drop_audio_frame(); // 丢弃音频帧但未释放资源
} else {
    drop_video_frame(); // 丢弃视频帧但未释放资源
}

// 正确做法
void safe_drop_audio(AVPacket *pkt) {
    av_packet_unref(pkt);
    free_audio_resources(pkt); // 释放解码器内部资源
}

void safe_drop_video(AVPacket *pkt) {
    av_packet_unref(pkt);
    free_video_resources(pkt); // 释放解码器内部资源
}

4.2 时间戳转换中的内存泄漏

PTS转换时的常见问题：

AVPacket *convert_pts(AVPacket *src) {
    AVPacket *dst = av_packet_alloc();
    av_packet_ref(dst, src);
    
    // 时间戳转换
    dst->pts = av_rescale_q(src->pts, src_time_base, dst_time_base);
    
    // 忘记设置duration会导致内存计算错误
    dst->duration = av_rescale_q(src->duration, src_time_base, dst_time_base);
    
    return dst;
}

5. Valgrind在RV1126上的实战技巧

Valgrind是检测内存泄漏的利器，但在嵌入式平台需要特殊配置。

5.1 交叉编译Valgrind

RV1126上的Valgrind使用步骤：

# 配置编译环境
./configure --host=arm-linux-gnueabihf \
            --prefix=/opt/valgrind-arm \
            --enable-only32bit

# 编译安装
make -j4 && make install

# 移植到开发板
scp /opt/valgrind-arm/bin/valgrind root@RV1126:/usr/bin/

5.2 针对性检测方案

检测音视频项目的推荐参数：

valgrind --tool=memcheck \
         --leak-check=full \
         --show-leak-kinds=all \
         --track-origins=yes \
         --log-file=valgrind.log \
         ./rv1126_ffmpeg_main

关键日志分析：

==1234== 32 bytes in 1 blocks are definitely lost in loss record 5 of 20
==1234==    at 0x484A2F4: malloc (vg_replace_malloc.c:381)
==1234==    by 0x12ABC: camera_venc_thread (in /usr/bin/rv1126_ffmpeg_main)
==1234==    by 0x48E0B3A: start_thread (pthread_create.c:477)
==1234==    by 0x49BCB3E: clone (clone.S:95)

5.3 Rockchip特有内存检测

结合RV1126的调试接口：

# 查看媒体内存池状态
cat /proc/rk_mpp/vcodec_mem

# 监控DMA内存分配
dmesg | grep -i dma

6. 防御性编程实践

除了及时释放内存，预防泄漏同样重要。

6.1 资源获取即初始化(RAII)

C++中的智能指针应用：

class MediaBufferWrapper {
public:
    MediaBufferWrapper(MEDIA_BUFFER mb) : m_mb(mb) {}
    ~MediaBufferWrapper() { 
        if (m_mb) RK_MPI_MB_ReleaseBuffer(mb);
    }
    // 其他成员函数...
private:
    MEDIA_BUFFER m_mb;
};

void process_frame() {
    MEDIA_BUFFER raw = RK_MPI_SYS_GetMediaBuffer(...);
    MediaBufferWrapper mbw(raw); // 退出作用域自动释放
    // 处理代码...
} // 自动调用析构函数

6.2 内存使用监控机制

实时内存监控实现：

class MemoryTracker {
public:
    static void* trackMalloc(size_t size, const char* tag) {
        void* ptr = malloc(size);
        std::lock_guard<std::mutex> lock(m_mutex);
        m_allocMap[ptr] = {size, tag, std::this_thread::get_id()};
        m_totalAllocated += size;
        return ptr;
    }
    
    static void trackFree(void* ptr) {
        if (!ptr) return;
        
        std::lock_guard<std::mutex> lock(m_mutex);
        auto it = m_allocMap.find(ptr);
        if (it != m_allocMap.end()) {
            m_totalAllocated -= it->second.size;
            m_allocMap.erase(it);
        }
        free(ptr);
    }
    
    // 其他监控函数...
};

// 重载全局new/delete
void* operator new(size_t size) {
    return MemoryTracker::trackMalloc(size, "GLOBAL_NEW");
}
void operator delete(void* ptr) noexcept {
    MemoryTracker::trackFree(ptr);
}

在音视频开发中，内存泄漏问题往往具有累积性和隐蔽性。通过结合Valgrind工具链和RV1126特有的调试手段，开发者可以建立起多维度的内存防护体系。实际项目中，建议在以下关键点加强检查：

• 所有资源获取点的配对释放
• 异常路径上的资源清理
• 第三方库接口的调用规范
• 长期运行后的内存增长监控