1. WebRTC Android相机采集架构解析

在Android平台上实现实时视频通信，相机采集是最基础也是最重要的环节之一。WebRTC作为业界领先的实时通信框架，其相机采集模块设计兼顾了性能与兼容性，支持Camera1和Camera2两套API。我们先来看整体架构设计：

// 核心接口定义
public interface VideoCapturer {
  void initialize(SurfaceTextureHelper helper, Context context, CapturerObserver observer);
  void startCapture(int width, int height, int framerate);
  void stopCapture() throws InterruptedException;
  void dispose();
}

这个基础接口定义了四个关键生命周期方法，其继承体系如下图所示：

VideoCapturer (接口)
  └── CameraVideoCapturer (接口)
       └── CameraCapturer (抽象类)
            ├── Camera1Capturer (实现类)
            └── Camera2Capturer (实现类)

这种设计有三大优势：

1. 统一接口：无论底层使用Camera1还是Camera2，上层调用方式完全一致
2. 自动适配：根据系统版本自动选择最优API（Camera2需要API 21+）
3. 扩展性强：新增采集方式只需实现VideoCapturer接口

2. Camera1采集实现详解

Camera1作为传统的相机API，其实现相对简单直接。核心流程如下：

2.1 初始化过程

// Camera1Capturer.java
protected void createCameraSession(...) {
  Camera1Session.create(createSessionCallback, events, 
    captureToTexture, applicationContext,
    surfaceTextureHelper, 
    Camera1Enumerator.getCameraIndex(cameraName), 
    width, height, framerate);
}

关键参数说明：

• captureToTexture : 决定使用Texture还是ByteBuffer接收数据
• surfaceTextureHelper : 提供SurfaceTexture和OpenGL环境
• width/height/framerate : 采集参数配置

2.2 采集启动流程

// Camera1Session.java
private void startCapturing() {
  if (captureToTexture) {
    listenForTextureFrames(); // 接收OES纹理
  } else {
    listenForBytebufferFrames(); // 接收NV21数据
  }
  camera.startPreview(); // 开始预览
}

Texture模式下的帧回调处理：

surfaceTextureHelper.startListening((VideoFrame frame) -> {
  TextureBuffer buffer = (TextureBufferImpl)frame.getBuffer();
  VideoFrame modifiedFrame = new VideoFrame(
    createTextureBufferWithModifiedTransformMatrix(...),
    getFrameOrientation(), 
    frame.getTimestampNs()
  );
  events.onFrameCaptured(this, modifiedFrame);
});

2.3 参数配置要点

Camera1的参数设置需要特别注意三点：

1. 分辨率选择：

CaptureFormat findClosestCaptureFormat(Parameters params, int width, int height) {
  // 从设备支持的格式中找到最接近的
}

2. 帧率控制：

parameters.setPreviewFrameRate(targetFramerate);
parameters.setPreviewFpsRange(minFps, maxFps);

3. 方向处理：

camera.setDisplayOrientation(calculateDisplayOrientation(rotation));

3. Camera2采集实现解析

Camera2 API引入了更复杂的管道模型，但提供了更精细的控制能力。

3.1 核心组件关系

CameraManager
  └── CameraDevice
       └── CameraCaptureSession
            └── CaptureRequest

3.2 初始化流程

// Camera2Session.java
private void start() {
  findCaptureFormat();  // 确定采集格式
  openCamera();         // 打开相机设备
}

相机打开回调处理：

@Override
public void onOpened(CameraDevice camera) {
  surfaceTextureHelper.setTextureSize(width, height);
  Surface surface = new Surface(surfaceTextureHelper.getSurfaceTexture());
  
  camera.createCaptureSession(
    Arrays.asList(surface), 
    new CaptureSessionCallback(), 
    cameraThreadHandler
  );
}

3.3 采集会话配置

@Override
public void onConfigured(CameraCaptureSession session) {
  CaptureRequest.Builder builder = cameraDevice.createCaptureRequest(
    CameraDevice.TEMPLATE_PREVIEW);
  builder.addTarget(surface);
  builder.set(CaptureRequest.CONTROL_AE_TARGET_FPS_RANGE, fpsRange);
  
  session.setRepeatingRequest(builder.build(), ...);
}

3.4 帧数据回调

与Camera1类似，通过SurfaceTexture接收数据：

surfaceTextureHelper.startListening(frame -> {
  events.onFrameCaptured(Camera2Session.this, frame);
});

4. 数据传递与Native处理

采集到的数据需要经过JNI层传递到Native处理：

4.1 Java到Native的跨越

// NativeAndroidVideoTrackSource_jni.h
void OnFrameCaptured(JNIEnv* env, jint rotation, 
                    jlong timestampNs, jobject buffer) {
  rtc::scoped_refptr<VideoFrameBuffer> buffer = 
    AndroidVideoBuffer::Create(env, j_video_frame_buffer);
  
  OnFrame(VideoFrame::Builder()
         .set_video_frame_buffer(buffer)
         .set_rotation(rotation)
         .set_timestamp_us(timestampNs / 1000)
         .build());
}

4.2 帧数据处理流程

AndroidVideoTrackSource::OnFrame
  └── AdaptedVideoTrackSource::OnFrame
       └── VideoBroadcaster::OnFrame
            └── VideoSinkWrapper::OnFrame

关键处理点：

• 旋转处理：使用libyuv进行I420旋转
• 格式转换：OES纹理转I420（如需）
• 时间戳对齐：纳秒转微秒

5. 预览渲染实现

预览功能通过VideoSink机制实现：

5.1 渲染管线建立

// PeerConnectionClient.java
private VideoTrack createVideoTrack(VideoCapturer capturer) {
  // 1. 创建SurfaceTextureHelper
  surfaceTextureHelper = SurfaceTextureHelper.create(...);
  
  // 2. 初始化采集器
  capturer.initialize(surfaceTextureHelper, context, observer);
  
  // 3. 创建视频轨道
  localVideoTrack = factory.createVideoTrack(VIDEO_TRACK_ID, videoSource);
  
  // 4. 添加渲染器
  localVideoTrack.addSink(localRender);
}

5.2 SurfaceTextureHelper工作原理

// SurfaceTextureHelper.java
public SurfaceTextureHelper(Context context, Handler handler) {
  // 创建EGL环境
  eglBase = EglBase.create(context, EglBase.CONFIG_PIXEL_BUFFER);
  
  // 生成OES纹理
  oesTextureId = GlUtil.generateTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES);
  
  // 创建SurfaceTexture
  surfaceTexture = new SurfaceTexture(oesTextureId);
  
  // 设置帧回调
  surfaceTexture.setOnFrameAvailableListener(listener, handler);
}

6. 实战经验与优化建议

6.1 相机选择策略

// 优先使用Camera2
if (Camera2Enumerator.isSupported(context)) {
  return new Camera2Capturer(cameraName, events);
} else {
  return new Camera1Capturer(cameraName, events);
}

6.2 分辨率选择优化

建议实现动态分辨率调整：

1. 根据网络状况调整
2. 考虑设备性能限制
3. 平衡画质与功耗

6.3 常见问题排查

1. 帧率不稳定：

• 检查设备温度
• 降低分辨率
• 关闭不必要的图像处理

2. 画面方向错误：

• 确保正确设置displayOrientation
• 检查Activity的屏幕方向配置

3. 内存泄漏：

• 确保调用dispose()释放资源
• 检查SurfaceTexture的释放

7. 性能对比与选型建议

特性	Camera1	Camera2
API级别	API 1+	API 21+
性能	一般	更优
控制粒度	粗粒度	精细控制
兼容性	全设备支持	新设备支持更好
推荐使用场景	兼容老设备	追求最佳性能

实际选型建议：

1. API 21+设备优先使用Camera2
2. 需要宽兼容性时使用Camera1
3. 可考虑运行时动态切换

8. 扩展思考：CameraX集成

虽然WebRTC未直接支持CameraX，但可以通过自定义VideoCapturer实现：

public class CameraXCapturer implements VideoCapturer {
  private ImageAnalysis imageAnalysis;
  
  @Override
  public void startCapture(int width, int height, int fps) {
    imageAnalysis.setAnalyzer(executor, image -> {
      // 将Image转换为VideoFrame
      VideoFrame frame = convertImageToFrame(image);
      observer.onFrameCaptured(frame);
    });
  }
}

这种实现方式的优势：

• 自动处理生命周期
• 简化相机操作
• 统一的API体验

9. 调试技巧与工具

1. 关键日志标记：

// 在关键流程添加调试日志
Log.d(TAG, "Frame received: " + frame.getTimestampNs());

2. 性能分析工具：

• Android Profiler
• Systrace
• GPU渲染分析

3. 实用调试命令：

adb shell dumpsys media.camera

10. 完整示例代码结构

建议的项目结构：

/src/main/java/
  ├── camera/
  │   ├── Camera1Capturer.java
  │   ├── Camera2Capturer.java
  │   └── CameraXCapturer.java
  ├── render/
  │   ├── SurfaceTextureHelper.java
  │   └── VideoRenderer.java
  └── utils/
      ├── CameraUtils.java
      └── FrameConverter.java

核心类职责说明：

• Camera*Capturer：采集实现
• SurfaceTextureHelper：纹理管理
• VideoRenderer：渲染处理
• CameraUtils：设备能力查询

11. 深入理解SurfaceTexture

SurfaceTexture是连接相机和OpenGL的关键组件，其工作原理：

1. 创建流程：

// 生成纹理ID
int texId = GlUtil.generateTexture(GL_TEXTURE_EXTERNAL_OES);

// 创建SurfaceTexture
SurfaceTexture surfaceTexture = new SurfaceTexture(texId);

// 获取Surface
Surface surface = new Surface(surfaceTexture);

2. 帧回调机制：

surfaceTexture.setOnFrameAvailableListener(listener, handler);

3. 纹理更新：

// 在OpenGL线程中
surfaceTexture.updateTexImage();
surfaceTexture.getTransformMatrix(transformMatrix);

12. 高级话题：HDR支持

现代设备对HDR的支持方式：

1. Camera1方案：

parameters.setSceneMode(Camera.Parameters.SCENE_MODE_HDR);

2. Camera2方案：

builder.set(CaptureRequest.CONTROL_SCENE_MODE, 
           CameraMetadata.CONTROL_SCENE_MODE_HDR);

3. 注意事项：

• 检查设备支持情况
• 考虑性能影响
• 可能需要特殊格式处理

13. 功耗优化实践

视频采集是耗电大户，优化建议：

1. 动态帧率调整
2. 合理设置预览尺寸
3. 及时释放相机资源
4. 使用适当的对焦模式
5. 考虑使用节能模式

14. 兼容性处理大全

常见兼容性问题及解决方案：

1. 方向问题：

• 检查设备传感器方向
• 正确处理前置摄像头镜像

2. 格式问题：

• 备选格式支持
• 实时格式转换

3. 设备特定问题：

• 三星设备特殊处理
• 华为设备兼容模式

15. 未来发展方向

1. Camera2 Extensions
2. Multi-camera支持
3. 计算摄影集成
4. ML增强功能
5. 更低延迟的采集路径