流程和步骤

功能划分

主要分为两个部分:

  • 视频采集
    通过AVFoundation进行视频数据的采集到,原始数据存储到CMSampleBufferRef中,
    在AVCaptureVideoDataOutputSampleBufferDelegate的回调函数中,获取到原始数据存储到CMSampleBufferRef中中的数据,并通过CoreVideo将CMSampleBufferRef中存储的图像数据转换为Metal可以直接使用的纹理MTLTexture

  • Metal对采集的图像帧进行渲染
    采用MetalKit内置的MPSImageGaussianBlur滤镜对纹理渲染(MetalKit对视频图像的渲染等同于AVCaptureVideoPreviewLayer预览)

分为以下几个步骤

1. 准备工作

image
  • 导入库 MetalKit.framework
  • 模块化导入

    • MetalKit
    • AVFoundation
    • CoreMedia
  • 导入头文件
#import 
  • 协议实现
    • 渲染MTKViewDelegate
  • 视频捕捉AVCaptureVideoDataOutputSampleBufferDelegate
    AVFoundation 视频采集回调方法

2. 内置属性
[图片上传失败…(image-bd3f5c-1599700474574)]

  • MTKView

      MTKView *_view;
    
  • 数据传递Session

      AVCaptureSession *mCaptureSession;
    
  • 从AVCaptureDevice获得输入数据

      AVCaptureDeviceInput *mCaptureDeviceInput
    
  • 输出设备

      AVCaptureVideoDataOutput *mCaptureDeviceOutput
    
  • 处理队列

      dispatch_queue_t mProcessQueue
    
  • 纹理缓存区

      CVMetalTextureCacheRef textureCache
    
  • 命令队列

      id commandQueue
    
  • 纹理

      id texture
    

3. viewDidLoad

image
  • Metal相关初始化 setupMetal

    • 创建并添加MTKView,设置代理
    • 创建命令队列
    • 允许帧缓冲区读写操作
    • 创建纹理缓冲区
  • 视频捕捉初始化 setupCaptureSession

    • 创建mCaptureSession
    • 创建串行队列 mProcessQueue
    • 获取摄像头设备 AVCaptureDevice
    • 将AVCaptureDevice 转换为AVCaptureDeviceInput
    • 将设备添加到mCaptureSession中
    • 创建AVCaptureVideoDataOutput 对象
    • 设置视频帧延迟到底时是否丢弃数
    • 设置采样格式为BGRA
    • 设置视频捕捉输出的代理
    • 添加输出到mCaptureSession
    • 输入与输出链接
    • 设置视频方向
    • 开始捕捉

4.视频采集回调协议

AVCaptureVideoDataOutputSampleBufferDelegate

image

-captureOutput:
didOutputSampleBuffer:
fromConnection:

  • 从sampleBuffer 获取视频像素缓存区对象
  • 获取捕捉视频的宽和高
  • 根据视频像素缓存区 创建 Metal 纹理缓存区
    CVMetalTextureCacheCreateTextureFromImage
  • 判断tmpTexture 是否创建成功
  • 设置可绘制纹理的当前大小。
  • 返回纹理缓冲区的Metal纹理对象
  • 释放tmpTexture

5.渲染MTKViewDelegate

image
  • 视图大小发生改变时.会调用此方法
    -mtkView: drawableSizeWillChange:
  • 视图渲染则会调用此方法
    -drawInMTKView:

    • 判断是否获取了AVFoundation 采集的纹理数据
    • 创建指令缓冲 MTLCommandBuffer
    • 将MTKView 作为目标渲染纹理MTLTexture
    • 设置滤镜 MPSImageGaussianBlur
    • 设置滤镜的输入输出
    • 展示显示的内容 presentDrawable
    • 提交命令
    • 清空当前纹理,准备下一次的纹理数据读取

代码执行流程

image

完整代码参考:github

文章来源于互联网,如有雷同请联系站长删除:二十九 AVFoundation采集视频获取纹理+MetalKit高斯模糊渲染

发表评论