前言

系列文章:
《iOS视频开发(一):视频采集》
《iOS视频开发(二):视频H264硬编码》
《iOS视频开发(三):视频H264硬解码》
《iOS视频开发(四):通俗理解YUV数据》

作为iOS音视频开发之视频开发的第一篇,本文介绍iOS视频采集的相关概念及视频采集的工作原理,后续将对采集后的视频数据进行硬编码、硬解码、播放等流程进行分析讲解。


基本概念

AVCaptureSession

苹果为了管理从摄像头、麦克风等设备捕获到的信息,整了一个叫做AVCaptureSession的东西来对输入和输出数据流进行管理。AVFoundation官方文档

单个AVCaptureSession管理多个输入输出

AVCaptureSession对象是用来管理采集数据和输出数据的,它负责协调从哪里采集数据,输出到哪里。

AVCaptureDevice

一个AVCaptureDevice对象代表一个物理采集设备,我们可以通过该对象来设置物理设备的属性。

AVCaptureInput

AVCaptureInput是一个抽象类,AVCaptureSession的输入端必须是AVCaptureInput的实现类。
这里我们用到的是AVCaptureDeviceInput,作为采集设备输入端。

AVCaptureOutput

AVCaptureOutput是一个抽象类,AVCaptureSession的输出端必须是AVCaptureOutput的实现类。
这里我们用到的是AVCaptureVideoDataOutput,作为视频数据的输出端。

AVCaptureConnection

AVCaptureConnection是AVCaptureSession用来建立和维护AVCaptureInput和AVCaptureOutput之间的连接的。

AVCaptureVideoPreviewLayer

这是AVCaptureSession的一个属性,集成自CALayer,通过类名我们可以知道这个layer是用来预览采集到的视频图像的,直接把这个layer加到UIView上面就可以实现采集到的视频实时预览了。

AVCaptureConnection表示输入和输出之间的连接

视频采集的步骤

1、创建并初始化输入(AVCaptureInput)和输出(AVCaptureOutput)
2、创建并初始化AVCaptureSession,把AVCaptureInput和AVCaptureOutput添加到AVCaptureSession中
3、调用AVCaptureSession的startRunning开启采集

初始化输入(摄像头)

通过AVCaptureDevice的devicesWithMediaType:方法获取摄像头,iPhone都是有前后摄像头的,这里获取到的是一个设备的数组,要从数组里面拿到我们想要的前摄像头或后摄像头,然后将AVCaptureDevice转化为AVCaptureDeviceInput,一会儿添加到AVCaptureSession中。

// 获取所有摄像头
NSArray *cameras= [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo];
// 获取前置摄像头
NSArray *captureDeviceArray = [cameras filteredArrayUsingPredicate:[NSPredicate predicateWithFormat:@"position == %d", AVCaptureDevicePositionFront]];
if (!captureDeviceArray.count)
{
    NSLog(@"获取前置摄像头失败");
    return;
}
// 转化为输入设备
AVCaptureDevice *camera = captureDeviceArray.firstObject;
NSError *errorMessage = nil;
self.captureDeviceInput = [AVCaptureDeviceInput deviceInputWithDevice:camera error:&errorMessage];
if (errorMessage)
{
    NSLog(@"AVCaptureDevice转AVCaptureDeviceInput失败");
    return;
}
初始化输出

初始化视频输出并设置视频数据格式,设置采集数据回调线程。
这里视频输出格式选的是kCVPixelFormatType_420YpCbCr8BiPlanarFullRange,YUV数据格式,不理解YUV数据的概念的话可以先这么写,后面编解码再深入了解YUV数据格式

// 设置视频输出
self.captureVideoDataOutput = [[AVCaptureVideoDataOutput alloc] init];

// 设置视频数据格式
NSDictionary *videoSetting = [NSDictionary dictionaryWithObjectsAndKeys: [NSNumber numberWithInt:kCVPixelFormatType_420YpCbCr8BiPlanarFullRange], kCVPixelBufferPixelFormatTypeKey, nil];
[self.captureVideoDataOutput setVideoSettings:videoSetting];

// 设置输出代理、串行队列和数据回调
dispatch_queue_t outputQueue = dispatch_queue_create("ACVideoCaptureOutputQueue", DISPATCH_QUEUE_SERIAL);
[self.captureVideoDataOutput setSampleBufferDelegate:self queue:outputQueue];
// 丢弃延迟的帧
self.captureVideoDataOutput.alwaysDiscardsLateVideoFrames = YES;
初始化AVCaptureSession并设置输入输出

1、初始化AVCaptureSession,把上面的输入和输出加进来,在添加输入和输出到AVCaptureSession先查询一下AVCaptureSession是否支持添加该输入或输出端口。

2、设置视频分辨率及图像质量(AVCaptureSessionPreset),设置之前同样需要先查询一下AVCaptureSession是否支持这个分辨率。

3、如果在已经开启采集的情况下需要修改分辨率或输入输出,需要用beginConfiguration和commitConfiguration把修改的代码包围起来。在调用beginConfiguration后,可以配置分辨率、输入输出等,直到调用commitConfiguration了才会被应用。

4、AVCaptureSession管理了采集过程中的状态,当开始采集、停止采集、出现错误等都会发起通知,我们可以监听通知来获取AVCaptureSession的状态,也可以调用其属性来获取当前AVCaptureSession的状态。AVCaptureSession相关的通知都是在主线程的。

前置摄像头采集到的画面是翻转的,若要解决画面翻转问题,需要设置AVCaptureConnection的videoMirrored为YES。

self.captureSession = [[AVCaptureSession alloc] init];
// 不使用应用的实例,避免被异常挂断
self.captureSession.usesApplicationAudioSession = NO;
// 添加输入设备到会话
if ([self.captureSession canAddInput:self.captureDeviceInput])
{
    [self.captureSession addInput:self.captureDeviceInput];
}
// 添加输出设备到会话
if ([self.captureSession canAddOutput:self.captureVideoDataOutput])
{
    [self.captureSession addOutput:self.captureVideoDataOutput];
}
// 设置分辨率
if ([self.captureSession canSetSessionPreset:AVCaptureSessionPreset1280x720])
{
    self.captureSession.sessionPreset = AVCaptureSessionPreset1280x720;
}
// 获取连接并设置视频方向为竖屏方向
self.captureConnection = [self.captureVideoDataOutput connectionWithMediaType:AVMediaTypeVideo];
self.captureConnection.videoOrientation = AVCaptureVideoOrientationPortrait;
// 设置是否为镜像,前置摄像头采集到的数据本来就是翻转的,这里设置为镜像把画面转回来
if (camera.position == AVCaptureDevicePositionFront && self.captureConnection.supportsVideoMirroring)
{
    self.captureConnection.videoMirrored = YES;
}
// 获取预览Layer并设置视频方向,注意self.videoPreviewLayer.connection跟self.captureConnection不是同一个对象,要分开设置
self.videoPreviewLayer = [AVCaptureVideoPreviewLayer layerWithSession:self.captureSession];
self.videoPreviewLayer.connection.videoOrientation = self.captureParam.videoOrientation;
self.videoPreviewLayer.videoGravity = AVLayerVideoGravityResizeAspectFill;
开始视频数据采集

伺候好AVCaptureSession之后,直接调用startRunning就可以开始采集了,开启采集前最好判断一下摄像头权限有没有开启。采集到的数据会通过上面设置的代理方法captureOutput:didOutputSampleBuffer:fromConnection回调出来。若要停止采集,只需调用stopRunning即可。

AVCaptureSession的startRunning方法是个耗时操作,如果在主线程调用的话会卡UI。

/** 开始采集 */
- (BOOL)startCapture
{
    if (self.isCapturing)
    {
        return NO;
    }
    // 摄像头权限判断
    AVAuthorizationStatus videoAuthStatus = [AVCaptureDevice authorizationStatusForMediaType:AVMediaTypeVideo];
    if (videoAuthStatus != AVAuthorizationStatusAuthorized)
    {
        return NO;
    }
    [self.captureSession startRunning];
    self.isCapturing = YES;
    return YES;
}
/**
 摄像头采集的数据回调
 @param output 输出设备
 @param sampleBuffer 帧缓存数据,描述当前帧信息
 @param connection 连接
 */
- (void)captureOutput:(AVCaptureOutput *)output didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection
{
    if ([self.delegate respondsToSelector:@selector(videoCaptureDataCallback:)])
    {
        [self.delegate videoCaptureDataCallback:sampleBuffer];
    }
}
切换前后摄像头

采集视频数据的过程中,我们可能需要切换前后摄像头,这时候我们只需要把AVCaptureSession中的输入端改成前置摄像头就可以了。这里是修改了输入端口,也就是需要调用beginConfiguration和commitConfiguration包起来。当然也可以选择先调用stopRunning方法停止采集,然后重新配置好输入和输出,再调用startRunning开启采集。

// 获取所有摄像头
NSArray *cameras= [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo];
// 获取当前摄像头方向
AVCaptureDevicePosition currentPosition = self.captureDeviceInput.device.position;
AVCaptureDevicePosition toPosition = AVCaptureDevicePositionUnspecified;
if (currentPosition == AVCaptureDevicePositionBack || currentPosition == AVCaptureDevicePositionUnspecified)
{
    toPosition = AVCaptureDevicePositionFront;
}
else
{
    toPosition = AVCaptureDevicePositionBack;
}
NSArray *captureDeviceArray = [cameras filteredArrayUsingPredicate:[NSPredicate predicateWithFormat:@"position == %d", toPosition]];
if (captureDeviceArray.count == 0)
{
    return;
}
NSError *error = nil;
AVCaptureDevice *camera = captureDeviceArray.firstObject;
// 开始配置
[self.captureSession beginConfiguration];
AVCaptureDeviceInput *newInput = [AVCaptureDeviceInput deviceInputWithDevice:camera error:&error];
[self.captureSession removeInput:self.captureDeviceInput];
if ([_captureSession canAddInput:newInput])
{
    [_captureSession addInput:newInput];
    self.captureDeviceInput = newInput;
}
// 提交配置
[self.captureSession commitConfiguration];

// 重新获取连接并设置视频的方向、是否镜像
self.captureConnection = [self.captureVideoDataOutput connectionWithMediaType:AVMediaTypeVideo];
self.captureConnection.videoOrientation = AVCaptureVideoOrientationPortrait;
if (camera.position == AVCaptureDevicePositionFront && self.captureConnection.supportsVideoMirroring)
{
    self.captureConnection.videoMirrored = YES;
}
设置视频的帧率

iOS默认输出的视频帧率为30帧/秒,在某些应用场景下我们可能用不到30帧,我们也可以设置或修改视频的输出帧率

// 获取设置支持设置的帧率范围
NSInteger frameRate = 15;
AVFrameRateRange *frameRateRange = [self.captureDeviceInput.device.activeFormat.videoSupportedFrameRateRanges objectAtIndex:0];

if (frameRate > frameRateRange.maxFrameRate || frameRate 

踩坑及总结

用的时候我们是有设置AVCaptureVideoPreviewLayer的connection的videoOrientation属性来确定画面的方向的。刚开始的时候出现了很奇怪的现象,AVCaptureVideoPreviewLayer的画面是正常的竖屏方向,但拿采集出来的视频流去播放的时候发现画面是横屏方向。后来发现,这里AVCaptureVideoPreviewLayer的connection属性跟我们通过connectionWithMediaType方法获取到的connection不是同一个对象,需要分别设置。像我们上面分析看到,connection是维护一个输入设备和一个输出的,也就是说AVCaptureSession有多个connection。找到对应需要的connection设置videoOrientation,问题解决。

iOS视频采集这一块内容不多,难度也比较低,应该还是比较好上手的。本文限于篇幅没有详细说明设置摄像头的相关内容,例如闪光灯、对焦等。建议阅读AVFoundation官方文档,少走弯路。

下一篇将介绍H264硬编码的实现,最后附上Demo地址:https://github.com/GenoChen/MediaService

文章来源于互联网,如有雷同请联系站长删除:iOS视频开发(一):视频采集

发表评论