iOS在线识别:https://www.jianshu.com/u/3c2a0bd52ebc

kaldi静态库集成到项目中没问题后,现在就需要采集音频发送给解码器去解码。

我这里对音频的传输采用的是GStreamer的库,我们也可以采用自己的方式去传输音频,GStreamer的好处就是能将音频进行缓存,每次都能有序的从GstBufferSource中去读取数据进行解码,我们能控制好这个传输的管道,自己实现完全没问题。

采集

iOS采集音频的方式有很多种,我这里简单贴出我采集的方式:

- (void)startCapture {
    self.capture = [AVCaptureSession new];

    AVCaptureDevice *audioDev = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeAudio];

    AVCaptureDeviceInput *audioIn = [[AVCaptureDeviceInput alloc] initWithDevice:audioDev error:nil];

    if (![self.capture canAddInput:audioIn]) {
        NSLog(@"不能添加 input device");
        return;
    }

    [self.capture addInput:audioIn];

    AVCaptureAudioDataOutput *audioOut = [AVCaptureAudioDataOutput new];

    [audioOut setSampleBufferDelegate:self queue:dispatch_get_main_queue()];

    if (![self.capture canAddOutput:audioOut]) {
        NSLog(@"不能添加 audio output");
        return;
    }

    [self.capture addOutput:audioOut];
    [audioOut connectionWithMediaType:AVMediaTypeAudio];
    [self.capture startRunning];
}

传输

因为传输我是用的GStreamer,所以这里需要我们对GStreamer有个了解,不然不知道怎么去跟解码器串联起来,出了问题也不知道怎么查。

通俗的说,GStreamer在这里起到了一个管道的作用,连通采集跟解码器,管道内部有很多的元件,都是对音频的处理,这个我们不用去关心它是怎么去处理的,我们只需要知道这个管道里面都要需要哪些元件,怎么把他们串起来就可以了。

我这里用的元件有:

  • appsrc:这个是必须的元件,主要是将数据插入管道中
  • decodebin:这个是一个通过decoders和demuxers自动解码的元件
  • audioresample:使用可配置的窗口方法将原始音频缓冲区重新采样到不同的采样率,以提高质量
  • audioconvert:转换原始音频缓冲区之间的各种可能的格式,它支持integer到float转换,width/depth转换,signedness和endianness转换和channel转换(例如:upmixing和downmixing),以及抖动(dithering)和噪声(noise-shaping)。
  • tee:将数据分割到多个pad。对数据流1路分成多路的分路器
  • fakesink:一个数据只进不出的sink,吞噬掉其他的流,让音频流向前推进
  • queue:数据排队,直到达到“max-size-buffer”、“max-size-bytes”和/或“max-size-time”属性指定的限制之一。任何将更多缓冲区推入队列的尝试都会阻塞推线程,直到有更多空间可用为止。
  • 自定义的解码插件:这个是将识别解码器生成一个GStreamer插件,加入管道中

我们了解了这些元件,通过下面方法创建元件:

gst_element_factory_make(const gchar *factoryname, const gchar *name)

我们获得了这些元件,接下来我们就需要将这些元件加入到管道(pipeline)中:

gst_bin_add_many(GstBin *bin, GstElement *element_1, ...)

接下来是将每个元件关联起来:

gst_element_link(GstElement *src, GstElement *dest)

以上我们就做好了这个传输数据的管道,有些事件的监听和状态的设置也需要在这里做,因为都是一些标准的设置,我这里就不赘述了。

推送数据

采集到数据后,我们可以通过如下方式推送数据:

g_signal_emit_by_name( G_OBJECT(self->appsrc), "push-buffer", buffer, &ret );

这样数据通过管道就会到达识别解码器,当然解码器也要做好接收的准备,这个后面讲自定义解码器插件的时候会说。

至此,我们就完成了音频的传输。

文章来源于互联网,如有雷同请联系站长删除:基于kaldi的iOS实时语音识别(本地)+03+音频采集传输

发表评论