需求:最近公司需要做一个楼宇对讲的功能:门口机(连接WIFI)拨号对室内机(对应的WIFI)的设备进行呼叫,室内机收到呼叫之后将对收到的数据进行UDP广播的转发,手机(连接对应的WIFI)收到视频流之后,实时的展示视频数据(手机可以接听,挂断,手机接听之后,室内机不展示视频,只是进行转发。)

简单点说就是手机客户端需要做一个类似于|直播|平台的软件,可以实时的展示视频,实时的播放接收到的声音数据,并且实时将手机麦克风收到的声音回传给室内机,室内机负责转发给门口机。
这篇文章介绍iOS怎么进行实时的录音和播放收到的声音数据
想要使用系统的框架实时播放声音和录音数据,就得知道音频队列服务,
在AudioToolbox框架中的音频队列服务,它完全可以做到音频播放和录制,
一个音频服务队列有三个部分组成:
1.三个缓冲器Buffers:没个缓冲器都是一个存储音频数据的临时仓库。
2.一个缓冲队列Buffer Queue:一个包含音频缓冲器的有序队列。
3.一个回调CallBack:一个自定义的队列回调函数。
具体怎么运转的还是百度吧!
我的简单理解:
对于播放:系统会自动从缓冲队列中循环取出每个缓冲器中的数据进行播放,我们需要做的就是将接收到的数据循环的放到缓冲器中,剩下的就交给系统去实现了。
对于录音: 系统会自动将录的声音放入队列中的每个缓冲器中,我们需要做的就是从回调函数中将数据转化我们自己的数据就OK了。
#pragma mark--实时播放
1. 导入系统框架AudioToolbox.framework AVFoundation.framework
2. 获取麦克风权限,在工程的Info.plist文件中加入Privacy - Microphone Usage Description 这个key 描述:App想要访问您的麦克风
3. 创建播放声音的类 EYAudio
EYAudio.h
#import <Foundation/Foundation.h> @interface EYAudio : NSObject // 播放的数据流数据 - (void)playWithData:(NSData *)data; // 声音播放出现问题的时候可以重置一下 - (void)resetPlay; // 停止播放 - (void)stop; @end
EYAudio.m
#import "EYAudio.h"
#import <AVFoundation/AVFoundation.h>
#import <AudioToolbox/AudioToolbox.h>
#define MIN_SIZE_PER_FRAME 1920 //每个包的大小,室内机要求为960,具体看下面的配置信息
#define QUEUE_BUFFER_SIZE 3 //缓冲器个数
#define SAMPLE_RATE 16000 //采样频率
@interface EYAudio(){
AudioQueueRef audioQueue; //音频播放队列
AudioStreamBasicDescription _audioDescription;
AudioQueueBufferRef audioQueueBuffers[QUEUE_BUFFER_SIZE]; //音频缓存
BOOL audioQueueBufferUsed[QUEUE_BUFFER_SIZE]; //判断音频缓存是否在使用
NSLock *sysnLock;
NSMutableData *tempData;
OSStatus osState;
}
@end
@implementation EYAudio
#pragma mark - 提前设置AVAudioSessionCategoryMultiRoute 播放和录音
+ (void)initialize
{
NSError *error = nil;
//只想要播放:AVAudioSessionCategoryPlayback
//只想要录音:AVAudioSessionCategoryRecord
//想要"播放和录音"同时进行 必须设置为:AVAudioSessionCategoryMultiRoute 而不是AVAudioSessionCategoryPlayAndRecord(设置这个不好使)
BOOL ret = [[AVAudioSession sharedInstance] setCategory:AVAudioSessionCategoryMultiRoute error:&error];
if (!ret) {
NSLog(@"设置声音环境失败");
return;
}
//启用audio session
ret = [[AVAudioSession sharedInstance] setActive:YES error:&error];
if (!ret)
{
NSLog(@"启动失败");
return;
}
}
- (void)resetPlay
{
if (audioQueue != nil) {
AudioQueueReset(audioQueue);
}
}
- (void)stop
{
if (audioQueue != nil) {
AudioQueueStop(audioQueue,true);
}
audioQueue = nil;
sysnLock = nil;
}
- (instancetype)init
{
self = [super init];
if (self) {
sysnLock = [[NSLock alloc]init];
//设置音频参数 具体的信息需要问后台
_audioDescription.mSampleRate = SAMPLE_RATE;
_audioDescription.mFormatID = kAudioFormatLinearPCM;
_audioDescription.mFormatFlags = kLinearPCMFormatFlagIsSignedInteger | kAudioFormatFlagIsPacked;
//1单声道
_audioDescription.mChannelsPerFrame = 1;
//每一个packet一侦数据,每个数据包下的桢数,即每个数据包里面有多少桢
_audioDescription.mFramesPerPacket = 1;
//每个采样点16bit量化 语音每采样点占用位数
_audioDescription.mBitsPerChannel = 16;
_audioDescription.mBytesPerFrame = (_audioDescription.mBitsPerChannel / 8) * _audioDescription.mChannelsPerFrame;
//每个数据包的bytes总数,每桢的bytes数*每个数据包的桢数
_audioDescription.mBytesPerPacket = _audioDescription.mBytesPerFrame * _audioDescription.mFramesPerPacket;
// 使用player的内部线程播放 新建输出
AudioQueueNewOutput(&_audioDescription, AudioPlayerAQInputCallback, (__bridge void * _Nullable)(self), nil, 0, 0, &audioQueue);
// 设置音量
AudioQueueSetParameter(audioQueue, kAudioQueueParam_Volume, 1.0);
// 初始化需要的缓冲区
for (int i = 0; i < QUEUE_BUFFER_SIZE; i++) {
audioQueueBufferUsed[i] = false;
osState = AudioQueueAllocateBuffer(audioQueue, MIN_SIZE_PER_FRAME, &audioQueueBuffers[i]);
}
osState = AudioQueueStart(audioQueue, NULL);
if (osState != noErr) {
NSLog(@"AudioQueueStart Error");
}
}
return self;
}
// 播放数据
-(void)playWithData:(NSData *)data
{
[sysnLock lock];
tempData = [NSMutableData new];
[tempData appendData: data];
NSUInteger len = tempData.length;
Byte *bytes = (Byte*)malloc(len);
[tempData getBytes:bytes length: len];
int i = 0;
while (true) {
if (!audioQueueBufferUsed[i]) {
audioQueueBufferUsed[i] = true;
break;
}else {
i++;
if (i >= QUEUE_BUFFER_SIZE) {
i = 0;
}
}
}
audioQueueBuffers[i] -> mAudioDataByteSize = (unsigned int)len;
// 把bytes的头地址开始的len字节给mAudioData,向第i个缓冲器
memcpy(audioQueueBuffers[i] -> mAudioData, bytes, len);
// 释放对象
free(bytes);
//将第i个缓冲器放到队列中,剩下的都交给系统了
AudioQueueEnqueueBuffer(audioQueue, audioQueueBuffers[i], 0, NULL);
[sysnLock unlock];
}
// ************************** 回调 **********************************
// 回调回来把buffer状态设为未使用
static void AudioPlayerAQInputCallback(void* inUserData,AudioQueueRef audioQueueRef, AudioQueueBufferRef audioQueueBufferRef) {
EYAudio* audio = (__bridge EYAudio*)inUserData;
[audio resetBufferState:audioQueueRef and:audioQueueBufferRef];
}
- (void)resetBufferState:(AudioQueueRef)audioQueueRef and:(AudioQueueBufferRef)audioQueueBufferRef {
// 防止空数据让audioqueue后续都不播放,为了安全防护一下
if (tempData.length == 0) {
audioQueueBufferRef->mAudioDataByteSize = 1;
Byte* byte = audioQueueBufferRef->mAudioData;
byte = 0;
AudioQueueEnqueueBuffer(audioQueueRef, audioQueueBufferRef, 0, NULL);
}
for (int i = 0; i < QUEUE_BUFFER_SIZE; i++) {
// 将这个buffer设为未使用
if (audioQueueBufferRef == audioQueueBuffers[i]) {
audioQueueBufferUsed[i] = false;
}
}
}
@end
外界使用: 不断调用下面的方法将NSData传递进来
- (void)playWithData:(NSData *)data;
#pragma mark--实时录音
1. 导入系统框架AudioToolbox.framework AVFoundation.framework
2. 创建录音的类 EYRecord
EYRecord.h
#import <Foundation/Foundation.h> @interface ESARecord : NSObject //开始录音 - (void)startRecording; //停止录音 - (void)stopRecording; @end
EYRecord.m
#import "ESARecord.h"
#import <AudioToolbox/AudioToolbox.h>
#define QUEUE_BUFFER_SIZE 3 // 输出音频队列缓冲个数
#define kDefaultBufferDurationSeconds 0.03//调整这个值使得录音的缓冲区大小为960,实际会小于或等于960,需要处理小于960的情况
#define kDefaultSampleRate 16000 //定义采样率为16000
extern NSString * const ESAIntercomNotifationRecordString;
static BOOL isRecording = NO;
@interface ESARecord(){
AudioQueueRef _audioQueue; //输出音频播放队列
AudioStreamBasicDescription _recordFormat;
AudioQueueBufferRef _audioBuffers[QUEUE_BUFFER_SIZE]; //输出音频缓存
}
@property (nonatomic, assign) BOOL isRecording;
@end
@implementation ESARecord
- (instancetype)init
{
self = [super init];
if (self) {
//重置下
memset(&_recordFormat, 0, sizeof(_recordFormat));
_recordFormat.mSampleRate = kDefaultSampleRate;
_recordFormat.mChannelsPerFrame = 1;
_recordFormat.mFormatID = kAudioFormatLinearPCM;
_recordFormat.mFormatFlags = kLinearPCMFormatFlagIsSignedInteger | kLinearPCMFormatFlagIsPacked;
_recordFormat.mBitsPerChannel = 16;
_recordFormat.mBytesPerPacket = _recordFormat.mBytesPerFrame = (_recordFormat.mBitsPerChannel / 8) * _recordFormat.mChannelsPerFrame;
_recordFormat.mFramesPerPacket = 1;
//初始化音频输入队列
AudioQueueNewInput(&_recordFormat, inputBufferHandler, (__bridge void *)(self), NULL, NULL, 0, &_audioQueue);
//计算估算的缓存区大小
int frames = (int)ceil(kDefaultBufferDurationSeconds * _recordFormat.mSampleRate);
int bufferByteSize = frames * _recordFormat.mBytesPerFrame;
NSLog(@"缓存区大小%d",bufferByteSize);
//创建缓冲器
for (int i = 0; i < QUEUE_BUFFER_SIZE; i++){
AudioQueueAllocateBuffer(_audioQueue, bufferByteSize, &_audioBuffers[i]);
AudioQueueEnqueueBuffer(_audioQueue, _audioBuffers[i], 0, NULL);
}
}
return self;
}
-(void)startRecording
{
// 开始录音
AudioQueueStart(_audioQueue, NULL);
isRecording = YES;
}
void inputBufferHandler(void *inUserData, AudioQueueRef inAQ, AudioQueueBufferRef inBuffer, const AudioTimeStamp *inStartTime,UInt32 inNumPackets, const AudioStreamPacketDescription *inPacketDesc)
{
if (inNumPackets > 0) {
ESARecord *recorder = (__bridge ESARecord*)inUserData;
[recorder processAudioBuffer:inBuffer withQueue:inAQ];
}
if (isRecording) {
AudioQueueEnqueueBuffer(inAQ, inBuffer, 0, NULL);
}
}
- (void)processAudioBuffer:(AudioQueueBufferRef )audioQueueBufferRef withQueue:(AudioQueueRef )audioQueueRef
{
NSMutableData * dataM = [NSMutableData dataWithBytes:audioQueueBufferRef->mAudioData length:audioQueueBufferRef->mAudioDataByteSize];
if (dataM.length < 960) { //处理长度小于960的情况,此处是补00
Byte byte[] = {0x00};
NSData * zeroData = [[NSData alloc] initWithBytes:byte length:1];
for (NSUInteger i = dataM.length; i < 960; i++) {
[dataM appendData:zeroData];
}
}
// NSLog(@"实时录音的数据--%@", dataM);
//此处是发通知将dataM 传递出去
[[NSNotificationCenter defaultCenter] postNotificationName:@"EYRecordNotifacation" object:@{@"data" : dataM}];
}
-(void)stopRecording
{
if (isRecording)
{
isRecording = NO;
//停止录音队列和移除缓冲区,以及关闭session,这里无需考虑成功与否
AudioQueueStop(_audioQueue, true);
//移除缓冲区,true代表立即结束录制,false代表将缓冲区处理完再结束
AudioQueueDispose(_audioQueue, true);
}
NSLog(@"停止录音");
}
@end
如果不好使尝试将 EYRecord.m ----> EYRecord.mm
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
# iOS
# 录音
# 播放
# iOS通过Runtime实现友盟统计的实例代码
# 详解iOS 裁剪圆形图像并显示(类似于微信头像)
# 简单谈谈axios中的get
# post方法
# 详解Vue 2.0封装axios笔记
# IOS 长链接与短链接之间的转换
# safari调试iOS app web页面的步骤
# IOS 开发之UITextField的光标操作扩展
# 回调
# 室内
# 数据包
# 设为
# 器中
# 做一个
# 移除
# 自己的
# 都是
# 您的
# 都不
# 是从
# 有多少
# 自定义
# 将对
# 就得
# 这篇文章
# 设置为
# 类似于
# 可以做到
相关文章:
家具网站制作软件,家具厂怎么跑业务?
建站之星如何实现五合一智能建站与营销推广?
建站主机功能解析:服务器选择与快速搭建指南
建站之星代理如何优化在线客服效率?
如何用IIS7快速搭建并优化网站站点?
如何在Golang中引入测试模块_Golang测试包导入与使用实践
建站之星后台密码遗忘或太弱?如何重置与强化?
建站之星下载版如何获取与安装?
建站之星与建站宝盒如何选择最佳方案?
如何在云主机快速搭建网站站点?
建站之星CMS建站配置指南:模板选择与SEO优化技巧
网站专业制作公司,网站编辑是做什么的?好做吗?工作前景如何?
上海网站制作网页,上海本地的生活网站有哪些?最好包括生活的各个方面的?
logo在线制作免费网站在线制作好吗,DW网页制作时,如何在网页标题前加上logo?
详解免费开源的DotNet二维码操作组件ThoughtWorks.QRCode(.NET组件介绍之四)
历史网站制作软件,华为如何找回被删除的网站?
建站之家VIP精选网站模板与SEO优化教程整合指南
零服务器AI建站解决方案:快速部署与云端平台低成本实践
油猴 教程,油猴搜脚本为什么会网页无法显示?
小捣蛋自助建站系统:数据分析与安全设置双核驱动网站优化
Android自定义listview布局实现上拉加载下拉刷新功能
Python路径拼接规范_跨平台处理说明【指导】
Python如何创建带属性的XML节点
Swift中swift中的switch 语句
h5网站制作工具有哪些,h5页面制作工具有哪些?
阿里云网站搭建费用解析:服务器价格与建站成本优化指南
深圳网站制作培训,深圳哪些招聘网站比较好?
在线制作视频网站免费,都有哪些好的动漫网站?
专业网站设计制作公司,如何制作一个企业网站,建设网站的基本步骤有哪些?
如何正确下载安装西数主机建站助手?
如何生成腾讯云建站专用兑换码?
免费制作小说封面的网站有哪些,怎么接网站批量的封面单?
如何在IIS中配置站点IP、端口及主机头?
广平建站公司哪家专业可靠?如何选择?
制作ppt免费网站有哪些,有哪些比较好的ppt模板下载网站?
如何快速完成中国万网建站详细流程?
建站之星如何开启自定义404页面避免用户流失?
如何基于云服务器快速搭建网站及云盘系统?
建站10G流量真的够用吗?如何应对访问高峰?
购物网站制作公司有哪些,哪个购物网站比较好?
宿州网站制作公司兴策,安徽省低保查询网站?
制作网页的网站有哪些,电脑上怎么做网页?
如何快速搭建高效可靠的建站解决方案?
如何在万网自助建站中设置域名及备案?
专业制作网站的公司哪家好,建立一个公司网站的费用.有哪些部分,分别要多少钱?
如何通过cPanel快速搭建网站?
如何用y主机助手快速搭建网站?
安徽网站建设与外贸建站服务专业定制方案
建站主机与虚拟主机有何区别?如何选择最优方案?
如何快速生成可下载的建站源码工具?
*请认真填写需求信息,我们会在24小时内与您取得联系。