第9课 回声抑制(AEC+AGC+ANS)的实现
在第8课中,我们将推流端与播放端合并实现了一对一音视频聊天功能,一切看起来还不错。但在实际使用时,会遇到一个烦心的问题:说话时会听到比较大的回声,影响正常使用。所以,这节课我们来重点解决这个问题。
解决回声的方案可以利用操作系统本身提供的AEC功能,也可以引入第三方SDK实现。业界比较好用的AEC方案是webRTC开源的回声抑制方案,除了AEC,还可以同时实现AGC和ANS。
1.配置开发环境
与使用FFmpeg和openCV的SDK类似,我们在使用前需要先包括webRTC的头文件和库文件:
E:\SDK\webrtc-sdk\x86\include;
E:\SDK\webrtc-sdk\x86\lib;
2.初始化webRTC
在fmle.cpp中加入初始化代码:
//AEC初始化
void *aecInst = NULL;
int sampleNum = 160;
char far_frame[320];
char near_frame[320];
char out_frame[320];
WebRtcAec_Create(&aecInst);
ret = WebRtcAec_Init(aecInst, 8000, 8000);
printf("ret WebRtcAec_Init: %d\n", ret);
AecConfig aecConfig;
//aecConfig.skewMode = kAecFalse;
//aecConfig.metricsMode = kAecFalse;
//aecConfig.delay_logging = kAecFalse;
aecConfig.nlpMode = kAecNlpConservative;
ret = WebRtcAec_set_config(aecInst, aecConfig);//AGC初始化
void *agcInst = NULL;
int minLevel = 0;
int maxLevel = 255;
int agcMode = kAgcModeFixedDigital;
int fs = 16000;
int status = 0;
WebRtcAgc_Create(&agcInst);
ret = WebRtcAgc_Init(agcInst, minLevel, maxLevel, agcMode, fs);WebRtcAgc_config_t agcConfig;
agcConfig.compressionGaindB = 20;
agcConfig.limiterEnable = 1;
agcConfig.targetLevelDbfs = 3;
ret = WebRtcAgc_set_config(agcInst, agcConfig);NsHandle *nsInst = NULL;
WebRtcNs_Create(&nsInst);
WebRtcNs_Init(nsInst, 8000);
WebRtcNs_set_policy(nsInst, 1);
3.处理回声
在FFmpeg处理音频部分进行回声处理,注意需要先获取播放流音频也就是代码中的mainDlg->myFmlp->outAudioQue.front().audioDataArr作为参考:
//是否处理回声
BOOL ifAEC = mainDlg->ifAEC;;
if (!mainDlg->myFmlp->outAudioQue.empty() && ifAEC){memcpy(farAudioBuffer, mainDlg->myFmlp->outAudioQue.front().audioDataArr, 2048);for (int num = 0; num <7; num++){if (sampleNum*num * 2 < 1920){memcpy(far_frame, farAudioBuffer + sampleNum*num * 2, sampleNum * 2);memcpy(near_frame, nearAudioBuffer + sampleNum*num * 2, sampleNum * 2);}else{memcpy(far_frame, farAudioBuffer + 1920, 128);memcpy(near_frame, nearAudioBuffer + 1920, 128);}ret = WebRtcAec_BufferFarend(aecInst, (int16_t *)far_frame, sampleNum);backTime = mainDlg->backTime;WebRtcAec_Process(aecInst, (int16_t *)near_frame, (int16_t *)1, (int16_t *)out_frame, (int16_t *)1, sampleNum, backTime, 0);memcpy(aecAudioBuffer + sampleNum*num * 2, out_frame, sampleNum * 2);} memcpy(audioBuffer, (uint8_t*)aecAudioBuffer, 2048); }
else{memcpy(audioBuffer, (uint8_t*)inAudioQue.front().audioDataArr, 2048);
}
4.测试效果
调试运行,如何能听到明显的回声消除效果则表示成功,否则需要进一步微调backTime。
相关文章:
第9课 回声抑制(AEC+AGC+ANS)的实现
在第8课中,我们将推流端与播放端合并实现了一对一音视频聊天功能,一切看起来还不错。但在实际使用时,会遇到一个烦心的问题:说话时会听到比较大的回声,影响正常使用。所以,这节课我们来重点解决这个问题。 …...
软件测试|Python中的变量与关键字详解
简介 在Python编程中,变量和关键字是非常重要的概念。它们是构建和控制程序的基本要素。本文将深入介绍Python中的变量和关键字,包括它们的定义、使用方法以及一些常见注意事项。 变量 变量的定义 变量是用于存储数据值的名称。在Python中࿰…...
修改安卓apk设置为安卓主屏幕(launcher)
修改安卓apk 将apk可以设置安卓主屏幕 原理: 将打包好的apk文件进行拆包增加配置文件在重新编译回apk包 需要得相关文件下载 解包 apktool :https://pan.baidu.com/s/1oyCIYak_MHDJCvDbHj_qEA?pwd5j2xdex2jar:https://pan.baidu.com/s/1Nc-0vppVd0G…...
unity中 canvas下物体的朝向跟随
public Transform target; private Vector3 direction; void Update() { //第一种 //direction target.position - transform.position; //transform.up -direction.normalized; //第二种 if (target ! null ) { …...
HarmonOS 日期选择组件(DatePicker)
本文 我们一起来看基础组件中的 DatePicker 这就是 日程开发中的日期组件 他可以创建一个日期的范围 并创建一个日期的滑动选择器 这里 我们先写一个组件的骨架 Entry Component struct Index {build() {Row() {Column() {}.width(100%)}.height(100%)} }然后 我们先在Column组…...
linux中的系统安全
一.账号安全 将非登录用户的shell设为/sbin/nologin 系统中用户有三种:超级管理员 普通用户 程序用户 前两种用户可以登录系统,程序用户不给登录 所以称为非登录用户 命令格式: usermod -s /sbin/nologin(改已有用户&#…...
LeetCode(209)长度最小的子数组⭐⭐
给定一个含有 n 个正整数的数组和一个正整数 s ,找出该数组中满足其和 ≥ s 的长度最小的 连续 子数组,并返回其长度。如果不存在符合条件的子数组,返回 0。 示例: 输入:s 7, nums [2,3,1,2,4,3]输出:2…...
【JAVA】MySQL中datetime类型23:59:59自动变为下一天的00:00:00
如:2024-08-11 23:59:59 变成了 2024-08-12 00:00:00。 解析:数据库入库的时候会有500毫秒的进位,然而程序在赋值时间给变量的时候很大概率会超过500ms,有时是999ms。 解决方案 // DateUtil Hutool官网 将生成的时间往前偏移99…...
Unity游戏内相机(主角头部视角)的旋转问题:“万向节锁定”(Gimbal Lock)
前言: 在Unity中,相机的正前方是Z正半轴,相机的正右方是X正半轴,相机的正上方是Y正半轴。这个很好理解。 现在,我想要相机看向左前上方45,你会觉得要怎么做呢? 如果是我的话,我的第一…...
Keras实现seq2seq
概述 Seq2Seq是一种深度学习模型,主要用于处理序列到序列的转换问题,如机器翻译、对话生成等。该模型主要由两个循环神经网络(RNN)组成,一个是编码器(Encoder),另一个是解码器…...
1080p 1k 2k 4k 8k 分辨率,2K就不应该存在。
众所周知 1K(1080P):分辨率为19201080像素,2K:分辨率为25601440像素4K:分辨率为38402160像素8K:分辨率为76804320像素 边长比例,和像素比例如下: 2K宽高都是1k的1.333…...
接口芯片选型分析 四通道差分驱动可满足ANSI TIA/EIA-422-B 和ITU V.11 的要求 低功耗,高速率,高ESD
四通道差分驱动可满足ANSI TIA/EIA-422-B 和ITU V.11 的要求 低功耗,高速率,高ESD。 其中GC26L31S可替代AM26LS31/TI,GC26L32S替代AM26LS32/TI,GC26E31S替代TI的AM26LV31E...
使用.Net nanoFramework获取ESP32板载按键的点击事件
本文以 ESP32-S3-Zero 板载的按键为例,介绍了GPIO的使用方法,以及如何获取按键的点击事件。板载按钮作为自带的天然用户按钮,除了其本身的功能外,也可以作为某些应用场景下的简单的交互方式。 1. 引言 对于一般的产品来说&#x…...
安全远控如何设置?揭秘ToDesk、TeamViewer 、向日葵安全远程防御大招
写在前面一、远程控制:安全性不可忽略二、远控软件安全设置实测 ◉ ToDesk◉ TeamViewer◉ 向日葵 三、远控安全的亮点功能四、个人总结与建议 写在前面 说到远程办公,相信大家都不陌生。远程工作是员工在家中或者其他非办公场所上班的一种工作模式&am…...
Spring AOP(详解)
目录 1.AOP概述 2.AOP相关术语 3.Spring AOP的原理机制 3.1JDK动态代理 3.2 CGLIB动态代理 3.3简单代码展示 3.3.1JDK动态代理 3.3.2CGLIB动态代理 4.Spring的AOP配置 4.1pom.xml 4.2增强方法 4.3切点 4.4切面 5.基于注解的AOP配置 5.1.创建工程 5.2.增强 5.3AOP…...
Linux系统编程之进程
目录 1、进程关键概念 1.什么是程序,什么是进程,有什么区别 2.如何查看系统中有那些进程 3.什么是进程标识符 4.什么叫父进程,什么叫子进程 5.C语言的存储空间是如何分配的 2、进程创建 1.fork函数创建进程 2.vfork函数创建进程 3、…...
Vue中使用require.context自动引入组件的方法介绍
我们项目开发中,经常需要import或者export各种模块,那么有没有什么办法可以简化这种引入或者导出操作呢?答案是肯定的,下面就为大家介绍一下require.context require.context 是 webpack 提供的一个 API,用于创建 con…...
Java 监控诊断利器 Arthas monitor/watch/trace 命令使用详解
目录 一、命令介绍二、测试Demo三、命令使用示例3.1、monitor 命令3.1.1、监控primeFactors方法调用情况(5秒一个周期,每过5秒将这5秒统计的信息输出)3.1.2、监控primeFactors方法调用情况(5秒一个周期,每过5秒将这5秒…...
论文阅读:基于MCMC的能量模型最大似然学习剖析
On the Anatomy of MCMC-Based Maximum Likelihood Learning of Energy-Based Models 相关代码:点击 本文只介绍关于MCMC训练的部分,由此可知,MCMC常常被用于训练EBM。最后一张图源于Implicit Generation and Modeling with Energy-Based Mod…...
【Verilog】期末复习——设计一个带异步复位端且高电平有效的32分频电路
系列文章 数值(整数,实数,字符串)与数据类型(wire、reg、mem、parameter) 运算符 数据流建模 行为级建模 结构化建模 组合电路的设计和时序电路的设计 有限状态机的定义和分类 期末复习——数字逻辑电路分…...
QMCDecode:打破音乐枷锁,让QQ音乐文件在你的设备上自由呼吸
QMCDecode:打破音乐枷锁,让QQ音乐文件在你的设备上自由呼吸 【免费下载链接】QMCDecode QQ音乐QMC格式转换为普通格式(qmcflac转flac,qmc0,qmc3转mp3, mflac,mflac0等转flac),仅支持macOS,可自动识别到QQ音乐下载目录&…...
SteamCleaner:游戏玩家的硬盘救星,3分钟释放100GB空间
SteamCleaner:游戏玩家的硬盘救星,3分钟释放100GB空间 【免费下载链接】SteamCleaner :us: A PC utility for restoring disk space from various game clients like Origin, Steam, Uplay, Battle.net, GoG and Nexon :us: 项目地址: https://gitcode…...
Python 爬虫反爬突破:流量指纹伪装规避流量监测
前言 在爬虫反爬对抗体系中,IP 封禁、UA 伪造、验证码拦截属于表层防护,而流量指纹监测是现阶段大中型互联网平台、资讯门户、电商业务系统采用的高阶反爬手段。服务端与网关防火墙会基于全网流量行为、报文特征、连接握手规则、请求时序模型、协议栈特…...
04 - 运行 rocrtst 第一个测试
本文档帮助你成功运行 rocrtst 的第一个测试,并掌握各种运行方式。 1. 运行前检查清单 在运行测试之前,确认以下条件: # ✅ 1. rocrtst64 已构建并安装 ls $ROCM_PREFIX/bin/rocrtst64# ✅ 2. GPU kernel 已编译(检查你的 GPU …...
带fp8激活量化的RMSNorm算子手撕
rms_norm_fp8_noweight_fp16:计算流程与优化 完整代码 void rms_norm_fp8_noweight_fp16(const __half *x, __nv_fp8_e4m3 *out,int seq_len, int dim, const float *d_scale,cudaStream_t stream) {rms_norm_fp8_noweight_kernel<<<seq_len, 256, 0, stream>&g…...
CAN总线终端电阻:从120Ω与0.25W的选型,看信号完整性与系统鲁棒性设计
1. 为什么CAN总线需要终端电阻? 第一次接触CAN总线设计时,我也曾疑惑:为什么要在总线两端各加一个120Ω的电阻?直接连线不行吗?直到亲眼目睹不加电阻时总线上的信号振荡,才真正理解终端电阻的重要性。 CAN总…...
LOSEHU固件深度解析:泉盛UV-K5/K6全功能固件架构与实战部署指南
LOSEHU固件深度解析:泉盛UV-K5/K6全功能固件架构与实战部署指南 【免费下载链接】uv-k5-firmware-custom 全功能泉盛UV-K5/K6固件 Quansheng UV-K5/K6 Firmware 项目地址: https://gitcode.com/gh_mirrors/uvk5f/uv-k5-firmware-custom LOSEHU固件是一款专为…...
LNG船BOG再液化系统流程优化与动态蒸发率控制【附模型】
✨ 本团队擅长数据搜集与处理、建模仿真、程序设计、仿真代码、EI、SCI写作与指导,毕业论文、期刊论文经验交流。 ✅ 专业定制毕设、代码 ✅如需沟通交流,点击《获取方式》 (1)液氮预冷BOG缓冲再液化系统流程设计与Aspen HYSYS建模…...
前端工程化:依赖管理最佳实践
前端工程化:依赖管理最佳实践 前言 依赖管理是前端工程化的基础!如果你的项目依赖管理混乱,那你的项目就像一个堆满杂物的仓库,难以维护。今天我就来给大家讲讲前端依赖管理的最佳实践。 为什么需要依赖管理 版本控制:…...
iPhone卡logo恢复数据
“iPhone卡在苹果Logo界面”,这可能是许多苹果用户手机遭遇的“噩梦”。屏幕亮起,一枚静止的苹果Logo下,是无尽的等待与无法响应的绝望。面对这种系统级故障,很多人第一时间想到的是“刷机”或“返厂”,试图修复设备。…...
