一次 RTC 通话里,A 离麦克风很近,B 坐在桌子另一端。A 开口时声音刺耳,B 接话时又得把扬声器调大;一旦 B 停下来,风扇声却跟着变响。如果只给每路音频乘一个固定系数,既无法兼顾远近,也可能把突然的笑声削成平顶。
自动增益控制(AGC)要做的,是在不断变化的输入上选择合适的增益,让语音容易听清,同时约束噪声、削波和增益突变。 本文以本地 WebRTC 源码提交 3dec7d0537 为准。先定义“好”的标准,再看 AGC2 怎样逐项处理,最后与旧版 AGC(下文称 AGC1)比较。
一、问题不只是“小声就放大”
音频样本的最大幅度受数字满量程限制。以 dBFS 表示时,0 dBFS 是数字上限,更负的数表示更小的电平。语音段 RMS 可粗略反映平均电平,峰值反映离削波还有多远;两者并非一回事。同样是 −30 dBFS 的语音 RMS,爆破音、笑声等瞬态也可能有不同的峰值余量。
这里还要区分两个位置:麦克风采集前后的输入音量,以及已经采到 PCM 后的数字增益。前者若能调低,有机会避免采集链路先行削波;后者只能缩放已有样本,无法找回已经截平的波形。发送端逐路控制音量,接收端再做混音;单路 AGC 也不能替混音器解决多人同时说话时的总峰值问题。
怎样判断一个 AGC 算法好不好
不存在适用于所有设备、房间和业务的单一“合格音量”数值。下面是本文采用的工程验收维度,不是 WebRTC 官方统一的 dBFS 标准:
| 测试场景 | 希望看到什么 | 可记录的量 |
|---|---|---|
| 远近切换、说话人音量阶跃 | 活跃语音逐渐靠近目标区间,不突然跳变 | 语音段 RMS 分布、收敛时间、逐帧增益 |
| 停顿、风扇或键盘噪声 | 停顿时不继续追着噪声加增益 | 非语音段 RMS、噪声底、增益曲线 |
| 近讲、笑声、爆破音 | 保留动态,尽量少削波 | 削顶样本比例、峰值、主观失真 |
| 用户调麦克风音量或设备不支持调节 | 识别外部变化;不能调设备时仍能合理工作 | 实际输入音量、推荐音量、输出电平 |
| 多人通话与长时间运行 | 各路听感接近,控制稳定且开销可接受 | 各路语音段电平、延迟、CPU、听感 |
RMS 和 dBFS 是观察音量的代理量,并不等于感知响度;最终仍要听语音是否自然、噪声是否“呼吸”、峰值是否失真。控制目标不是把所有时刻拉到一条直线,而是在语音、噪声、峰值之间留出余地。
二、AGC2 在发送链路中的位置
AGC2 由 输入音量控制器、自适应数字控制器、固定数字控制器和 Limiter 组成,但这些部分并非全部默认启用:gain_controller2.enabled、输入音量控制和自适应数字控制的默认值都是 false,固定增益默认 0 dB。开启 AGC2 而不打开自适应部分,不会自动得到“会追随说话人音量”的功能。AudioProcessing::Config::GainController2
图中的虚线是跨帧反馈:AGC2 不能直接替应用改操作系统麦克风音量。调用方需要告知 APM 当前实际输入音量,并把 recommended_stream_analog_level() 给出的建议应用到设备;否则输入音量控制器无法闭环。APM 在回声消除、降噪等处理之前检查原始采集信号的削波,在后处理位置运行 AGC2 数字部分。具体 APM 配置会影响其他模块是否存在,图示并不表示每个功能都必然开启。采集前段分析 · AGC2 数字处理位置 · 输入音量反馈
三、沿一帧音频拆开 AGC2
1. 判断“是不是语音”,而不是把所有能量都当语音
在常规 APM 集成路径中,AGC2 为需要语音估计的控制器建立内部 RNN VAD。它把首声道重采样到 24 kHz,对每个 10 ms 帧给出语音概率;后续控制逻辑用 0.95 作为高置信语音阈值,并要求至少 12 个连续语音帧才允许增加自适应数字增益。语音电平估计只在可信语音上更新,约积累 400 ms 语音帧后才标记为可信。因此通话刚开始时,控制器使用初始估计,不能指望第一帧就锁定真实说话音量。VoiceActivityDetectorWrapper · 公共阈值 · 语音电平估计
这里的 VAD 只判断像不像语音,不是识别说话人的身份。默认语音电平估计器并不会把房间里其他人的说话声单独排除;另有实验性估计器可在特定 field trial 下使用,不能当作默认 AGC2 能力。估计器选择 · 默认实现
2. 输入音量控制:先处理“源头太大”
输入音量控制器在原始采集音频上检查削顶样本比例,也可做削波预测;出现削波时建议降低麦克风输入音量。另一方面,它会把经处理后估计的语音 RMS 与一个宽目标区间比较,语音太低或太高时才逐步修改推荐音量。默认区间为 −50 ~ −12 dBFS,表示它主要把采集音量保持在可用范围,并非要求每个人最终听起来都在这个宽区间的同一点。还会等待一定帧数、要求足够的语音占比,并考虑用户手动改音量的情况。配置与目标区间 · 削波检测与音量更新
如果设备根本不接受音量控制、应用没有把建议值写回设备,或录音在进入 APM 前已经削波,这条链路就无法修复源头问题。输入音量控制与数字增益各有职责,不能把“数字 Limiter 能挡峰值”误认为“能恢复采集端已丢失的波形”。
3. 自适应数字增益:按语音求目标,再受噪声与峰值约束
数字增益部分不是简单将 语音 RMS 拉到固定值。AGC2 还估计语音峰值与 RMS 的差:饱和保护器利用近期峰值给出动态 headroom,大致在 12 ~ 25 dB 内缓慢变化;配置里的 headroom_db(默认 5 dB)是额外安全余量。于是目标增益可概括为:
| |
例如仅作算例:语音 RMS 为 −35 dBFS、动态峰值余量为 15 dB、配置余量为 5 dB,估计峰值约 −20 dBFS,初步想加 15 dB。若噪声底为 −60 dBFS,而配置要求输出噪声不高于 −50 dBFS,允许的增益只有 10 dB;最终目标就被压到 10 dB。这是为什么“远处的人仍偏小声”有时是有意的取舍:强拉语音会把噪声一同拉高。默认最大数字增益为 50 dB,输出噪声上限为 −50 dBFS;具体数值可按业务调整。目标增益与噪声限制 · 饱和保护器 · 默认参数
噪声底估计从一段时间内较低能量的帧寻找底噪,常规更新窗口为 5 秒,并非每帧把“当前最小能量”直接当成可靠噪声值;噪声突然上升时,约束也可能滞后。自适应增益每 10 ms 的常规变化量由默认 6 dB/s 限制,相当于 0.06 dB/帧;在首次满足连续语音条件时允许一次较快的补偿。这样减少“抽吸感”,代价是音量阶跃后不会瞬间到位。噪声底估计 · 增益变化
4. 固定增益与 Limiter:处理剩下的峰值风险
自适应增益之后可再加一个固定数字增益,默认 0 dB。最后的 Limiter 按短子帧估计峰值,使用增益曲线压低接近满量程的信号,并在样本间插值,避免增益突然跳变。若把固定增益设为正数,组合起来也能像压缩器一样工作。Limiter 是最终防线,不负责判断语音还是噪声,也不能保证所有突发峰值完全无削波:它没有跨整帧的预读,极快的尖峰仍可能触及最终硬钳制。GainController2::Process · Limiter::Process
四、回到开头:解决了什么,留下什么
| 开头的难题 | AGC2 的手段 | 仍需留意 |
|---|---|---|
| 远讲者小声 | 输入音量建议与自适应数字增益 | 增益有上限,且可能被噪声约束;设备音量要由应用配合 |
| 近讲者或瞬态太大 | 采集端削波检测/预测、动态峰值余量、Limiter | 已在采集端削坏的信号无法复原;最快的尖峰仍可能削波 |
| 停顿时噪声变响 | VAD 门控、单独噪声底估计和输出噪声上限 | VAD 误判、背景噪声突变会影响控制;增益不能“消除”噪声 |
| 音量追得太快而抽吸 | 连续语音确认、语音估计平滑、增益变化限速 | 更稳意味着新说话人或音量阶跃后的收敛有时间成本 |
| 多人通话忽大忽小 | 各发送端可分别做 AGC | 默认没有跨路响度统一目标,也不识别主讲人;混音后的总峰值仍归接收端处理 |
AGC2 更像一个受约束的反馈系统,而不是“把小声放大”的单一函数。 它明确把语音、噪声、峰值、输入设备与数字输出分成不同环节,但在强噪声、错误 VAD、不可控设备和多人感知响度这些场景里,仍需要系统层面的配合。
五、与 legacy AGC(AGC1)对照
AGC1 并非完全不看语音或噪声:其模拟音量管理器用 VAD 概率和时间窗口估计语音电平,legacy 数字级也有 VAD、静音门控和过载限制。两者真正的区别在于控制器的划分、估计方法与约束表达,不能把 AGC2 简化为“新算法有 VAD,旧算法没有”。AgcManagerDirect 使用的电平估计 · legacy digital AGC
| 维度 | AGC1 / legacy AGC | AGC2 |
|---|---|---|
| 对外配置 | AdaptiveAnalog、AdaptiveDigital、FixedDigital 三种模式;目标峰值、压缩增益、Limiter | 输入音量、自适应数字增益、固定数字增益可组合,后接 Limiter |
| 语音判断 | 传统 VAD 与语音电平统计;数字级也有近端/远端 VAD | 常规 APM 路径使用内部 RNN VAD,显式语音电平置信状态 |
| 噪声处理 | 有静音门控等机制 | 单独估噪声底,用 max_output_noise_level_dbfs 显式限制可增加的增益 |
| 峰值处理 | 模拟音量削波控制、数字压缩/限幅 | 输入音量削波检测/预测、动态峰值余量、末端 Limiter |
| 设备耦合 | 自适应模拟模式要接入系统麦克风音量回路 | 启用输入音量控制器时同样需要应用接入回路;纯数字模式无需设备控制 |
AGC1 的三种模式定义见 配置接口;AGC2 的组合配置见同一接口。两代都在 APM 前段分析采集削波、后段处理数字增益,因此这个时序本身不是 AGC2 独有的优势。在 APM 中,两套控制器的输入音量控制不应同时启用,否则源码会记录“Multiple input volume controllers enabled”配置错误;迁移时应明确由哪一套负责设备反馈,并用前述场景重新比较听感与指标。APM 处理次序与初始化检查
如果要做 A/B 验证,建议录制相同的远近切换、静音噪声、近讲突峰和手动音量变化素材,同时保存每路输入与输出;分别画出语音段 RMS、噪声段 RMS、峰值/削顶率及逐帧增益,再做盲听。只比较最终平均电平,容易把“更响”误判成“更好”。