一次语音通话中,发送端每 20 ms 编出一个音频包,但包在网络里并不会每隔 20 ms 准时到达:有的堵在路由器里,有的乱序,有的永远丢失。扬声器却不能说“再等一会儿”。播放设备持续索要下一段 PCM,晚交一次,就可能听见卡顿。

NetEQ 要解决的核心矛盾是:输入的时间不可靠,输出的时间必须可靠。 它在接收端保留少量音频作为余量,并根据网络变化调整等待与消耗速度;真正来不及的内容,则用已有声音生成替代片段。本文以本地 WebRTC 源码提交 3dec7d0537(2026-10-23)为准。此前的音频丢包恢复文章侧重 FEC、RED、NACK 与 PLC 的协作;这里把镜头推进 NetEQ 内部。

一、先从一场“迟到的声音”说起

假设一个包承载 20 ms 音频,P1、P2、P3 对应连续的三个时间段。网络先送来 P1,接着 P3 到了,P2 却堵在路上。接收端有两个选择:立刻播放 P3,会跳过 P2 的声音;继续等 P2,则可能使扬声器断粮。一个缓冲区能给 P2 留一点追上的时间,但缓冲越长,说话到听见的时间也越长。

1
2
3
发送音频时间:  | P1: 0–20 | P2: 20–40 | P3: 40–60 | ...
网络到达次序:      P1          P3        P2(迟到)
播放设备请求:  10 ms  10 ms  10 ms  10 ms  10 ms  ...

这里有三种性质不同的缺口:尚未到达的包可以等;已经错过播放时刻的包不能再补到过去;发送端主动停发的静音可能属于 DTX,应播放舒适噪声,而非误判为网络丢失。NetEQ 需要同时辨认这些情况。NetEq::GetAudio() 接口明确要求每次交付 10 ms;RTP 包时长却未必是 10 ms。

下面的动态图把这个过程压缩成一个教学示意:上排的包间隔不匀,中间会暂存、排序,下排每个播放刻度持续输出;紫色表示通过拉伸现有音频“省着用”,橙色表示缓冲过多时加速消耗,红色表示截止时没有可用音频而进行隐藏。图中的格数、时刻与阈值不对应源码常量。

NetEQ 将不均匀到达的 RTP 音频包整理为连续的 10 ms 播放输出的动画

二、NetEQ 在接收链路的什么位置

flowchart LR A["RTP 到达<br/>时间戳 / 序号 / 载荷"] --> B["InsertPacket<br/>解析、排序、记录到达情况"] B --> C["PacketBuffer<br/>尚未播放的编码帧"] C --> D["GetAudio<br/>每次请求 10 ms"] D --> E["DecisionLogic<br/>选本次操作"] E --> F["解码与信号处理<br/>Normal / 伸缩 / 隐藏 / 拼接"] F --> G["SyncBuffer<br/>待播放 PCM"] G --> H["10 ms PCM<br/>混音器、设备播放"]

这是到包和取音频两条异步路径。网络侧调用 InsertPacket() 时,NetEQ 主要保存编码数据、更新延迟估计;设备侧通过接收流调用 GetAudio(),才决定此刻要解码哪一帧、是否修整时长,并取走 10 ms PCM。因此“收到了一个 RTP 包”不等于“立刻解码并播放一个包”。一个 20 ms 编码帧也可能在一次取音频时解码,分两次向设备交付。NetEqImpl::InsertPacket · NetEqImpl::GetAudioInternal

这里至少有两层缓冲,不能混为一谈:

层保存什么为什么需要
PacketBuffer尚未使用的编码帧,按音频时间戳与优先级排列容纳到达抖动、乱序、冗余帧;供解码器按播放顺序取用
SyncBuffer已解码、经过处理但尚未交付的 PCM,以及算法需要的历史/重叠区让“解码一帧”与“固定交付 10 ms”解耦,并支撑伸缩、隐藏与拼接

InsertPacket() 并非简单把原始 RTP 载荷塞进队列:它先处理时间戳,必要时拆开 RED、识别 DTMF/CNG,再让对应解码器的 ParsePayload() 解析主帧与可能的冗余帧。随后编码帧进入 PacketBuffer,到包信息进入延迟估计器。PacketBuffer 不是无限队列:包过多会触发丢弃或刷新;同一音频时间戳的主帧和冗余帧会按优先级取舍。SyncBuffer 里已有足够的 PCM 时,本次 GetAudio() 可以直接交付,不必再取新的编码帧。插包与解析 · 包排序和容量处理 · 同步缓冲提取

NetEQ Architecture

NetEQ call path

三、该为迟到的包多留多少时间?

上一节看到,NetEQ 先把到达的包存起来,再按播放设备的节拍取出音频。为什么要存?为了给偶尔晚到的包留一个追上的机会。 但每多留一点时间,听到对方说话也会晚一点。第三节只讨论这个取舍:播放前应留多少余量。

看一个简化例子。P1 在第 0 ms 到达;P2 承载的是接下来的 20 ms 音频,按稳定的到包节奏应在第 20 ms 左右到,实际却在第 50 ms 才到。P2 相对平时额外晚了 30 ms。假设 NetEQ 从 P1 到达起,给播放预留以下时间:

预留的播放余量P2 开始播放的时刻P2 到达时刻结果
20 ms第 40 ms第 50 msP2 开头的 10 ms 错过播放时刻;后半段能否使用取决于当时的缓冲状态
40 ms第 60 ms第 50 ms提前 10 ms 赶上;整路播放也比上面多等 20 ms

下图把“测晚到量 → 定目标 → 调实际缓冲”连起来。第一层的 30 ms 只是 P2 的一次观测;第二层才汇总近期多个包,形成抖动缓冲(jitter buffer)的目标延迟。第三层的 20 / 40 ms 延续上表,仅用来对比两种播放余量:虚线表示目标,实心表示实际缓冲。目标改变后,实际缓冲需要靠后续到包和播放侧调节逐步靠近,不会瞬间跳到虚线位置。

NetEQ 对比 RTP 音频间隔与实际到包间隔得到相对晚到量,再由近期统计确定目标延迟,并逐步调整抖动缓冲的动态示意

表和图中的数值只用于说明等待和实时性的交换,并非 NetEQ 的固定启动流程或阈值。留得太少,晚包容易错过,NetEQ 只好隐藏缺口;留得太多,声音虽更平稳,对话却变得迟钝。合适的余量要随网络变化:网络最近常抖,就多留一点;到包稳定了,再尝试缩短等待。真正丢失的包无论等多久都不会到,不能靠不断加大缓冲解决。

对照源码:NetEQ 怎样估计这份余量

NetEQ 并不需要知道“P2 从发送端到接收端究竟走了多少毫秒”。PacketArrivalHistory 比较包的到达间隔和它们在 RTP 音频时间轴上的间隔;上例的差值就是约 30 ms 的相对晚到量。DelayManager 分别估计常规晚到需要的余量,以及为了接住乱序包值得付出的额外等待,取两者中较大的目标。当前版本对常规晚到默认每 500 ms 取窗口最大值,再从近期分布中选 0.95 分位;初始估计为 80 ms。这些是策略参数,不表示每次 GetAudio() 都先等 80 ms,也不表示一个 P2 的 30 ms 晚到会立刻把目标设为 40 ms。目标还会受配置的最小/最大延迟及缓冲容量限制。相对晚到量 · 延迟目标 · 分位数估计 · 乱序取舍 · 延迟约束

目标延迟像一条希望维持的水位线,而不是能瞬间填满缓冲区的命令。下一节再看:实际音频比这条线多或少时,NetEQ 如何在每次取音频时调整。

四、每次 GetAudio() 究竟会做什么

GetAudioInternal() 先整理状态:下一包时间戳、编码缓冲跨度、SyncBuffer 里还剩多少样本、上一轮的输出模式。DecisionLogic 据此选操作;主实现还会根据实际可用样本、DTX 包等条件修正决定,然后解码、处理、写入 SyncBuffer,最后取出恰好 10 ms。状态构造与修正 · 输出处理

场景可能的操作听到什么
期待的音频帧已到,缓冲合适Normal解码并正常输出;若 SyncBuffer 已够,直接取现有 PCM
有可用音频,但实际延迟偏高Accelerate / FastAccelerate尽量在相似波形处缩短音频,消耗积压
有可用音频,但实际延迟偏低PreemptiveExpand在已有音频中平滑插入一小段,减缓消耗
期待的时间段无包可用Expand 或解码器 PLC依据历史生成替代音频,维持设备输出
隐藏后恢复了真实语音Merge 或 Normal把替代音频与新解码音频衔接起来
发送端静音、CNG/DTX 或电话按键舒适噪声 / Dtmf按相应语义生成或叠加声音

表里写的是可能的操作,不是“每次都会成功执行”。Operation 表示本轮选了什么,Mode 表示处理后的实际状态:例如时间伸缩可能因为波形或样本条件不足而没有真正缩放。源码还给时间伸缩设了最短间隔,并要求至少一定长度的已解码音频;不能把高低水位想象成每 10 ms 都机械地删或补 10 ms。操作/模式定义 · 目标比较与决策 · 伸缩条件

时间伸缩为什么不等于变速播放

直接加快采样播放会抬高音调;直接复制一截样本又容易出现明显接缝。NetEQ 的 TimeStretch 在音频中寻找相似的周期与片段:先降采样、做相关性分析来估计合适的周期,再让 Accelerate 删去相似片段并交叉淡化,或让 PreemptiveExpand 插入相似片段并交叉淡化。低能量区有专门处理。它是在局部改变样本数量,不是把输出设备的采样率改成另一个值。TimeStretch::Process() · Accelerate · PreemptiveExpand

PreemptiveExpand 与丢包时的 Expand 不是一回事。 前者在有真实音频时主动微调速度,目的是积累缓冲余量;后者在该播放的音频缺失时生成隐藏音频,目的是避免断声。它们都可能插入样本,但统计和听感意义不同。

包真的没赶上时:隐藏与恢复

缺少目标时间戳对应的包时,DecisionLogic 会结合下一包是否在未来、当前是否处于 CNG/DTX、先前是否已经在隐藏,选择继续等、生成舒适噪声或进入 Expand。Expand 使用历史解码音频估计周期性语音、非周期成分和背景噪声;连续缺失越久,越难维持自然听感。若当前解码器实现了 GeneratePlc() 且确实产出音频,NetEQ 也可以使用解码器 PLC;否则回退到自己的 Expand。恢复正常帧后,若此前是 NetEQ Expand,Merge 会平滑接回真实音频。缺包决策 · PLC 回退 · Expand · Merge

如果 Opus FEC、音频 RED 或 NACK 及时送回了可用的编码数据,它们会在截止前进入正常的包选择路径;NetEQ 并没有一个“所有丢包一律先等重传”的固定顺序。音频 NACK 的反馈跟踪也位于 NetEQ 外部的接收链路。数据到了但已过播放点,不能把已经输出的 PCM 改写。最重要的判断仍是能否赶上播放截止时间。ChannelReceive 的 NACK 路径

五、真实 RTC 问题怎样定位与调整

调 NetEQ 前,先分清“网络根本没送到”和“送到了但太迟”。两者在主观听感上都可能是卡顿,但改动方向不同。可以同时记录包到达时间与 RTP 时间戳、TargetDelayMs()、FilteredCurrentDelayMs()、GetLifetimeStatistics() 和 GetOperationsAndState()。其中累计的 concealed_samples / concealment_events 反映隐藏量与事件数,inserted_samples_for_deceleration / removed_samples_for_acceleration 反映时间伸缩,packets_discarded 与 packet_buffer_flushes 有助于发现积压;jitter_buffer_target_delay_ms 之类累计字段应按统计定义计算平均值,不能直接当“当前目标延迟”。NetEq 统计接口 · TargetDelayMs 与 FilteredCurrentDelayMs

GetLifetimeStatistics() 的计数不会清零,适合用两次读数之差计算一段时间的变化;NetworkStatistics() 则会在读取后重置区间统计。后者的 expand_rate、accelerate_rate 等比率采用 Q14,换算百分比应除以 16384 再乘 100。CurrentNetworkStatistics() 只返回当前状态,不能拿它读取这些区间比率。静音/DTX 期间的缓冲估计也不能直接按普通语音期解读:遇到 DTX 包时,主实现会把伸缩操作改为 Normal。统计定义 · DTX 分支

现象与证据优先排查可评估的调整与代价
Wi-Fi 抖动或乱序时,接收包最终齐全,但隐藏样本和迟到包增加到包相对延迟分布、乱序比例、当前延迟是否频繁低于目标适当提高最小延迟,给晚到包时间;代价是交互变慢。若损失为突发断网,单纯加缓冲通常收益有限
网络稳定,但说话明显慢半拍,缓冲长期高于目标设备回调是否稳定、是否积压/刷新、Accelerate 是否成功先查播放端是否按时拉取,再评估降低最小延迟或启用合适的加速策略;过小上限可能带来更多隐藏
连续丢包后声音变机械,恢复时有接缝concealment_events、连续隐藏长度、FEC/RED/NACK 是否赶上截止优先改善上游链路与编码保护;可对比解码器 PLC 与 NetEQ Expand,但两者都无法复原未知原声
静音段被当成丢包,产生无意义的补偿或统计异常是否发送 DTX/CNG、载荷类型与解码器协商是否一致正确传递静音语义;不要用纯序号缺口推断每个缺口都应是语音
长时间播放阻塞后出现很高延迟或一次明显跳音PacketBuffer 数量、刷新计数、设备线程阻塞时长修复播放回调卡顿;缓冲上限/智能刷新只能限制积压后果,无法让已错过的播放时刻回来

原生 WebRTC 集成可以通过 NetEq::Config 设置 min_delay_ms、max_delay_ms、max_packets_in_buffer,运行时通过 SetMinimumDelay()、SetMaximumDelay()、SetBaseMinimumDelayMs() 调整约束。enable_fast_accelerate 允许使用更激进的加速分支;它是质量与追赶速度的取舍,不应作为“延迟高”的默认第一步。SetMaximumDelay(0) 表示不额外限制最大目标;最小延迟、最大延迟和实际缓冲容量还要满足约束关系,调用失败应检查返回值。若确实要研究目标延迟估计策略,WebRTC-Audio-NetEqDelayManagerConfig field trial 能调整分位数、遗忘因子和乱序优化参数;这适合在可控源码构建里做对照实验,不宜在没有数据时直接改默认值。配置与 API · 约束实现 · 延迟管理器配置

这些是 NetEQ 原生接口,不等于浏览器 JavaScript 可以逐项直接设置。应用层若使用浏览器 RTCPeerConnection,应先确认浏览器暴露的延迟控制与接收统计,再在可控制的层面做实验;不能把改 C++ 内部参数的建议直接写成网页端可用的开关。

一个有效的调优实验应固定编解码器、包时长、设备链路与端到端延迟预算,分别注入纯抖动、乱序、孤立丢包、连续丢包、播放回调阻塞。比较的不只是平均缓冲时长,还包括隐藏样本、刷新与丢弃、时间伸缩次数,以及实际通话听感。源码自带的 neteq_rtpplay 可以对同一份 RTP 输入做离线对比,帮助区分策略差异与网络输入差异。若只是把目标延迟加大,隐藏减少了却使对话明显变慢,问题并没有免费解决。

六、把 NetEQ 记成一个闭环

flowchart LR A["观察到包<br/>相对延迟、乱序"] --> B["估计目标缓冲<br/>延迟与可用率的取舍"] B --> C["每 10 ms 对比<br/>当前播放状态"] C --> D["正常解码 / 拉伸 / 压缩<br/>缺帧时隐藏,恢复时拼接"] D --> E["持续交付 10 ms PCM"] E -.->|"下一次播放请求"| C A -.->|"新包改变估计"| B

NetEQ 的价值在这个持续运行的闭环:按音频时间轴整理包,估计值得等待多久,按播放时钟每 10 ms 做一次决定,并在真实数据不足时维持连续输出。 它能在延迟、卡顿与失真之间找一个动态平衡,却不能突破播放截止时间,也不能从完全丢失的包里恢复原声。理解这条边界,才知道该调缓冲、修设备回调,还是回头解决网络和编码保护问题。

Reference