☰
音频先降噪还是先分离,顺序换一下差多少?前级增益与误差累积的三个取舍
2026/10/28 10:17:50 网站建设 项目流程

户外演出的手机录像,掌声、风噪、扩声串音全在里头。丢进分离工具,人声里混着观众的欢呼;于是先降一道噪,再分离——人声是安静了,可达不到干净,齿音发闷,句尾的气声整段消失,像被人用手捂住嘴。两条路都走过一遍,结果都不满意,最后往往归因成「这类工具也就这样」。问题多半不在工具,在顺序。

底层原理:两个实数增益串起来,为什么不可交换

设混合信号的 STFT 为 X(t,f),降噪给出的增益 g(t,f),分离模型给出的掩码 M_k(t,f)。两种顺序写出来是:

先降噪后分离:X_k = M_k · (g · X)

先分离后降噪:X_k = g · (M_k · X)

乘法满足交换律,形式上两者完全相等。这是「顺序无所谓」这句话的来源,也是它错的地方——相等的只是已经算出来的那两个增益,而这两个增益是分别估出来的,不是同一个函数。

分离模型的输入分布决定了掩码。训练时喂进去的是混合信号,谱形符合「多个声源叠加」的统计规律。先降一道噪,送进模型的谱已经被压出一个个空洞,噪声底被切平,模型看到的是一个它没怎么见过的东西,掩码开始在边界上抖。

降噪增益本身也不是线性的。以谱减为例,一种常见写法是:

g(t,f) = max(0, 1 - α · N̂(t,f) / |X(t,f)|)

α 取 2(过减,用来压音乐噪声)时,在信噪比 0dB 上下的格子,g 落到 0.1 附近,等于把该格压掉 20dB。而人声的气声、齿音、句尾衰减,恰好长期待在这个能量区间——它们不是噪声,但在噪声估计里长得像噪声。这一刀下去,模型后来再怎么分,也没东西可分。

取舍一:噪声强时先降噪,换来的是信噪比还是干净的假象

现场录像、街拍、车内录音,噪声以稳态为主(空调、发动机、人群底噪)。这类素材先降一道噪,分离模型确实更容易把人声抓住,因为信噪比上去了。

代价是:降噪对低能量人声成分的杀伤最大。气声、唇齿音、尾音,这些恰恰是判断「这是不是真人在唱」的关键线索。压掉之后,人声轨听上去平,不是脏,是没有细节。

实践里能接受的做法是轻降噪:只压稳态段,压量控制在 6dB 以内,不追求「听起来没噪声」。留一点底噪,比留一个光滑的人声更安全。

取舍二:先分离再降噪,噪声被分配进某条轨

反过来做,噪声不会消失,它会被分配。

分离模型对每一格都要给出一个归属:这格归人声、归鼓、归其他。噪声格没有正确归属,模型只能按训练先验硬分——稳态噪声常被分进其他轨或伴奏,非稳态的掌声、咳嗽常跟着人声走。

分完之后再降噪,问题变成局部问题:人声轨里那点掌声,降噪器会把它当成人声的一部分保下来,或者压出一个短促的咝声;伴奏轨里的观众声,一压就变成周期性的脉冲。

更麻烦的是降噪产生的音乐噪声(musical noise):孤立谱峰被随机放大,听起来像水泡。单轨上出现这种声音,几乎没有干净的办法修,因为它的谱形和人声高度重叠。

取舍三:两次时频变换的叠加损伤

任何一次降噪和任何一次分离,都是一次「分析—处理—合成」。两次串联,就是两次窗函数、两次重叠相加。

瞬态是最先坏的部分。鼓的起音只有几毫秒,第一次处理会把它摊到两三帧上,第二次再摊一遍,打击感就没了。这种损失在单轨上不明显,几条轨一起放立刻听出来:整体发软,没有原曲那股劲。

需要手动控制压量时,可以先用AI降噪工具把稳态段单独压一遍,拿到一个干净底再上传做分离——这样降噪与分离是两步,各自可回退,比一次性交给预设更容易调。

收尾

顺序问题的本质,是搞清楚每一步在丢什么信息。降噪丢低能量成分,分离丢归属不确定的成分,两次变换丢瞬态。知道这三笔账记在哪,比反复换工具、反复调参数有效得多。工具能把损失压小,压不到零。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询