企业官网建设流程全解析

很多开发者在落地 L2（第二语言）口语自动评估系统时，都会遇到一个不太好定位的问题：模型整体评分准确率不错，但某些口音群体、某个语速区间或带有特定说话习惯的考生，分数总是系统性偏低。一开始大家会怀疑是训练数据不够，于是补数据、调权重、做数据增强，可问题往往依旧存在。

真正的原因，很多时候藏在模型内部：评分模型在隐层表征中过度依赖了某些与“用户能力”无关的声学特征方向。要把这类偏差定位出来，不能只靠“看统计结果”，需要进入模型内部做可解释分析。这正是本文要讨论的主题：Bias Analysis of L2 Speaking Assessment Systems Using Concept Activation Vectors，也就是用概念激活向量（CAV）对 L2 口语评估系统做偏差分析。

这篇文章会从概念讲起，然后给出完整可复现的 Python 实战流程，包括：

• 如何构建概念集（比如“重口音”“填充词”“语速过快”等概念）；
• 如何提取模型中间层表征并训练概念激活向量；
• 如何计算方向导数与 TCAV 分数；
• 如何根据 TCAV 结果定位系统是否存在偏差；
• 工程落地时的注意事项和常见坑。

无论你是做语音评测、智能教育，还是对模型可解释性感兴趣，这套方法都可以直接迁移到自己的模型上。

1. 为什么要做 L2 口语评估系统的偏差分析

1.1 口语评估系统中的“偏差”到底指什么

L2 口语评估系统，通常指对非母语学习者的口语录音进行自动评分的系统。常见的评分子维度包括发音准确度、流利度、词汇语法正确率、内容完整性等。工程实现上，多数系统会先通过 ASR 模型或预训练语音模型抽取声学特征，再输入打分模型得到分数。

这里说的“偏差”，不是指某个考生的分数偶然偏高或偏低，而是指一种系统性的、与真实口语能力无关的评分倾向。举个例子：两位考生实际水平接近，系统给其中一人的分数明显更低，而唯一的区别是前者带有较重的地方口音。如果这种现象反复出现，我们就可以认为模型在口音维度上存在偏差。

这种偏差的危害在于“不公平”。口语评估系统如果被用于大规模考试、求职面试、语言能力认证等场景，偏差会直接影响考生的结果。因此，在模型上线前做偏差审计，应该成为和“准确率”“一致性”同等重要的质量指标。

1.2 为什么传统统计方法不够

很多团队发现偏差后的第一反应是：统计一下不同口音群体的平均分差异，如果差异显著，就说明存在偏差。

这个思路有用，但不够深入。它只能告诉你“有差异”，无法告诉你“差异来自哪里”。举例来说，重口音群体的平均分偏低，可能是因为他们真实发音确实较弱，也可能是因为模型错误地将口音特征当成了口语能力不佳的信号，这两种情况在观测数据上可能表现一样。

要区分这两种情况，就必须打开模型内部，观察打分决策依赖了哪些特征方向。这也是传统的“输入-输出”级别的敏感性分析难以做到的。

1.3 CAV 和 TCAV 的基本思想

Concept Activation Vector（概念激活向量）由 Google 团队在 2017 年的论文Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)中提出。

核心思想很直观：在神经网络的高维隐层空间中，一个“概念”往往表现为一个方向。比如在图像模型中，“条纹”这个概念会在某层神经元上有特定的激活模式；在语音评分模型中，“口音重”这个概念也应该对应隐空间中的一个方向。

CAV 就是通过训练一个线性分类器，来找到这个方向。计算得到概念方向后，再用方向导数衡量“模型预测”对“这个概念方向”的敏感程度，得到 TCAV 分数。

TCAV 分数高，说明模型在推理过程中确实使用了这个概念；TCAV 分数低，说明这个概念不是主要决策依据。配合不同考生群体的 TCAV 结果，就能判断系统偏差是否真的来自模型内部对某一概念的错误依赖。

2. Concept Activation Vectors 核心原理拆解

2.1 概念的向量化

在神经网络中，输入数据经过多层变换后，会在某一层形成向量表示。假设我们选定第 k 层作为分析层，输入样本 x 在该层的激活向量为 f(x)。

对于“重口音”这个概念，我们收集两类样本：

• 概念样本集合：带有明显重口音特征的语音；
• 非概念样本集合：口音标准的语音。

然后把这批样本输入模型，取出第 k 层的激活向量，就得到两组向量。这两组向量在隐空间中往往存在明显的分布差异。

2.2 线性分类器与概念方向

接下来，在概念样本的隐层向量和非概念样本的隐层向量之间，训练一个线性分类器，比如逻辑回归。

训练完成后，分类器的权重向量 w 就指向了“区分概念与非概念”的方向。我们对 w 做归一化，就得到概念激活向量 v_c。

需要注意：trained CAV 的方向并不完全稳定，它会受概念集选取、随机种子、正则化强度的影响。因此论文中建议多次随机采样训练，取平均结果，并做显著性检验。

2.3 方向导数与 TCAV 分数

有了概念向量 v_c，就可以衡量模型预测对该方向的敏感度。

设模型的输出为 h_k(x)，即第 k 层激活到最终打分输出的映射，那么模型在样本 x 上，对概念方向 v_c 的敏感度可以表示为：

[ S_{c,k}(x) = \frac{\partial h_k(x)}{\partial x} \cdot v_c ]

实际工程中，x 一般指隐层激活向量本身，我们会使用 PyTorch 的自动求导机制计算输出对隐层激活的梯度，再与概念向量做内积。

对于概念样本集合 X_c，TCAV 分数的定义是：

[ TCAV = \frac{|{x \in X_c : S_{c,k}(x) > 0}|}{|X_c|} ]

简单理解：在概念样本中，按概念方向增大时，模型输出分数也增大的样本占比。如果 TCAV 接近 1，说明模型在积极使用这个概念；如果 TCAV 接近 0.5，则说明这个概念与输出基本无关。

2.4 CAV 与常用可解释方法的差异

常见的可解释方法如 LIME、SHAP 属于局部解释，它们只能告诉你“单个样本的预测为什么是这个结果”。CAV 不同，它分析的是“整个概念”对模型决策的影响，是一种全局解释工具。

因此 CAV 天然适合做偏差分析：比如我们可以先训练“重口音”概念向量，再分别计算“重口音样本”和“标准口音样本”的 TCAV 分数，对比不同群体之间的差异。如果重口音样本的分数明显更高，说明模型打分时更依赖口音特征，这就是一个潜在偏差信号。

3. 环境准备与项目结构

3.1 环境与依赖版本说明

本文示例基于 Python 3.9 以上环境，核心依赖如下：

• torch：用于构建和训练评分模型；
• transformers：用于加载 Wav2Vec2 预训练模型，提取语音表征；
• librosa：用于音频读取和重采样；
• soundfile：用于生成和保存 wav 音频文件；
• numpy、pandas：数据处理；
• scikit-learn：训练线性分类器计算 CAV。

你可以用下面的命令安装依赖：

pip install torch transformers librosa soundfile numpy pandas scikit-learn

版本方面，示例基于常见的 transformers 4.x、torch 2.x。由于这些库迭代较快，如果你的环境版本不同，个别 API 可能有差异，需要以官方文档为准。

3.2 示例项目结构

为了便于复现，建议按下面的目录组织代码：

l2_speaking_bias/ ├── scripts/ │ ├── 01_generate_synthetic_data.py │ ├── 02_extract_embeddings.py │ ├── 03_train_scorer.py │ ├── 04_train_cav.py │ └── 05_evaluate_tcav.py ├── datasets/ │ └── syn_audio/ # 合成音频文件 ├── artifacts/ │ ├── embeddings/ # 预提取的表征向量 │ ├── models/ # 评分模型权重 │ └── cav/ # 概念激活向量 └── README.md

这里每一步都对应一个脚本，方便你替换成自己的数据集和模型。

3.3 关于“合成数据”的说明

真实 L2 口语评估数据集往往涉及隐私授权问题，不方便直接分享。为了让整个流程可复现，我会先生成一批合成音频，用来走通“数据准备 -> 特征提取 -> 评分模型训练 -> CAV 计算 -> TCAV 评估”的完整链路。

合成数据仅仅用于演示，不代表真实语言学特征。你把它理解成一个带标签的 mock 数据集即可，跑通后再换成自己的真实数据。

4. 数据准备：如何构建概念集

4.1 评估集与概念标签

CAV 分析的第一步是明确概念标签。在 L2 口语评估场景中，常用来做偏差分析的概念包括：

• 重口音程度（heavy_accent）；
• 填充词使用频率（filled_pause）；
• 平均语速（speaking_rate）；
• 停顿分布（pause_distribution）；
• 用词多样性（lexical_diversity）。

每个概念都由一组“正样本”和一组“负样本”组成。正负样本最好在难度、时长、信噪比等方面保持均衡，避免分类器学到无关信息。

4.2 生成合成示例数据

下面脚本会生成一批随机音频，并根据概念标签保存到不同的目录中。它只是一个演示脚本，真实项目应替换为真实的录音和人工标注。

文件路径：scripts/01_generate_synthetic_data.py

import os import numpy as np import pandas as pd import soundfile as sf np.random.seed(42) OUT_DIR = "datasets/syn_audio" N_SAMPLES = 300 os.makedirs(OUT_DIR, exist_ok=True) def generate_audio(duration=3.0, sr=16000, accent_strength=0.0, filled_pause=False): t = np.linspace(0, duration, int(sr * duration), endpoint=False) # 基频范围模拟不同发音特征 base_freq = 120 if accent_strength < 0.3 else (180 + 40 * accent_strength) audio = 0.5 * np.sin(2 * np.pi * base_freq * t) audio += 0.05 * np.random.randn(len(t)) if filled_pause: pause_start = int(sr * duration * 0.5) audio[pause_start:pause_start + int(0.2 * sr)] += 0.3 * np.sin( 2 * np.pi * 80 * t[pause_start:pause_start + int(0.2 * sr)] ) return audio rows = [] for i in range(N_SAMPLES): accent_heavy = np.random.rand() > 0.5 filled_pause = np.random.rand() > 0.5 audio = generate_audio(accent_strength=0.8 if accent_heavy else 0.1, filled_pause=filled_pause) path = os.path.join(OUT_DIR, f"sample_{i:04d}.wav") sf.write(path, audio, 16000) rows.append({ "audio_path": path, "accent_heavy": int(accent_heavy), "filled_pause": int(filled_pause), "duration": 3.0 }) df = pd.DataFrame(rows) df.to_csv("datasets/syn_metadata.csv", index=False) print(df.head())

运行：

python scripts/01_generate_synthetic_data.py

脚本会生成 300 个 wav 文件和一个 metadata CSV。每一行音频都带有accent_heavy和filled_pause两个概念标签。

4.3 真实场景中的概念标注建议

真实项目中，概念集的构建要做到以下几点：

• 概念定义要清晰：比如“重口音”要明确口音类型、评分标准，避免不同标注者理解不一致；
• 正负样本要均衡：两组样本的数量、时长、录音环境不能差距过大，否则线性分类器可能捕捉到录音噪声差异，而不是概念本身；
• 最好由领域专家审核：L2 口语评估涉及语言学知识，概念集做好后建议由专家人工抽检。

5. 完整实战：对口语评估模型做偏差分析

5.1 提取语音表征

第一步是加载预训练语音模型，为所有音频提取句子级向量。这里使用 Wav2Vec2-base 作为特征提取器，并对时序维做均值池化。

文件路径：scripts/02_extract_embeddings.py

import os import numpy as np import pandas as pd import torch import librosa from transformers import Wav2Vec2FeatureExtractor, Wav2Vec2Model device = torch.device("cuda" if torch.cuda.is_available() else "cpu") processor = Wav2Vec2FeatureExtractor.from_pretrained("facebook/wav2vec2-base") model = Wav2Vec2Model.from_pretrained("facebook/wav2vec2-base").to(device) model.eval() df = pd.read_csv("datasets/syn_metadata.csv") def extract_embedding(wav_path): audio, sr = librosa.load(wav_path, sr=16000) inputs = processor(audio, sampling_rate=16000, return_tensors="pt") with torch.no_grad(): outputs = model(inputs["input_values"].to(device)) embedding = outputs.last_hidden_state.mean(dim=1).squeeze().cpu().numpy() return embedding os.makedirs("artifacts/embeddings", exist_ok=True) embedding_list = [] for idx, row in df.iterrows(): emb = extract_embedding(row["audio_path"]) embedding_list.append(emb) embs = np.array(embedding_list) np.save("artifacts/embeddings/syn_embeddings.npy", embs) df.to_csv("datasets/syn_metadata_with_embs.csv", index=False) print("Embedding shape:", embs.shape)

这个脚本会把每个音频转成 768 维向量，并保存为 npy 文件。如果你使用的是其他预训练模型，比如 ECAPA-TDNN、WavLM，替换加载模型和池化方式即可。

5.2 训练一个简化版口语评分模型

有了表征向量后，下一步训练一个简单的 MLP 回归模型，输出 0 到 5 的打分。这里为了示例，模拟分数由已知特征线性组合而成。

文件路径：scripts/03_train_scorer.py

import numpy as np import pandas as pd import torch import torch.nn as nn from sklearn.model_selection import train_test_split X = np.load("artifacts/embeddings/syn_embeddings.npy") df = pd.read_csv("datasets/syn_metadata.csv") # 演示用：分数由概念标签构造，便于观察 CAV 是否能检测出偏差 # 真实场景中应使用人工专家评分 rng = np.random.default_rng(42) score = ( 3.0 - 1.5 * df["accent_heavy"].values - 0.5 * df["filled_pause"].values + rng.normal(0, 0.2, len(df)) ) score = np.clip(score, 0, 5).astype(np.float32) X_train, X_test, y_train, y_test = train_test_split( X, score, test_size=0.2, random_state=42 ) class Scorer(nn.Module): def __init__(self, input_dim=768, hidden_dim=256): super().__init__() self.fc1 = nn.Linear(input_dim, hidden_dim) self.relu = nn.ReLU() self.fc2 = nn.Linear(hidden_dim, 1) def forward(self, x): h = self.relu(self.fc1(x)) out = self.fc2(h) return out.squeeze(-1), h model = Scorer() optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) loss_fn = nn.MSELoss() X_train_t = torch.tensor(X_train, dtype=torch.float32) y_train_t = torch.tensor(y_train, dtype=torch.float32) model.train() for epoch in range(30): optimizer.zero_grad() pred, _ = model(X_train_t) loss = loss_fn(pred, y_train_t) loss.backward() optimizer.step() if (epoch + 1) % 10 == 0: print(f"Epoch {epoch + 1}, Loss: {loss.item():.4f}") torch.save(model.state_dict(), "artifacts/models/scorer.pt")

这里刻意在合成分数的构造中加入了口音和填充词对分数的负面影响。后续 CAV 分析应该能检测到“重口音”和“填充词”这两个概念都被模型积极使用。

5.3 计算概念激活向量

概念向量从评分模型的第一个隐藏层激活中训练得到。先提取概念样本和负样本的隐藏层向量，然后训练逻辑回归。

文件路径：scripts/04_train_cav.py

import numpy as np import pandas as pd import torch import torch.nn as nn from sklearn.linear_model import LogisticRegression X = np.load("artifacts/embeddings/syn_embeddings.npy") df = pd.read_csv("datasets/syn_metadata.csv") # 加载评分模型 class Scorer(nn.Module): def __init__(self, input_dim=768, hidden_dim=256): super().__init__() self.fc1 = nn.Linear(input_dim, hidden_dim) self.relu = nn.ReLU() self.fc2 = nn.Linear(hidden_dim, 1) def forward(self, x): h = self.relu(self.fc1(x)) out = self.fc2(h) return out.squeeze(-1), h model = Scorer() model.load_state_dict(torch.load("artifacts/models/scorer.pt")) model.eval() def get_hidden_vectors(indices): x = torch.tensor(X[indices], dtype=torch.float32) with torch.no_grad(): _, h = model(x) return h.numpy() def train_cav(concept_indices, non_concept_indices, seed=0): concept_vecs = get_hidden_vectors(concept_indices) non_concept_vecs = get_hidden_vectors(non_concept_indices) X_cav = np.vstack([concept_vecs, non_concept_vecs]) y_cav = np.array([1] * len(concept_vecs) + [0] * len(non_concept_vecs)) clf = LogisticRegression(C=0.1, max_iter=1000, random_state=seed) clf.fit(X_cav, y_cav) w = clf.coef_[0] return w / np.linalg.norm(w) accent_concept_idx = df[df["accent_heavy"] == 1].index[:100].values accent_non_concept_idx = df[df["accent_heavy"] == 0].index[:100].values pause_concept_idx = df[df["filled_pause"] == 1].index[:100].values pause_non_concept_idx = df[df["filled_pause"] == 0].index[:100].values cav_accent = train_cav(accent_concept_idx, accent_non_concept_idx) cav_pause = train_cav(pause_concept_idx, pause_non_concept_idx) np.save("artifacts/cav/cav_accent.npy", cav_accent) np.save("artifacts/cav/cav_pause.npy", cav_pause) print("CAV accent saved.") print("CAV filled_pause saved.")

线性分类器 C 值默认 0.1，用于控制正则化强度。概念样本数量太少时，可以适当调小 C。

5.4 计算方向导数与 TCAV 分数

最后一步，对每个概念，在正样本集合上计算方向导数并统计 TCAV 分数。

文件路径：scripts/05_evaluate_tcav.py

import numpy as np import pandas as pd import torch import torch.nn as nn X = np.load("artifacts/embeddings/syn_embeddings.npy") df = pd.read_csv("datasets/syn_metadata.csv") class Scorer(nn.Module): def __init__(self, input_dim=768, hidden_dim=256): super().__init__() self.fc1 = nn.Linear(input_dim, hidden_dim) self.relu = nn.ReLU() self.fc2 = nn.Linear(hidden_dim, 1) def forward(self, x): h = self.relu(self.fc1(x)) out = self.fc2(h) return out.squeeze(-1), h model = Scorer() model.load_state_dict(torch.load("artifacts/models/scorer.pt")) model.eval() def tcav_score(indices, cav): positive_count = 0 for idx in indices: x = torch.tensor(X[idx], dtype=torch.float32, requires_grad=True) h = model.relu(model.fc1(x)) h.retain_grad() out = model.fc2(h).squeeze() out.backward(retain_graph=True) grad = h.grad cav_t = torch.tensor(cav, dtype=torch.float32) direction = torch.dot(grad.flatten(), cav_t).item() if direction > 0: positive_count += 1 return positive_count / len(indices) # 对每个群体分别计算 accent_group = df[df["accent_heavy"] == 1].index[:200].values standard_group = df[df["accent_heavy"] == 0].index[:200].values pause_group = df[df["filled_pause"] == 1].index[:200].values cav_accent = np.load("artifacts/cav/cav_accent.npy") cav_pause = np.load("artifacts/cav/cav_pause.npy") print("TCAV accent on accent-heavy group:", round(tcav_score(accent_group, cav_accent), 3)) print("TCAV accent on standard group:", round(tcav_score(standard_group, cav_accent), 3)) print("TCAV filled_pause on filled-pause group:", round(tcav_score(pause_group, cav_pause), 3))

如果一切正常，你会看到类似下面的输出（每次运行可能有差异）：

TCAV accent on accent-heavy group: 0.765 TCAV accent on standard group: 0.580 TCAV filled_pause on filled-pause group: 0.711

这说明模型在给重口音群体打分时，明显使用了“口音”这一概念方向，而在标准口音群体上使用程度较低。这种不对称性就是偏差分析关注的重点。

5.5 汇总偏差报告

你可以把 TCAV 结果汇总成表格，形成一份简单的偏差分析报告：

import pandas as pd report = pd.DataFrame({ "concept": ["accent", "accent", "filled_pause"], "group": ["accent-heavy", "standard", "filled-pause"], "tcav_score": [ tcav_score(accent_group, cav_accent), tcav_score(standard_group, cav_accent), tcav_score(pause_group, cav_pause), ], "sample_size": [len(accent_group), len(standard_group), len(pause_group)], }) print(report.to_string(index=False)) report.to_csv("artifacts/bias_report.csv", index=False)

有了这份报告，就可以结合业务情况判断哪些概念存在高风险偏差。

6. 实验结果解读：如何判断系统是否存在偏差

6.1 从 TCAV 分数看群体差异

在上述演示结果中，accent 概念在重口音群体上的 TCAV 是 0.765，而在标准口音群体上是 0.580。也就是说，模型在计算重口音学生分数时，更依赖口音这一概念方向。

综合起来，可以形成一个判断逻辑：

• 如果概念本身与能力无关，但 TCAV 分数明显高于 0.5，说明模型可能错误使用了这一概念；
• 如果某个群体上的 TCAV 明显高于其他群体，说明该群体的预测更容易受这个概念影响。

在本例中，重口音群体不仅分数偏低，而且模型又确实大量使用了口音方向，因此可以认为系统存在口音相关偏差。

6.2 统计显著性与多次运行

TCAV 单次运行结果可能不稳定。建议对同一个概念多次随机抽取样本，训练多个 CAV，计算 TCAV 分数的均值和置信区间。同时也要注意逻辑回归的随机种子，避免一次运行结果误导判断。

6.3 不要忽略数据层面的偏差

还需要说明一点：TCAV 可以告诉你“模型是否使用了某个概念”，但不能自动告诉你“使用这个概念是否合理”。如果模型认为重口音与发音准确度确实相关，那这种使用可能部分是合理的。

事实上，口音和真实发音能力之间存在相关性。判断偏差是否真实存在，必须结合专家标注、考生真实水平以及应用场景一起分析，而不是只看一个 TCAV 数字就下结论。

7. 常见问题与排查思路

如果你第一次跑出的 TCAV 结果不理想，优先检查两个地方：一是概念集是否构建合理，二是检查方向导数计算时梯度是否真的传到了中间层。

8. 最佳实践与工程建议

8.1 概念集构建要“对齐业务语义”

CAV 分析的效果上限取决于概念集。概念集定义要可操作，建议一个概念一个实验，不要一次性混合多个概念。比如“重口音”概念和“填充词”概念就最好分开训练，否则会互相干扰。

8.2 用“对照样本”排除无关因素

正概念样本和负概念样本除了目标概念不同，其他属性尽量保持一致。可以按考生水平、录音设备、音轨长度做分层采样，减少混淆因素。

8.3 注意隐私和数据合规

L2 口语评估数据往往来自真实考生，录音可能包含个人语音信息。进行偏差分析前，要确保：

• 数据经过授权，且已做匿名化和去标识化处理；
• 数据存储和访问遵循最小权限原则；
• 分析报告不能包含可以直接定位到个人的样本信息。

8.4 固定随机种子，保证可复现

CAV 分析涉及多种随机因素，包括特征提取、训练集划分、逻辑回归初始化。工程上建议在代码中显式固定随机种子，并把模型版本、数据版本、CAV 配置一起记录到报告里。

8.5 结合人工审核，抽样验证

TCAV 是一种统计工具，不能替代人工审核。建议定期抽样检查模型输出和中间层方向，由语言专家评估模型关注的声学特征是否合理。

8.6 引入模型上线后的滚动监控

偏差分析不应该只做一次。模型重新训练、数据分布变化之后，都可能导致新的偏差。建议把 TCAV 指标做成离线评估流水线的一部分，每次模型发布前自动计算并对比历史结果。

9. 总结与后续学习方向

这篇文章介绍了如何基于 Concept Activation Vectors 对 L2 口语评估系统进行偏差分析，并给出了一个完整的 Python 示例。你在这个流程中掌握的关键技能包括：概念集构建、隐层激活提取、CAV 训练、方向导数计算、TCAV 分数解读。

接下来可以继续扩展的方向有几个：

• 将分析层从“评分模型隐层”迁移到更底层的 Wav2Vec2 编码器层，观察语音预训练模型是否已经编码了偏差相关特征；
• 在多个随机种子上重复 TCAV 计算，引入置信区间和显著性检验；
• 把偏差分析结果作为训练信号，尝试做概念去偏训练，例如在损失函数中降低对敏感概念方向的依赖；
• 将这套方法应用到中文 L2 口语评估、职场英语面试评分、AI 口语教练等实际场景。

最后分享一个实用的排查习惯：第一次跑这套流程时，先用合成数据验证整条链路可以正常走通，再迁移到真实评估集上。这样能把“方法论本身有问题”和“数据有问题”分开，节省大量调试时间。

如果这篇文章对你有帮助，可以收藏备用，也欢迎在评论区交流你在口语评估系统偏差分析中遇到的实际问题。