企业官网建设流程全解析

1. 项目概述：当机器学习遇上公平性

在信贷审批、招聘筛选、司法风险评估这些关键的社会决策场景中，机器学习模型正扮演着越来越重要的角色。然而，一个日益凸显的挑战是：模型在追求高精度的同时，可能会无意中放大甚至固化社会中的既有偏见。想象一下，一个用于筛选简历的模型，如果其训练数据中男性工程师的比例远高于女性，那么它很可能在预测时对“女性”和“工程师”这两个特征的组合产生系统性低估，导致合格的女性候选人被不公平地过滤掉。这就是机器学习公平性要解决的核心问题——如何确保算法的决策过程不因个体的敏感属性（如性别、种族、年龄）而产生歧视性结果。

这不仅仅是一个伦理问题，更是一个严肃的技术与数学问题。我们不能仅仅停留在“模型应该有道德”的呼吁上，而必须将其转化为可量化、可优化、可验证的工程目标。其技术原理，通常是通过在模型的目标函数中引入数学约束来实现的。例如，统计奇偶性要求不同群体（如男性和女性）获得正向预测结果（如获得贷款）的概率相同；机会均等则更进一步，要求在不同群体内，真正有资格获得正向结果的个体被正确预测的概率相同。将这些约束融入模型训练，就形成了一个带约束的优化问题。

本文要探讨的，正是解决这类复杂约束优化问题的一把利器。我们不会停留在概念层面，而是深入到数学优化理论的核心，聚焦于如何利用最优运输理论和次梯度方法，来精确地求解公平性约束下的模型参数。最优运输为我们提供了衡量和调整不同群体数据分布差异的严谨数学框架，而次梯度方法则是处理这类非光滑、带约束优化问题的有效算法工具。理解这套“理论-算法”的闭环，对于任何希望构建真正可信、合规且健壮的AI系统的从业者来说，都至关重要。

2. 公平性约束的数学形式化：从理念到方程

在动手解决优化问题之前，我们必须先把“公平”这个抽象概念，翻译成机器和优化器能理解的数学语言。这一步的精确性直接决定了后续所有工作的有效性。

2.1 核心公平性定义与数学表述

最常见的公平性定义有以下几种，每一种都对应着不同的社会价值考量和技术挑战：

1. 统计奇偶性： 这是最直观的群体公平概念。它要求预测结果 $\hat{Y}$ 与敏感属性 $A$（例如，$A=0$ 表示女性，$A=1$ 表示男性）相互独立。用条件概率表述为： $P(\hat{Y}=1 | A=0) = P(\hat{Y}=1 | A=1)$ 这意味着不同群体获得有利结果（如贷款批准）的总体比率应该相同。它的优势是计算相对简单，但批评者认为它可能为了表面的平等而牺牲过多准确性，甚至导致“逆向歧视”，例如强行批准信用较差的某个群体成员。

2. 机会均等： 这个定义更加精细，它关注的是“真正有资格”的个体是否被公平对待。它要求在不同群体内，真正属于正例的个体被正确预测为正例的概率相同： $P(\hat{Y}=1 | Y=1, A=0) = P(\hat{Y}=1 | Y=1, A=1)$ 其中 $Y$ 是真实标签。这保证了模型对不同群体中“优秀”个体的识别能力是公平的。与之对应的还有均等化几率，它同时约束了真正例率和假正例率。

3. 个体公平性： 上述都是群体层面的公平。个体公平性则要求“相似的个体应得到相似的处理”。这需要定义一个距离度量 $d(x_i, x_j)$ 来衡量两个个体特征 $x_i$ 和 $x_j$ 的相似性，然后要求模型预测结果的距离与个体特征距离成正比： $D(\hat{y}_i, \hat{y}_j) \leq L \cdot d(x_i, x_j)$ 其中 $D$ 是预测结果间的距离，$L$ 是利普希茨常数。这个定义更符合直觉，但挑战在于如何定义“相似性”度量 $d(\cdot, \cdot)$，这本身可能引入偏见。

2.2 作为约束的优化问题建模

一旦我们选定了要实施的公平性定义（例如机会均等），接下来的任务就是在训练模型时，将其作为一个硬约束或软惩罚项加入。

假设我们有一个参数化的预测模型 $f_\theta(x)$（例如逻辑回归或神经网络），其损失函数为 $L(\theta)$，比如交叉熵损失。标准的经验风险最小化问题是： $\min_\theta L(\theta)$

为了引入公平性，我们将其转化为一个带约束的优化问题。以统计奇偶性为例，我们可以要求模型参数 $\theta$ 满足： $| P_{A=0}(\hat{Y}=1) - P_{A=1}(\hat{Y}=1) | \leq \epsilon$ 其中 $\epsilon$ 是一个很小的容忍度。由于概率 $P$ 依赖于 $\theta$（通过模型预测 $\hat{Y}=f_\theta(x)$），这个约束实际上是关于 $\theta$ 的一个复杂、非凸的约束。

更一般地，我们可以将公平性约束写成一个函数 $g(\theta) \leq 0$。那么，我们的核心优化问题就变成了： $$ \begin{aligned} \min_\theta & \quad L(\theta) \ \text{s.t.} & \quad g(\theta) \leq 0 \end{aligned} $$

实操心得： 在实际项目中，直接将 $g(\theta)$ 设为“群体间预测概率之差”可能会因为概率估计的噪声而导致优化不稳定。一个更稳健的做法是将其转化为协方差约束。例如，对于二元敏感属性 $A \in {-1, +1}$ 和二元预测 $\hat{Y} \in {-1, +1}$，统计奇偶性可以近似为要求 $A$ 和 $\hat{Y}$ 的协方差为零：$\mathbb{E}[(A - \bar{A})(\hat{Y} - \bar{Y})] \approx 0$。这个线性约束在计算上更容易处理，并且可以通过拉格朗日乘子法自然地融入目标函数。

2.3 挑战：非凸、非光滑与高计算成本

将公平性约束引入优化问题后，我们立刻面临几个严峻的技术挑战：

• 非凸性： 无论是复杂的模型（如神经网络）还是公平性约束本身，其构成的可行域（满足 $g(\theta) \leq 0$ 的 $\theta$ 集合）通常是非凸的。这意味着存在大量局部最优解，找到全局最优解是NP难问题。
• 非光滑性： 如果我们使用诸如“绝对值”或“最大值”操作来定义群体间的差异（如 $|P_0 - P_1|$），那么约束函数 $g(\theta)$ 本身可能是非光滑的。标准的梯度下降法无法直接应用。
• 计算效率： 对于大规模数据集，计算整个数据集的群体统计量（如 $P_{A=0}(\hat{Y}=1)$）在每一次参数更新时都是一笔巨大开销。我们需要高效的算法来近似这些量。

正是这些挑战，将我们引向了最优运输和次梯度方法。最优运输提供了一个强大的几何框架来理解和简化分布层面的约束，而次梯度方法则是处理非光滑优化问题的标准武器。它们的结合，为我们打开了一扇解决复杂公平性优化问题的新窗口。

3. 最优运输理论：衡量与修正分布偏差的几何框架

当我们谈论群体公平，例如要求“男性和女性获得贷款的概率相等”，本质上是在比较两个概率分布：在给定模型下，男性群体的预测结果分布和女性群体的预测结果分布。最优运输理论，又称 Wasserstein 距离或“推土机距离”，为我们提供了比较和修正这两个分布差异的天然数学语言。

3.1 从直觉到定义：什么是“推土机距离”？

想象你有两堆土，一堆分布在城市A（代表群体A的预测分布），另一堆分布在城市B（代表群体B的预测分布）。每堆土的总质量都是1（概率总和为1）。最优运输要解决的问题是：以最小的“工作量”，将A堆的土搬运到B堆的形状。这里“工作量”定义为每单位土运输距离与土方量的乘积的总和。

形式化地，设 $P$ 和 $Q$ 是两个概率分布。它们之间的（p-Wasserstein）距离定义为： $W_p(P, Q) = \left( \inf_{\gamma \in \Gamma(P, Q)} \int ||x - y||^p d\gamma(x, y) \right)^{1/p}$ 其中，$\Gamma(P, Q)$ 是所有以 $P$ 和 $Q$ 为边缘分布的联合分布（称为耦合）的集合。$\gamma(x, y)$ 可以理解为将 $P$ 中位于 $x$ 处的“质量”运输到 $Q$ 中 $y$ 处的比例。这个下确界就是在寻找总运输成本最小的那个搬运方案。

为什么它适合公平性问题？

1. 几何直观： Wasserstein距离考虑了分布的整体“形状”和支撑集的距离。与KL散度等不同，即使两个分布的支撑集不重叠，它也能给出有意义的有限距离。这意味着即使两个群体的预测分数完全分离，我们也能量化其不公平程度。
2. 便于插值： 最优运输理论自然地引出了“分布插值”的概念。我们可以通过找到最优耦合 $\gamma^*$，构造一个介于 $P$ 和 $Q$ 之间的分布 $P_t$（例如，$P_t$ 是 $P$ 的质量沿着最优运输路径移动了比例 $t$ 后形成的分布）。这为后处理修正预测分布提供了直接工具。

3.2 从理论到算法：熵正则化与Sinkhorn迭代

精确计算 Wasserstein 距离是一个线性规划问题，在大规模高维数据上计算成本极高。这在机器学习应用中是不可行的。突破来自于熵正则化。

我们给原始的优化问题加上一个负熵正则项： $W_{p, \epsilon}(P, Q) = \inf_{\gamma \in \Gamma(P, Q)} \left( \int c(x,y) d\gamma(x,y) + \epsilon H(\gamma) \right)$ 其中 $H(\gamma) = \int \gamma(x,y) \log \gamma(x,y) dxdy$ 是耦合 $\gamma$ 的熵，$\epsilon > 0$ 是正则化系数。

这个改动带来了革命性的变化：

• 计算简化： 熵正则化后的对偶问题具有特殊结构，其解可以表示为两个正向量 $u$ 和 $v$ 的外积再乘以一个核矩阵 $K$（其中 $K_{ij} = \exp(-c_{ij}/\epsilon)$）。即 $\gamma^* = \text{diag}(u) K \text{diag}(v)$。
• 高效算法： 向量 $u$ 和 $v$ 可以通过一种极其简单的迭代算法——Sinkhorn迭代来求解： $u^{(l+1)} = a / (K v^{(l)}), \quad v^{(l+1)} = b / (K^T u^{(l+1)})$ 其中 $a$ 和 $b$ 分别是分布 $P$ 和 $Q$ 的离散概率质量向量。这个算法仅涉及矩阵-向量乘法和逐元素除法，非常适合GPU并行加速，使得计算大规模分布之间的近似Wasserstein距离变得可行。

在公平性中的应用场景：

1. 公平表示学习： 目标是通过一个编码器网络，将不同群体的数据映射到一个共同的表示空间，并在这个空间中，最小化不同群体表示分布之间的Wasserstein距离。这迫使编码器学习到与敏感属性无关的特征。
2. 后处理修正： 在模型做出预测后，我们可以将模型对群体A的预测分数分布 $P_A$，通过最优运输映射到群体B的预测分数分布 $P_B$。具体地，找到从 $P_A$ 到 $P_B$ 的最优传输计划，然后对群体A中个体的预测分数按照这个计划进行“微调”，使得调整后的分布与 $P_B$ 一致，从而实现统计奇偶性。
3. 约束优化中的距离度量： 我们可以将公平性约束直接表述为 $W(P_A, P_B) \leq \delta$，并将其作为优化问题的一个约束条件。这比基于统计量的约束更具几何鲁棒性。

注意： 熵正则化系数 $\epsilon$ 的选择是一个权衡。$\epsilon$ 越大，Sinkhorn迭代收敛越快，解越平滑，但距离近似误差越大；$\epsilon$ 越小，越接近真实Wasserstein距离，但迭代可能更慢，数值稳定性变差。实践中通常从一个较大的 $\epsilon$ 开始，逐步减小（退火策略）以获得更精确的解。

4. 次梯度方法：攻克非光滑公平性约束的利器

现在，我们回到那个带约束的优化问题：$\min_\theta L(\theta) \text{ s.t. } g(\theta) \leq 0$。如果 $g(\theta)$ 是光滑的（可导的），我们可以使用成熟的拉格朗日乘子法或内点法。但如前所述，许多公平性约束（如绝对值差、最大值）是非光滑的。这时，梯度不存在，我们需要更广义的工具——次梯度。

4.1 次梯度：凸函数“梯度”的推广

对于一个凸函数 $f: \mathbb{R}^n \to \mathbb{R}$，在点 $x_0$ 处，次梯度$g$ 是一个满足以下条件的向量： $f(x) \geq f(x_0) + g^T (x - x_0), \quad \forall x$ 直观上，次梯度定义了在 $x_0$ 点处支撑函数 $f$ 的一个超平面。对于可导的点，次梯度就是梯度本身；对于不可导的点（如绝对值函数的零点），次梯度是一个集合，称为次微分$\partial f(x_0)$。

例如，对于 $f(x) = |x|$，在 $x=0$ 处，其次微分是区间 $[-1, 1]$ 内的任何实数。任何 $g \in [-1, 1]$ 都满足上述不等式。

4.2 次梯度下降法：原理与局限

对于无约束的凸非光滑优化问题 $\min_x f(x)$，次梯度下降法是梯度下降法的自然推广： $x^{(k+1)} = x^{(k)} - \alpha_k g^{(k)}, \quad \text{其中 } g^{(k)} \in \partial f(x^{(k)})$ 这里 $\alpha_k$ 是步长。

然而，次梯度下降法有几个显著缺点：

1. 收敛慢： 即使对于强凸函数，其收敛速度也只能达到 $O(1/\sqrt{k})$，远慢于梯度下降的 $O(1/k)$ 或 $O(\rho^k)$（线性收敛）。
2. 步长选择敏感： 不像梯度下降有明确的线搜索准则，次梯度法的步长需要精心设计（通常采用递减步长，如 $\alpha_k = \alpha / \sqrt{k}$），且对最终收敛精度影响很大。
3. 非下降性： 由于次梯度方向不一定是下降方向，算法迭代过程中目标函数值可能震荡上升，需要记录历史最优值。

4.3 处理公平性约束：拉格朗日对偶与次梯度更新

对于我们的带约束问题，一个标准的方法是构造拉格朗日函数： $\mathcal{L}(\theta, \lambda) = L(\theta) + \lambda g(\theta)$ 其中 $\lambda \geq 0$ 是拉格朗日乘子。原问题等价于求解鞍点问题：$\max_{\lambda \geq 0} \min_{\theta} \mathcal{L}(\theta, \lambda)$。

我们可以采用对偶上升法或增广拉格朗日法来求解。一个简单有效的方案是使用对偶次梯度更新：

1. 固定 $\lambda$，用梯度下降（如果 $L(\theta)$ 光滑）或次梯度下降（如果 $L(\theta)$ 也不光滑）求解内层问题：$\theta^{(k+1)} = \theta^{(k)} - \alpha_k \nabla_\theta \mathcal{L}(\theta^{(k)}, \lambda^{(k)})$。
2. 更新拉格朗日乘子（对偶变量）：$\lambda^{(k+1)} = \max(0, \lambda^{(k)} + \beta_k g(\theta^{(k+1)}))$。

关键点： 对偶变量的更新公式 $\lambda^{(k+1)} = \max(0, \lambda^{(k)} + \beta_k g(\theta^{(k+1)}))$ 本身就是一个次梯度上升步骤。因为拉格朗日对偶函数 $d(\lambda) = \min_\theta \mathcal{L}(\theta, \lambda)$ 关于 $\lambda$ 的次梯度正好是 $g(\theta^(\lambda))$，其中 $\theta^(\lambda)$ 是内层最小化的解。

实操心得： 在实际实现中，直接使用上述对偶次梯度法可能收敛较慢且不稳定。一个常见的改进是使用近端梯度法或ADMM来处理非光滑项。例如，我们可以将问题重写为： $\min_{\theta, z} L(\theta) + I_{\mathcal{C}}(z) \quad \text{s.t.} \quad g(\theta) = z$ 其中 $I_{\mathcal{C}}$ 是集合 $\mathcal{C} = {z | z \leq 0}$ 的示性函数（非光滑）。然后应用ADMM，交替优化 $\theta$、$z$ 和对偶变量。这种方法通常能获得更稳定的收敛。

5. 算法实现：将理论拼接成可运行的代码

理论最终需要落地为代码。本节我们将结合最优运输和次梯度方法，勾勒出一个实现公平性约束优化的具体算法框架，并以一个简化的示例说明关键步骤。

5.1 算法框架设计：基于Wasserstein正则化的公平分类

假设我们有一个二元分类任务，敏感属性 $A \in {0, 1}$。我们不仅希望最小化分类损失，还希望两个群体的预测分数分布尽可能接近。我们可以将Wasserstein距离作为正则项加入损失函数。

优化问题： $\min_\theta \frac{1}{N} \sum_{i=1}^N \ell(f_\theta(x_i), y_i) + \eta \cdot W(P_0(\theta), P_1(\theta))$ 其中：

• $\ell$ 是分类损失（如交叉熵）。
• $f_\theta(x_i)$ 是模型对样本 $i$ 的预测分数（如逻辑回归的输出，在0到1之间）。
• $P_0(\theta)$ 和 $P_1(\theta)$ 分别是敏感属性为0和1的群体，其模型预测分数 $f_\theta(x)$ 所构成的（一维）经验分布。
• $\eta > 0$ 是公平性正则化强度系数。
• $W$ 是1-Wasserstein距离。对于一维分布，Wasserstein距离有闭式解：等于两个分布的经验分位数函数之差的 $L^1$ 范数。但为了通用性和可扩展至高维表示，我们仍使用熵正则化的Sinkhorn算法进行近似计算。

算法步骤：

1. 初始化： 初始化模型参数 $\theta$，设置学习率 $\alpha$，正则化强度 $\eta$，Sinkhorn正则化系数 $\epsilon$，迭代次数 $T$。
2. 迭代训练： a.前向传播与损失计算： 对一个批次（Batch）的数据，计算模型预测 $f_\theta(x)$ 和分类损失 $L_{cls} = \frac{1}{B} \sum_{i \in Batch} \ell(f_\theta(x_i), y_i)$。 b.计算群体分布与Wasserstein距离： * 将批次数据按敏感属性 $A$ 分成两组。 * 提取每组数据的模型预测分数 $s_0 = {f_\theta(x_i) | A_i=0}$， $s_1 = {f_\theta(x_i) | A_i=1}$。 * 将 $s_0$ 和 $s_1$ 视为离散分布（每个预测分数是一个支撑点，质量均匀分布）。计算它们之间的熵正则化Wasserstein距离 $W_\epsilon$。 * 构建成本矩阵 $C$，其中 $C_{ij} = |s_0[i] - s_1[j]|^p$（通常 $p=1$ 或 $2$）。 * 构建核矩阵 $K = \exp(-C / \epsilon)$。 * 初始化 $u, v$ 为全1向量。 * 进行Sinkhorn迭代直到收敛：$u \leftarrow a / (K v), \quad v \leftarrow b / (K^T u)$，其中 $a, b$ 是均匀分布向量（元素为 $1/n_0$ 和 $1/n_1$）。 * 计算近似距离：$W_\epsilon = \sum_{ij} \gamma_{ij} C_{ij}$，其中 $\gamma = \text{diag}(u) K \text{diag}(v)$。 c.构造总损失： $L_{total} = L_{cls} + \eta \cdot W_\epsilon$。 d.反向传播与参数更新： 计算总损失 $L_{total}$ 关于参数 $\theta$ 的梯度 $\nabla_\theta L_{total}$，并使用优化器（如Adam）更新参数：$\theta \leftarrow \theta - \alpha \cdot \text{Optimizer}(\nabla_\theta L_{total})$。
3. 循环： 重复步骤2，直到达到预设的迭代次数 $T$。

5.2 关键实现细节与代码片段（PyTorch风格伪代码）

import torch import torch.nn as nn import torch.optim as optim def sinkhorn_wasserstein(a, b, C, eps, max_iters=1000, tol=1e-9): """ 计算熵正则化Wasserstein距离的Sinkhorn迭代。 a, b: 两个离散分布的概率质量向量 (和为1)，形状 (n,) 和 (m,) C: 成本矩阵，形状 (n, m) eps: 正则化系数 """ K = torch.exp(-C / eps) u = torch.ones_like(a) v = torch.ones_like(b) for _ in range(max_iters): u_prev = u.clone() v = b / (K.T @ u) u = a / (K @ v) if torch.max(torch.abs(u - u_prev)) < tol: break gamma = torch.diag(u) @ K @ torch.diag(v) W = torch.sum(gamma * C) return W class FairClassifier(nn.Module): def __init__(self, input_dim): super().__init__() self.fc = nn.Linear(input_dim, 1) def forward(self, x): return torch.sigmoid(self.fc(x)) # 输出预测概率 def train_fair_model(model, train_loader, sensitive_attr_idx, eta=1.0, eps=0.1, lr=1e-3, epochs=100): optimizer = optim.Adam(model.parameters(), lr=lr) criterion = nn.BCELoss() # 二分类交叉熵损失 for epoch in range(epochs): for batch_x, batch_y, batch_a in train_loader: # batch_a 是敏感属性 optimizer.zero_grad() # 前向传播 predictions = model(batch_x).squeeze() # 分类损失 cls_loss = criterion(predictions, batch_y.float()) # 按敏感属性分组 idx_a0 = (batch_a == 0) idx_a1 = (batch_a == 1) if idx_a0.sum() > 0 and idx_a1.sum() > 0: scores_a0 = predictions[idx_a0].detach() # 分离计算图，或使用自定义梯度 scores_a1 = predictions[idx_a1].detach() # 构建成本矩阵 (L1距离) C = torch.abs(scores_a0.unsqueeze(1) - scores_a1.unsqueeze(0)) # 均匀分布质量 a = torch.ones(scores_a0.shape[0]) / scores_a0.shape[0] b = torch.ones(scores_a1.shape[0]) / scores_a1.shape[0] # 计算Wasserstein距离 W_dist = sinkhorn_wasserstein(a, b, C, eps) # 总损失 total_loss = cls_loss + eta * W_dist else: total_loss = cls_loss # 反向传播 total_loss.backward() optimizer.step()

重要提示： 上述伪代码中，在计算Wasserstein距离时，我们将predictions分离了计算图（.detach()）。这是因为Sinkhorn迭代是一个包含指数和除法运算的迭代过程，直接对其结果进行反向传播可能会遇到数值不稳定或梯度爆炸/消失的问题。一种更严谨的做法是实现Sinkhorn迭代的定制化梯度，或者使用隐式梯度技巧。在实践中，对于这种两层优化问题（外层优化模型参数，内层优化传输耦合），也可以采用近似的梯度，例如使用torch.autograd.grad进行手动梯度计算，并注意梯度裁剪。

5.3 超参数调优与评估

• 公平性-准确性权衡： 参数 $\eta$ 控制着公平性正则项的强度。$\eta=0$ 退化为标准的不考虑公平性的分类器。随着 $\eta$ 增大，模型会越来越倾向于使两个群体的预测分布一致，但这可能会损害整体的分类精度。需要通过验证集来绘制公平性-准确性权衡曲线，根据具体应用场景选择合适的 $\eta$。
• 评估指标： 不能只看测试集上的总体准确率。必须同时报告公平性指标，例如：
  • ** Demographic Parity Difference (DPD)**: $|P(\hat{Y}=1|A=0) - P(\hat{Y}=1|A=1)|$
  • ** Equalized Odds Difference (EOD)**: $\frac{1}{2} [ |TPR_A - TPR_B| + |FPR_A - FPR_B| ]$，其中 $TPR$ 是真阳率，$FPR$ 是假阳率。
  • Wasserstein距离本身也是一个评估分布差异的直观指标。
• $\epsilon$ 的选择： Sinkhorn正则化系数 $\epsilon$ 影响Wasserstein距离的计算精度和稳定性。通常从一个较大的值（如1.0）开始，如果模型训练稳定但公平性效果不佳，可以尝试逐步减小（如0.1, 0.01），同时监控梯度是否出现NaN。

6. 常见陷阱、挑战与进阶思考

即使掌握了上述算法，在实际部署公平性机器学习模型时，你仍会面临一系列棘手的问题。以下是我在实践中总结的一些关键挑战和应对思路。

6.1 理论挑战与算法陷阱

1. 非凸优化的局部最优： 将复杂的公平性约束（尤其是涉及Wasserstein距离的）与神经网络的非凸损失结合，优化问题可能充满糟糕的局部最优解。模型可能收敛到一个“公平但无用”（所有预测都趋同）的点。

   • 应对策略： 采用渐进式训练。先使用较小的 $\eta$ 训练模型得到一个较好的初始点，然后逐步增大 $\eta$ 进行微调。这类似于课程学习，让模型先学会“分类”，再学会“公平分类”。

2. 梯度估计的方差与偏差： 在基于批次的训练中，我们计算的群体统计量（如Wasserstein距离）只是基于一个小批次的估计。这个小批量估计可能方差很大，特别是当某个群体在批次中样本数很少时，会导致梯度噪声大，训练不稳定。

   • 应对策略：
     • 使用更大的批次大小，或对敏感属性进行分层采样，确保每个批次中各个群体都有足够的样本。
     • 对Wasserstein距离的梯度使用梯度裁剪或梯度归一化，防止异常批次导致参数更新过大。
     • 考虑使用滑动平均来维护一个对全局群体统计量的运行估计，而不是完全依赖当前批次。

3. 敏感属性未知或不可用： 在很多实际场景中，出于法律或隐私考虑（如欧盟的GDPR），我们不能在预测时使用甚至收集敏感属性。这被称为“公平性 without demographics”。

   • 应对策略：
     • 代理变量与表示学习： 训练一个编码器，试图从非敏感特征中学习一个与敏感属性无关的表示。可以通过对抗学习，让一个判别器无法从表示中预测出敏感属性。
     • 基于因果的方法： 如果对数据生成过程有因果图假设，可以尝试识别并调整导致偏差的因果路径，而不需要显式使用敏感属性。

6.2 工程实践中的注意事项

1. 计算开销： Sinkhorn迭代虽然比精确线性规划快，但在每个训练步骤中计算两个高维分布（如果对隐层表示施加约束）之间的Wasserstein距离，成本依然很高。成本矩阵 $C$ 的大小是 $n_0 \times n_1$，其中 $n_0$, $n_1$ 是批次内两个群体的样本数。

   • 优化： 使用GPU加速的矩阵运算。对于非常大的批次，可以考虑使用小波近似或切片Wasserstein距离等更快但近似的变体。

2. 多类别与连续敏感属性： 上述讨论主要针对二元敏感属性。对于多类别（如多种族）或连续型（如年龄）敏感属性，问题变得更加复杂。

   • 多类别： Wasserstein距离可以自然推广到多个分布的比较，例如最小化所有类别预测分布两两之间的最大距离，或最小化它们与一个共同重心（Wasserstein重心）的距离。
   • 连续属性： 可以将连续属性分桶离散化，或者使用条件Wasserstein距离，要求预测分布与敏感属性条件独立。

3. 与其它正则化或约束的交互： 模型可能同时需要满足公平性、差分隐私、鲁棒性等多种要求。这些约束之间可能存在冲突。

   • 需要权衡： 必须通过实验明确这些目标之间的权衡关系。有时可以通过多目标优化来寻找帕累托前沿，为决策者提供一系列可选的模型。

6.3 超越算法：公平性的系统性思考

最后，必须清醒认识到，算法只是解决公平性问题的一环，甚至可能不是最关键的一环。

• 数据偏差是根源： 如果训练数据本身反映了历史歧视（例如，历史上某些群体获得贷款的机会更少），那么模型学习到的就是有偏的规律。算法层面的公平性约束更像是一种“矫正”，而非“根治”。需要在数据收集和标注阶段就尽可能确保其代表性和无偏性。
• 公平性定义的选择是价值判断： 没有一种数学定义是“绝对正确”的。选择“统计奇偶性”还是“机会均等”，取决于具体的应用场景和社会价值取向。例如，在大学录取中，机会均等可能比统计奇偶性更合理。开发者必须与领域专家、伦理学家和利益相关者共同确定适合的公平性标准。
• 动态与长期影响： 模型的决策会改变环境。例如，一个公平的贷款模型可能会批准更多历史上被排斥群体的贷款，这可能会改变该群体的信用风险分布，进而影响未来模型的性能。这被称为“公平性反馈循环”，需要在长期部署中进行监测和调整。

机器学习公平性是一个横跨数学、计算机科学、伦理学和社会学的深刻领域。从最优运输的优美几何，到次梯度方法的务实迭代，我们拥有了强大的工具来形式化和优化“公平”这一目标。然而，工具越强大，责任也越重。理解这些方法的假设、局限以及与更广阔社会技术系统的互动，是每一位负责任的AI实践者的必修课。这条路没有终点，但每一步扎实的推进，都让我们离构建更可信、更公正的智能系统更近一步。