企业官网建设流程全解析

1. 选择性预测：让机器学习模型学会“知之为知之，不知为不知”

在医疗影像诊断、自动驾驶决策、金融风险评估这些容错率极低的领域，一个错误的模型预测可能意味着生命的代价或巨大的经济损失。我们训练出的模型，无论精度多高，总会在某些“棘手”的样本上犯错。一个自然的想法是：与其让模型在所有样本上都“硬着头皮”给出一个可能错误的答案，不如让它学会在“没把握”的时候主动说“我不知道”，将决策权交给更可靠的系统或人类专家。这就是选择性预测（Selective Prediction）或选择性分类（Selective Classification）的核心思想。

想象一下，你是一位经验丰富的医生，面对一张极其模糊或病变特征不典型的X光片。一位新手医生可能会基于有限的模式匹配给出一个武断的诊断，而你更可能的选择是要求进行更详细的检查（如CT或活检），或者寻求科室会诊。选择性预测旨在为机器学习模型赋予这种“自知之明”。其技术框架非常直观：对于一个训练好的分类模型，我们额外引入一个“选择函数”或“门控机制”。对于每一个输入样本，该机制会输出一个“置信度分数”。我们预先设定一个阈值，只有当置信度分数高于此阈值时，模型才输出其预测结果；否则，模型选择“弃权”。这样，我们就在模型的“覆盖率”（Coverage，即做出预测的样本比例）和“选择性准确率”（Selective Accuracy，即在做出预测的样本上的准确率）之间建立了一个权衡曲线。

这项技术的价值不言而喻。它允许我们在部署模型时，根据实际应用对准确率的严苛要求，灵活地调整覆盖率。例如，在自动驾驶的紧急制动场景中，我们可以设定极高的准确率门槛（如99.99%），系统只在绝对有把握时才触发制动，其余情况则交由驾驶员处理或采用更保守的策略，从而在整体上构建一个更安全可靠的系统。

然而，实现高效的选择性预测并非易事。其核心挑战在于：如何设计一个既精准又高效的置信度评分函数？这个评分需要能真实反映模型在该样本上犯错的可能性。一个朴素的想法是直接使用模型输出的最大软概率（Softmax Response）作为置信度。但众所周知，现代神经网络常常存在“过度自信”的问题，即使预测错误，其最大软概率值也可能很高。这就引出了不确定性量化（Uncertainty Quantification）领域的一系列方法，如贝叶斯神经网络、蒙特卡洛Dropout、深度集成等。其中，深度集成通过训练多个独立模型并集成其预测，被证明是生成高质量不确定性估计的强基准方法。但它的代价也显而易见：训练和推理的计算成本与集成成员数量成线性增长，这在模型越来越大、数据越来越多的今天，成为了一个沉重的负担。

那么，有没有一种方法，既能获得媲美深度集成的不确定性估计质量，又只需付出单模型训练的成本呢？基于训练动态（Training Dynamics）的选择性预测方法SPTD，正是为了回答这个问题而生。

2. SPTD原理深度解析：从训练轨迹中挖掘“不确定性”信号

SPTD方法的灵感源于一个深刻的观察：一个样本对于模型来说是否“困难”或“不确定”，会清晰地反映在模型学习它的整个“历程”中。我们可以把模型的训练过程想象成一位学生在学习一系列题目。对于简单的题目（例如，识别清晰的猫狗图片），学生可能看一遍就记住了，并且在后续的复习中都能稳定答对。对于困难的题目（例如，区分某些品种极其相似的狗），学生可能时而答对，时而答错，需要反复学习和纠错，最终可能仍无法达到稳定掌握。

SPTD将这一直觉形式化。它不需要训练多个模型，而是充分利用标准训练流程中自然产生的副产品——训练检查点。在训练一个深度神经网络时，我们通常会每隔一定迭代次数保存一次模型快照（Checkpoint）。SPTD方法的核心，就是收集从训练早期到收敛的整个过程中，一系列中间模型 ({f_1, f_2, ..., f_T}) 对同一个测试样本 (x) 的预测序列。

2.1 核心评分机制：预测不一致性的加权求和

SPTD为每个测试样本计算一个“不稳定性分数”（Instability Score）。这个分数的设计直观而有效：

1. 记录最终预测：首先，获取最终训练好的模型 (f_T) 对样本 (x) 的预测标签 (L = f_T(x))。
2. 遍历检查点：对于每一个中间检查点模型 (f_t)，检查其预测标签 (f_t(x)) 是否与最终预测 (L) 一致。
3. 计算不一致性：定义在时间步 (t) 的指示变量 (a_t)： [ a_t = \begin{cases} 0, & \text{if } f_t(x) = L \ 1, & \text{if } f_t(x) \neq L \end{cases} ] (a_t = 1) 意味着在训练的第 (t) 个阶段，模型对样本 (x) 的预测发生了“摇摆”或“分歧”。
4. 时间加权：并非所有阶段的不一致性都同等重要。在训练初期，模型参数随机，预测本身就不稳定，此时的不一致性信息噪声较大。而在训练后期，模型接近收敛，如果此时预测仍在变化，则强烈暗示该样本位于决策边界附近，是模型难以把握的“硬样本”。因此，SPTD引入了一个基于时间的权重 (v_t)，通常定义为 (v_t = (t/T)^k)，其中 (k > 0) 是一个超参数。这是一个凸函数，赋予训练后期的不一致性更高的权重。
5. 生成最终分数：样本 (x) 的SPTD分数 (s_{\text{sum}}(x)) 定义为加权不一致性的总和： [ s_{\text{sum}}(x) = \sum_{t=1}^{T} v_t \cdot a_t ]

这个分数的直观解释是什么？分数 (s_{\text{sum}}(x)) 越高，表明在模型训练的关键后期阶段，对该样本的预测越不稳定，频繁地在不同类别间切换。这种不稳定性正是模型内部“困惑”和“不确定”的外在表现。因此，高分样本应被视作高不确定性样本，在选择性预测中被拒绝。

注意：这里有一个关键细节。原始论文中探讨了两种聚合方式：求和（sum）与取最大值（max）。求和分数 (s_{\text{sum}}) 累积了所有时间步的不一致性，对持续的预测摇摆更敏感。而最大值分数 (s_{\text{max}} = \max_t (v_t \cdot a_t)) 只关注最严重的一次分歧。实验表明，求和分数通常能提供更平滑、更可靠的排序，性能优于最大值分数。因为求和能更好地“去噪”，将偶尔的早期波动与后期持续的犹豫区分开来。

2.2 与深度集成的内在联系与本质区别

SPTD常被称为“时间维度上的集成”。深度集成是在“空间”维度上并行训练多个模型，通过评估这些独立模型预测的“分歧”来度量不确定性。而SPTD是在“时间”维度上，利用单个模型在不同训练阶段的“自我分歧”来度量不确定性。

它们的核心联系在于都利用了“预测的方差”作为不确定性的代理。深度集成计算的是不同模型在同一时间点（训练完成时）预测的方差。SPTD计算的是同一模型在不同时间点预测的方差。

它们的核心区别在于成本和假设：

• 成本：深度集成需要训练N个模型，训练成本是SPTD的N倍，推理时也需要运行N个前向传播。SPTD只需训练一个模型，但需要在训练过程中保存T个检查点，推理时需要运行T次前向传播（通常T远小于N，且检查点预测可以预先计算并缓存）。
• 假设：深度集成假设不同随机初始化的模型会探索损失函数的不同局部极小值，其预测分歧反映了数据本身的模糊性。SPTD假设一个样本如果在训练轨迹的末端仍导致预测摇摆，那么它很可能位于决策边界，是模糊的。

一个重要的实操心得是：SPTD对检查点的存储和计算进行了巧妙的“摊销”。在训练完成后，我们可以一次性用所有保存的检查点模型对整个验证集/测试集进行前向传播，并将每个样本的预测序列存储下来。在后续进行选择性预测时，我们只需要根据存储的预测序列快速计算SPTD分数即可，无需重新加载模型进行计算。这大大降低了部署时的推理开销。

2.3 理论优势：为什么训练动态是有效的信号？

从学习理论的角度看，SPTD的有效性可以通过“训练动态反映了样本难度”这一现象来解释。研究（如Swayamdipta等人2020年的工作）表明，模型在学习过程中，对“简单”样本的损失会迅速下降并保持稳定，而对“困难”或“歧义”样本的损失则下降缓慢且波动较大。预测标签的切换正是这种损失波动的外在体现。

SPTD分数本质上是在度量样本学习曲线的“平滑度”。一个理想的、易于学习的样本，其预测标签从某个中间点开始就应该保持恒定。而一个困难的样本，其预测标签可能会在正确的标签和几个相似的错误标签之间反复横跳，直到训练结束也可能无法完全稳定下来。加权求和机制放大了训练后期的不稳定性，使其成为区分样本可靠性的强信号。

3. SPTD实战指南：从零实现与关键调优

理解了原理，我们来看如何在实际项目中应用SPTD。下面我将提供一个基于PyTorch的简化实现框架，并深入探讨每个环节的注意事项。

3.1 实现步骤详解

步骤一：模型训练与检查点保存这是最基础的一步。我们需要修改常规的训练循环，定期保存模型的状态字典。

import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader import os def train_model_with_checkpoints(model, train_loader, val_loader, epochs, checkpoint_interval, save_dir): optimizer = optim.SGD(model.parameters(), lr=0.1, momentum=0.9, weight_decay=5e-4) scheduler = optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=epochs) criterion = nn.CrossEntropyLoss() os.makedirs(save_dir, exist_ok=True) checkpoint_paths = [] for epoch in range(epochs): model.train() for batch_idx, (data, target) in enumerate(train_loader): optimizer.zero_grad() output = model(data) loss = criterion(output, target) loss.backward() optimizer.step() # 验证逻辑可以在这里添加... scheduler.step() # 定期保存检查点 if (epoch + 1) % checkpoint_interval == 0 or epoch == epochs - 1: checkpoint_path = os.path.join(save_dir, f'checkpoint_epoch_{epoch+1}.pth') torch.save({ 'epoch': epoch + 1, 'model_state_dict': model.state_dict(), 'optimizer_state_dict': optimizer.state_dict(), 'scheduler_state_dict': scheduler.state_dict(), }, checkpoint_path) checkpoint_paths.append(checkpoint_path) print(f'Checkpoint saved at epoch {epoch+1}') return checkpoint_paths

关键技巧：checkpoint_interval的选择至关重要。太稀疏会丢失重要的动态信息，太密集则存储和计算开销大。一个经验法则是，在训练初期可以保存得密集一些（例如每2-5个epoch），因为初期变化剧烈；在训练后期可以稀疏一些（例如每10-20个epoch）。也可以采用对数尺度进行保存。

步骤二：计算样本的SPTD分数训练完成后，加载所有检查点，为需要评估的数据集（如验证集）计算每个样本的分数。

def compute_sptd_scores(model_class, checkpoint_paths, data_loader, device='cuda', k=2): """ 计算数据集中所有样本的SPTD分数。 model_class: 模型类的定义 checkpoint_paths: 检查点文件路径列表，按训练时间顺序排列 data_loader: 数据加载器 k: 时间加权指数 """ T = len(checkpoint_paths) model = model_class().to(device) all_scores = [] # 预分配空间存储每个检查点的预测 # 假设数据集大小为N，类别数为C # 这里用一个列表存储每个检查点的预测结果（标签），避免存储所有logits节省内存 checkpoint_predictions = [] # 阶段1: 遍历所有检查点，收集预测标签 for idx, ckpt_path in enumerate(checkpoint_paths): print(f'Loading checkpoint {idx+1}/{T}: {ckpt_path}') checkpoint = torch.load(ckpt_path, map_location=device) model.load_state_dict(checkpoint['model_state_dict']) model.eval() preds_this_checkpoint = [] with torch.no_grad(): for data, _ in data_loader: # 不需要标签 data = data.to(device) output = model(data) _, predicted = output.max(1) # 获取预测标签 preds_this_checkpoint.append(predicted.cpu()) # 将当前检查点的所有batch预测拼接起来 checkpoint_predictions.append(torch.cat(preds_this_checkpoint, dim=0)) # 阶段2: 计算每个样本的SPTD分数 num_samples = checkpoint_predictions[0].size(0) all_scores = torch.zeros(num_samples) # 获取最终预测（最后一个检查点） final_predictions = checkpoint_predictions[-1] for t in range(T): # 计算当前检查点预测与最终预测的不一致性 disagreement = (checkpoint_predictions[t] != final_predictions).float() # [N, ] # 计算时间权重 v_t = (t/T)^k，注意索引从0开始 weight = ((t + 1) / T) ** k # 累加加权不一致性 all_scores += weight * disagreement return all_scores.numpy() # 返回一个长度为N的分数数组

步骤三：确定阈值与实施选择性预测在验证集上计算所有样本的SPTD分数和真实标签后，我们可以根据目标覆盖率来确定阈值。

def determine_threshold(scores, labels, target_coverage): """ 根据目标覆盖率，在验证集上确定最优阈值。 scores: 验证集样本的SPTD分数数组 (N,) labels: 验证集真实标签 (N,) preds: 最终模型的预测标签 (N,) target_coverage: 目标覆盖率，如0.8 """ # 最终模型的预测（假设已经获得） final_preds = ... # 形状 (N,) # 将分数和标签、预测对齐 sorted_indices = np.argsort(scores) # SPTD分数越低越自信，所以按升序排序 sorted_scores = scores[sorted_indices] sorted_labels = labels[sorted_indices] sorted_preds = final_preds[sorted_indices] # 计算在不同阈值下的覆盖率和准确率 num_samples = len(scores) num_accept = int(target_coverage * num_samples) # 接受分数最低的 target_coverage 比例样本 accepted_indices = sorted_indices[:num_accept] rejected_indices = sorted_indices[num_accept:] # 计算选择性准确率 accepted_correct = (sorted_preds[:num_accept] == sorted_labels[:num_accept]).sum() selective_accuracy = accepted_correct / num_accept if num_accept > 0 else 0.0 # 阈值可以取被接受样本中最高分和被拒绝样本中最低分的平均值，或直接取分界点分数 threshold = (sorted_scores[num_accept - 1] + sorted_scores[num_accept]) / 2 if 0 < num_accept < num_samples else (sorted_scores[-1] + 1e-6 if num_accept == num_samples else sorted_scores[0] - 1e-6) print(f"目标覆盖率: {target_coverage:.2f}") print(f"实际覆盖率: {num_accept/num_samples:.4f}") print(f"选择性准确率: {selective_accuracy:.4f}") print(f"建议阈值: {threshold:.6f}") return threshold, selective_accuracy # 在测试集上应用 def selective_predict(test_scores, test_preds, threshold): """ 根据阈值进行选择性预测。 返回：接受决策的布尔数组，以及接受样本的预测结果。 """ accept_mask = test_scores <= threshold selective_preds = test_preds[accept_mask] return accept_mask, selective_preds

3.2 超参数选择与性能调优

SPTD的核心超参数不多，但每个都影响显著：

1. 检查点数量T与保存策略：这是性能与成本的权衡。论文实验表明，即使检查点数量较少（如50个），SPTD也能取得不错的效果。当检查点数量增加到与深度集成成员数相当时（如T ≈ E），SPTD能达到与深度集成相媲美的性能，而训练成本仅相当于单个模型。我的经验是，在总训练epoch数的10%-20%区间内均匀采样检查点，通常能取得很好的效果。例如，训练200个epoch，每10个epoch保存一次，得到20个检查点。

2. 时间加权指数k：参数k控制着如何权衡不同训练阶段的不一致性。k=0意味着所有检查点权重相同（均匀加权）。k>0赋予后期检查点更高权重。

   • k值较小时（如0.5），模型对中期的不稳定性也较为敏感。
   • k值较大时（如2或3，论文中常用），模型几乎只关注训练末尾阶段的不稳定性，这通常能提供最干净的信号，因为训练初期的噪声被有效抑制。
   • 建议从k=2开始尝试，这是一个在多个数据集上表现稳健的默认值。可以在验证集上绘制不同k值对应的“覆盖率-准确率”曲线（AUC）来进行选择。

3. 最终模型的选择：SPTD分数是基于与最终模型预测的一致性来计算的。因此，最终模型的质量直接影响SPTD的效能。务必确保你的最终模型是充分收敛、性能良好的。如果使用了早停（Early Stopping），请确保保存的是验证集性能最佳的模型，而不是最后一个epoch的模型。

3.3 与现有训练流程的集成

SPTD的一个巨大优势是“非侵入性”。它不需要修改损失函数、网络结构或训练流程。你完全可以沿用现有的、调优好的训练脚本，只需增加检查点保存和分数计算的后处理步骤即可。这使得它易于被集成到现有的机器学习管道中。

一个高效的部署工作流如下：

1. 训练阶段：正常训练模型，并定期保存检查点到磁盘。
2. 校准阶段（离线）： a. 加载所有检查点，在验证集上计算每个样本的SPTD分数。 b. 根据业务需求（例如，要求选择性准确率高于99%），在验证集上确定对应的阈值。 c. （可选）将验证集所有样本的SPTD分数分布可视化，观察其与正确/错误分类的关系，确认分数的区分度。
3. 推理阶段（在线）： a. 对于新的输入，用最终模型进行预测，得到标签L。 b. 用所有检查点模型（可预先加载到内存）对该输入进行前向传播，计算其SPTD分数s。 c. 比较s与预设阈值：若s <= threshold，则输出预测L；否则，输出“弃权”（或触发后续处理流程）。

重要提醒：计算SPTD分数需要T次前向传播，这比单次推理慢T倍。为了优化在线推理速度，可以考虑以下策略：

• 模型蒸馏：尝试用一个小型网络来学习SPTD分数，从而避免运行所有检查点。
• 缓存与批处理：如果应用场景允许，可以对一批查询进行批处理计算，充分利用GPU并行能力。
• 选择性计算：对于明显简单或困难的样本，或许可以用更少的检查点或更简单的启发式方法快速决策，只对中间地带的样本使用完整的SPTD计算。

4. 实验结果分析与横向对比

理论再优美，也需要实验的验证。我们依据提供的材料，深入剖析SPTD在标准视觉基准数据集上的表现，并将其与主流方法进行对比。

4.1 性能对比：SPTD vs. 传统方法

我们主要对比以下几类方法：

• SR (Softmax Response)：基线方法，直接使用最终模型预测的最大软概率作为置信度。
• SAT (Self-Adaptive Training)：一种通过动态重标注困难样本来优化训练过程的方法，旨在提升模型校准性和选择性预测能力。
• DE (Deep Ensembles)：深度集成，通过训练多个独立模型并集成其预测来估计不确定性，是性能强基准。
• SPTD：我们介绍的方法。
• DE+SPTD：在深度集成的每个成员上应用SPTD，再将分数集成，代表性能上限。

下表展示了在CIFAR-100数据集上，不同覆盖率下的选择性准确率（均值±标准差，5次随机运行）：

（注：加粗表示在该覆盖率下所有方法中的最佳性能，下划线表示单次训练运行方法中的最佳性能。数据来源于提供的材料。）

从表中我们可以得出几个关键结论：

1. SPTD显著优于单次训练方法：在几乎所有覆盖率下，SPTD的选择性准确率都明显高于SR和SAT。这表明，利用训练动态提供的不确定性信号，远比单纯依赖最终模型的软概率或使用特定的训练技巧更有效。
2. SPTD媲美甚至部分超越深度集成：这是SPTD最引人注目的优势。在多数覆盖率水平上（尤其是60%-90%这个实用区间），SPTD的性能与DE非常接近，有时甚至略优（如90%覆盖率时）。考虑到DE需要训练5-10个独立模型，而SPTD只需一个，这个结果极具吸引力。
3. DE+SPTD代表了性能上限：将SPTD应用于深度集成的每个成员，然后集成它们的分数，得到了最好的性能。这验证了两种不确定性来源（模型间差异和训练动态不稳定性）是互补的。
4. 低覆盖率下的卓越表现：在极低覆盖率（如10%-30%）下，SPTD和DE都能达到接近99%以上的惊人准确率。论文中的分析指出，在低覆盖率区域，对训练动态更细致的刻画（即更多检查点）能带来帮助。这是因为只有那些在整个训练过程中都极其不稳定的“超级困难”样本才会被筛选出来拒绝，剩下的都是模型极度确信的样本。

4.2 成本-性能权衡分析

性能的提升不能忽视成本的代价。下表对比了各方法在训练时间、空间以及推理时间、空间上的复杂度：

（E: 集成成员数， T: 检查点数量）

解读与实操建议：

• SR和SAT：成本最低，但性能也最差。适用于对不确定性要求不高、资源极度受限的场景。
• DE：训练和推理成本都与集成数量E线性相关。为了获得好性能，E通常需要5-10，这意味着5-10倍的计算和存储开销。在模型巨大时，这个成本可能令人望而却步。
• SPTD：训练成本仅为O(1)，与训练单个模型无异，这是其最大优势。它需要存储T个检查点，因此空间复杂度为O(T)。推理时需要T次前向传播，时间复杂度为O(T)。关键在于，T通常可以远小于E。例如，用50个检查点（T=50）的SPTD，就能达到与5个模型集成（E=5）相近的性能，而训练成本仅为后者的1/5。推理时，50次前向传播虽然比5次多，但检查点模型是同一个网络，可能享受到更好的缓存一致性，且在实际部署中可以通过优化来缓解。
• DE+SPTD：性能最强，但成本也最高，是DE和SPTD成本的乘积。仅在追求极致性能且不计成本的场景下考虑。

对于大多数实践者，SPTD在性能和成本之间提供了最佳的平衡点。它让你用单模型训练的成本，获得了接近集成方法的性能。

4.3 训练动态的可视化：洞察模型如何学习

SPTD的强大之处不仅在于结果，还在于它为我们打开了一个观察模型学习过程的“窗口”。通过分析训练动态，我们可以获得关于数据和模型本身的深刻见解。

提供的材料中的图3.8展示了一个经典模式：它分别绘制了在训练和测试集上，被正确分类和错误分类的样本，其SPTD分数期望值（E[·]）和方差（V[·]）随训练检查点变化的曲线。

• 正确分类的样本（冷色调线）：无论是训练集还是测试集，其预测不一致性的期望和方差都随着训练的进行而迅速下降并趋近于0。这意味着模型很快地、稳定地学会了这些样本。
• 错误分类的样本（暖色调线）：其预测不一致性的期望和方差在整个训练过程中都保持在一个较高的水平，并且持续波动。这直观地展示了模型在面对这些“困难户”时的挣扎和犹豫。

这个可视化极具价值。在模型开发阶段，你可以通过观察这些曲线来诊断问题：

• 如果测试集错误样本的方差在训练末期仍然很高，可能意味着模型容量不足或存在过拟合。
• 如果训练集和测试集的动态差异巨大，可能预示着严重的分布外问题。
• 你可以定位那些在整个训练过程中都保持高方差的测试样本，对其进行人工分析，理解模型为何困惑，这可能是改进数据集或模型架构的关键。

5. 高级话题与未来方向

SPTD为我们提供了一个强大而高效的框架，但选择性预测领域仍有许多开放性问题值得探索。

5.1 超越分类：回归与时间序列预测

选择性预测的思想同样适用于回归和时序预测任务。在回归中，我们不再预测离散标签，而是连续值。不确定性可以表现为预测值的方差。SPTD可以很自然地扩展：我们可以计算每个检查点模型对同一输入预测值的方差（或更鲁棒的统计量）作为不确定性分数。在时间序列预测中，模型需要预测未来序列。同样，我们可以用多个检查点模型预测的序列之间的差异（如均方误差的方差）来度量不确定性。实验表明，在这些任务上，SPTD也能提供与深度集成相当的性能，同时在低覆盖率区域表现更优。

5.2 与差分隐私的交互

在要求数据隐私的场景下，我们使用差分隐私（DP）技术训练模型。一个关键发现是：差分隐私的噪声注入会损害模型的不确定性估计能力。DP-SGD中的梯度裁剪和噪声添加，不仅降低了模型效用（准确率），还使得模型对其错误预测变得更加“过度自信”。这意味着，在相同覆盖率下，一个差分隐私模型的选择性准确率会低于非隐私模型。

SPTD在这种场景下显示出独特的优势。因为DP训练本身就需要记录隐私预算的消耗，保存检查点是常见做法。SPTD利用这些现成的检查点，没有引入额外的隐私成本（由于差分隐私的后处理性质）。而像深度集成这样的方法，因为需要训练多个模型，会因高级组合定理而消耗更多的隐私预算，或者在固定总预算下导致每个模型更弱的隐私保护，从而性能下降更严重。因此，在隐私敏感的应用中，SPTD是更具实用性的选择性预测方案。

5.3 分布外检测与对抗样本的潜力

一个很自然的问题是：SPTD分数能否用于检测分布外（OOD）样本或对抗样本？初步研究表明是有潜力的。OOD样本或精心构造的对抗样本，对于模型来说是极其“陌生”或“反常”的，很可能导致其在训练的不同阶段产生混乱且不一致的预测，从而获得很高的SPTD分数。

提供的材料中的图3.9展示了SPTD在CIFAR-10/100数据集上区分正常测试集、OOD数据集（SVHN）和对抗样本（PGD攻击生成）的能力。可以看到，OOD和对抗样本的SPTD分数分布与正常样本有显著差异，通过设置阈值可以实现一定程度的区分（AUC可达0.8以上）。但这并非SPTD的主要设计目标，其在此任务上的可靠性仍需更多研究验证。对于专门的OOD检测或对抗防御，仍有更专用的方法。

5.4 构建高性能选择性分类器的要素分解

要构建一个接近理想预言机（即总能先接受正确样本）的选择性分类器，我们需要理解其性能差距的来源。研究将选择性分类的“差距”分解为五个部分：

1. 贝叶斯误差：数据本身存在的、不可避免的噪声。即使是最优模型也会犯错。
2. 近似误差：由于模型容量有限，无法完美拟合真实函数。
3. 排序误差：置信度评分函数未能将样本按真实正确概率完美排序。这是校准（Calibration）要解决的核心问题。
4. 统计误差：由于有限数据带来的估计噪声。
5. 实施误差：如优化不充分、分布偏移等。

SPTD主要作用于减少“排序误差”。它通过利用训练动态提供的丰富信号，生成了比简单软概率更优质的排序。温度缩放（Temperature Scaling）等后处理校准技术虽然能改善概率的校准度（即预测概率与真实正确频率匹配），但因为是单调变换，不改变样本间的相对顺序，因此无法减少排序误差。而像SPTD或深度集成这样的方法，通过引入新的信息源（时间动态或模型差异），本质上改变了置信度得分的生成机制，从而能够对样本进行重新排序，更有效地将正确样本排在前面。

5.5 警惕“选择性”的滥用与防御

最后，我们必须以审慎的态度看待选择性预测。这项技术可以被用于善意地提升系统可靠性，也可能被恶意滥用。一个不道德的机构可能故意训练一个模型，使其对特定群体（如某类贷款申请人）的预测总是保持“低置信度”，从而系统性地拒绝为他们服务，同时以“模型不确定”为借口规避歧视审查。

为此，研究者提出了如“机密守护者”这样的框架，通过零知识证明等技术，让第三方审计者能够验证模型置信度分数的真实性，��保其没有被恶意篡改以诱导不公平的弃权。这提醒我们，在设计和部署选择性预测系统时，必须考虑其公平性、可审计性和透明度。

在我自己的项目经验中，SPTD已经成为我构建可靠机器学习系统的首选工具之一。它的实现简单，与现有流程无缝集成，并且以极低的额外成本提供了巨大的性能收益。当你下一次需要让模型在关键应用中说“我不知道”时，不妨从保存训练检查点开始，尝试一下SPTD。你可能会惊喜地发现，模型在训练过程中的那些“犹豫”和“反复”，恰恰是它在向你诉说哪些问题最难解。