企业官网建设流程全解析

• 论文题目：Reason Only When Needed: Efficient Generative Reward Modeling via Model-Internal Uncertainty
• 收录会议：ACL 2026
• arXiv 链接：https://arxiv.org/abs/2604.10072
• 作者单位：腾讯混元 & 新南威尔士大学（UNSW）
• 领域：LLM 高效推理 / 生成式奖励模型 / 推理优化
• 关键词：Discriminative Scorer, Voting Replacement, Continuous Reward, BERT Encoder, E-GRM

E-GRM框架最具突破性的设计之一是用判别式评分器替代传统GRM的投票机制。传统投票无法区分"推理错误但答案蒙对"和"推理正确且答案正确"两种本质不同的情况，而判别式评分器输出连续质量分数，将奖励信号的粒度从"票数计数"细化到"质量度量"。本文从评分器架构、训练数据构造、损失设计、收敛分析等多个角度，全面解析这一关键组件。

一、问题背景与动机

1.1 投票机制的局限

传统GRM从K条CoT中通过多数投票得到最终答案。然而投票只看"答案是否一致"，无法判别推理过程的质量。例如，5条推理链中3条因为同一错误捷径恰好得出正确答案，2条经过完整正确推导也得出正确答案，投票结果都是相同的，但后两条显然质量更高、置信度更可靠。

1.2 连续分数的优势

判别式评分器为每条推理链分配一个连续分数q ^ ∈ [ 0 , 1 ] \hat{q}\in[0,1]q^​∈[0,1]，可同时表达"答案是否正确"和"推理是否扎实"两层信息。这一信号在RLHF和Best-of-N采样中都更具操作性。

二、评分器方法论

2.1 评分器架构

评分器S ϕ S_\phiSϕ​基于BERT-base编码器，将输入提示x xx与候选推理链r rr通过分隔符拼接：

q ^ = S ϕ ( x , r ) = σ ( W ⋅ BERT ( [ x ; [SEP] ; r ] ) [CLS] + b ) \hat{q} = S_\phi(x, r) = \sigma\big(W \cdot \text{BERT}([x;\text{[SEP]};r])_{\text{[CLS]}} + b\big)q^​=Sϕ​(x,r)=σ(W⋅BERT([x;[SEP];r])[CLS]​+b)

其中σ \sigmaσ为sigmoid函数，将logit映射到[ 0 , 1 ] [0,1][0,1]区间。参数量约1亿，相对于主GRM模型可忽略不计。

2.2 训练数据构造

数据来源包括：(1) 人工标注的(x, r, q)三元组；(2) 用规则模型生成q ∈ { 0 , 0.3 , 0.7 , 1.0 } q\in\{0,0.3,0.7,1.0\}q∈{0,0.3,0.7,1.0}离散标签；(3) 从GRPO在线采样的样本对( r + , r − ) (r^+, r^-)(r+,r−)。三种来源混合后构成约200k训练样本。

2.3 混合损失训练目标

评分器损失定义为：

L scorer = α ⋅ ℓ Huber ( q , q ^ ) + ( 1 − α ) ⋅ ℓ Hinge ( r + , r − ) L_{\text{scorer}} = \alpha \cdot \ell_{\text{Huber}}(q, \hat{q}) + (1 - \alpha) \cdot \ell_{\text{Hinge}}(r^+, r^-)Lscorer​=α⋅ℓHuber​(q,q^​)+(1−α)⋅ℓHinge​(r+,r−)

其中Huber损失：

ℓ Huber ( q , q ^ ) = { 1 2 ( q − q ^ ) 2 , ∣ q − q ^ ∣ ≤ δ δ ∣ q − q ^ ∣ − 1 2 δ 2 , ∣ q − q ^ ∣ > δ \ell_{\text{Huber}}(q, \hat{q}) = \begin{cases} \frac{1}{2}(q-\hat{q})^2, & |q-\hat{q}| \le \delta \\ \delta|q-\hat{q}| - \frac{1}{2}\delta^2, & |q-\hat{q}| > \delta \end{cases}ℓHuber​(q,q^​)={21​(q−q^​)2,δ∣q−q^​∣−21​δ2,​∣q−q^​∣≤δ∣q−q^​∣>δ​

铰链损失只在分差不足时激活，使训练后期自动聚焦于难例。

2.4 评分器嵌入E-GRM管线

在长路径中，模型为输入x xx生成K条CoT链，评分器对每条链打分，选择最高分输出：

r ∗ = arg ⁡ max ⁡ r k S ϕ ( x , r k ) , k = 1 , … , K r^* = \arg\max_{r_k} S_\phi(x, r_k),\quad k=1,\dots,Kr∗=argrk​max​Sϕ​(x,rk​),k=1,…,K

评分器输出还作为下游GRPO对比奖励的来源：

R pair ( x , r + , r − ) = β ⋅ I [ Ans ( r + ) = y ] + ( 1 − β ) ⋅ ( S ϕ ( x , r + ) − S ϕ ( x , r − ) ) R_{\text{pair}}(x, r^+, r^-) = \beta \cdot \mathbb{I}[\text{Ans}(r^+) = y] + (1-\beta) \cdot (S_\phi(x, r^+) - S_\phi(x, r^-))Rpair​(x,r+,r−)=β⋅I[Ans(r+)=y]+(1−β)⋅(Sϕ​(x,r+)−Sϕ​(x,r−))

2.5 评分器与共识度的互补关系

并行解码的共识度负责"判定问题难度"，评分器负责"判定推理质量"。两者一前一后，在E-GRM中形成"是否需要推理 → 推理是否到位"的两级评估。

图1：评分器位于长路径的末端，是CoT选择和奖励生成的核心组件。

图2：评分器直接给出R pair R_{\text{pair}}Rpair​中的连续奖励信号。

图3：评分器训练位于SFT与GRPO之间，是连接两个阶段的桥梁。

三、实验评估

3.1 评分器 vs 投票机制

在RewardBench Reasoning子集上：

判别式评分器在三项指标上均显著优于投票，特别是Spearman相关系数提升约0.12。

3.2 评分器规模 vs 性能

BERT-base是性价比最优解，参数量翻倍到large收益仅0.4%。

3.3 训练数据规模分析

数据量从50k增至200k时性能持续提升，250k后趋于饱和，说明评分器对数据量需求合理。

3.4 标签噪声鲁棒性

人为注入15%标签噪声后，混合损失训练的评分器精度下降1.2%，而单一MSE损失下降4.7%，验证Huber段的抗噪声效果。

3.5 嵌入RLHF后的端到端效果

将判别式评分器作为RLHF奖励信号，最终对齐分数比基于投票的奖励高3.3%，对齐税降低1.8%。

3.6 评分器输出分布分析

我们绘制评分器在测试集上的输出分布直方图：判别式评分器的输出呈现明显的双峰结构（峰值在0.2与0.8附近），而投票产生的"软分数"呈均匀分布。这一差异表明评分器学习到了"好/坏"的本质分类边界，而不是随机分布。

3.7 跨领域迁移测试

我们将仅在数学领域训练的评分器迁移到代码领域，在不重新训练的情况下仍能取得74.1%准确率（仅比目标领域训练版本低2.3%），证明评分器学到的是"推理质量"的通用特征，而非领域特定的浅层模式。

3.8 Best-of-N 表现

在Best-of-8 与 Best-of-16 设置下，使用评分器选择最佳样本的最终准确率分别为83.6%与85.2%，而多数投票仅为78.4%和79.1%。评分器在更大N下的优势更加显著，说明它能更精细地区分高质量样本之间的细微差异。

四、贡献与局限

4.1 核心贡献

1. 用BERT-base轻量评分器替代了重型LLM-as-Judge方案；
2. 用连续分数替代了离散投票，提供了更高分辨率的奖励信号；
3. 通过混合损失同时实现校准与排序两个目标。

4.2 局限与展望

1. 评分器跨领域泛化能力（如代码→数学）需进一步验证；
2. 当前评分器架构基于英文BERT，多语言版本待扩展；
3. 评分器与主GRM未共享参数，未来可探索联合训练方案。

4.3 评分器训练的实践建议

工程师在训练自己的评分器时建议：(1) 数据混合策略——人工标注+规则模型+在线采样三类样本按2:3:5比例混合，避免单一来源带来的分布偏差；(2) 学习率Warmup——前1k步线性升至5e-5，避免初始梯度过大；(3) 早停策略——以验证集Spearman相关系数为指标，连续3个epoch无提升即停止。

五、结语

E-GRM的判别式评分器证明了一个朴素但有力的观点：奖励信号的质量决定RLHF的上限。用一个轻量、高校准、强排序的评分器替代粗粒度的投票，是奖励建模领域一个值得借鉴的工程典范。

六、延伸思考

6.1 "小评分器+大策略"的设计哲学

E-GRM用110M评分器配合32B策略模型，验证了"小评分器+大策略"是可行甚至最优的设计。这一组合的关键洞察是：判别（评分）任务的复杂度远低于生成任务，无需将奖励模型规模与策略模型对齐。

6.2 评分器作为可复用资产

E-GRM训练得到的评分器具有跨任务可迁移性，可作为团队内多个RLHF项目共享的基础组件。这种"评分器即资产"的理念有望降低RLHF训练的边际成本，加速对齐研究的迭代。

图表附录：

附图1：Coupled-GRPO中评分器分差作为对比奖励信号。

附图2：扩展GRPO目标函数，评分器为其提供核心奖励信号。

参考文献：
Xue, C., Wang, Y., Liu, M., et al. (2026). Reason Only When Needed: Efficient Generative Reward Modeling via Model-Internal Uncertainty.Proceedings of ACL 2026. arXiv:2604.10072

版权说明：本文为对上述ACL 2026论文的学术解析，仅供学术交流使用。版权归原作者所有。