企业官网建设流程全解析

一. 强化学习

1.SFT与强化学习

2.RM（奖励模型）

ORM（结果奖励）：标注困难，成本高

PRM（过程奖励）： 简单， 但存在结果对， 过程错的情况。

3. 奖励方法：

基于规则 (Rule-based Rewards)的奖励， deepseek

基于模型（Reward Model)的奖励, openai

4. PPO：有value Model, openai用

2. GRPO: 没有Value Model, 让结果内卷。Deepseek原创。

目标函数是越大越好，目标函数代表了策略的预期累积收益（Expected Reward/Advantage）。。

在公式中，代表Advantage（优势值/优势函数）。

在强化学习中，优势值的核心作用是衡量“当前生成的回答（或采取的动作）比平均期望水平好多少”。

具体到 GRPO 算法中其含义如下：

• （正优势）：意味着当前生成的回答的奖励得分（Reward）高于同组其他回答的平均水平。系统判定这是一个“好回答”，因此在通过目标函数更新时，会鼓励模型，增大未来生成该类回答的概率。

• （负优势）：意味着该回答的表现低于平均水平。系统判定这是一个“差回答”，在更新时会惩罚模型，降低其生成概率。

二. 思维链技术

1. 增强模型推理技术的手段

1）提高token数，2）生成更多个的输出

2. 思维链方法

（1）

iput: prompt

output: W1，W2, W3, R1

（2）并行搜索+自我优化

3. DeepSeek-R1训练过程

4. 强化学习与蒸馏技术

5.推理模型的未来趋势