企业官网建设流程全解析

1. 背景

无论是GRPO还是PPO，都需要RM，但是RM无法迁移到corner data上，因此这种在线的方式需要进行修改，如果能完全依靠规则的方式进行奖励那就好很多了🤔（参考 GRPO 的规则奖励）

我们希望在Stage3的基础之上，表现能够进一步提升；

GRPO 相关链接：

• https://blog.csdn.net/weixin_57128596/article/details/157809869?ops_request_misc=elastic_search_misc&request_id=1f63ad9481efb869fc7a4eac50b49b62&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allElasticSearch~search_v3-1-157809869-null-null.541^v3pc_search_result_blog2&utm_term=GRPO&spm=1018.2226.3001.4450

PPO 相关链接：

• https://blog.csdn.net/weixin_57128596/article/details/163241993?ops_request_misc=elastic_search_misc&request_id=4cedcbdcffcadf1dd3661c04f4d7fc48&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allElasticSearch~search_v3-2-163241993-null-null.541^v3pc_search_result_blog2&utm_term=PPO&spm=1018.2226.3001.4450

2 期望

我们期望模型的生成考虑符号规则，如：

1. |顶级分隔：分割JSON最外层一级字段，顺序固定不可乱，固定顺序：
   cats_visible | lighting | cats内容 | other_beings | interactions | environment_anomalies | summary
2. ,二级分隔：一只猫咪体内所有属性用逗号挨个隔开，顺序固定；多只猫可继续用,追加。
3. ~三级内嵌分隔：只用于nearby_anchors锚点，格式固定：anchor_type~visual_id~proximity。

因此完整期望如下：

• 符号本身、和总数应该都是固定的，需要占据高权重，对模型的梯度影响要更大；
• 模型生成内容需要正确，即符号后面的内容也很重要；
• 参数不要和模型原来偏离太多；

3 第一版奖励设计

3.1 符号定义

• π θ \pi_\thetaπθ​：Actor模型（带LoRA，待优化）
• π ref \pi_{\text{ref}}πref​：冻结参考模型（Stage2 SFT基座，无LoRA）
• D DD：训练数据集，单条样本 = 图像 + prompt + GT compact标注
• N NN：一组内候选输出总数量
• i ii：组内第i ii条生成样本
• r i r_iri​：自定义复合奖励（JSON格式分 + 视觉字段识别分 + 猫咪数量硬惩罚）
• A i A_iAi​：组内标准化优势函数
• λ sft \lambda_{\text{sft}}λsft​：SFT损失权重
• β KL \beta_{\text{KL}}βKL​：KL正则权重

特点：只需要Actor模型、Ref模型，和传统的强化学习不一样的是，数据集是带GT的 list；

过程：组内优势函数A i A_iAi​是由静态的规则决定的，不涉及 RM；

3.2 损失函数

（1）完整总损失公式：

L total = L GRPO ( π θ ) + λ sft ⋅ L SFT ( π θ ) \mathcal{L}_{\text{total}} = \mathcal{L}_{\text{GRPO}}(\pi_\theta) + \lambda_{\text{sft}} \cdot \mathcal{L}_{\text{SFT}}(\pi_\theta)Ltotal​=LGRPO​(πθ​)+λ