企业官网建设流程全解析

文生图、图生视频、多模态 Agent 这些方向的落地速度越来越快，但真正把最终输出质量卡住下限的，往往是“评价”这个环节。生成模型可以随便发散，评价模型如果不能稳定判断“这段描述里提到的对象是不是真的在图里”“两个物体之间的相对位置对不对”“步骤顺序是不是符合逻辑”，那后续 RLHF 调出来的模型就会跑偏。

VLM 奖励模型（Reward Model）就是负责这个判断的模型。和 LLM 奖励模型只看文本不同，它要把图像、文本甚至视频帧放到一起打分。普通做法是让 VLM 输出一个奖励分数，但实践中最常见的问题不是模型不会打分，而是它打分的依据特别容易跑偏：对象被删掉一个，分数几乎不变；文本里说“左边有猫”，图片里猫在右边，分数照样很高。这类问题本质上是模型没有按照结构化关系去逐项验证。

结构感知微调（Structure-Aware Fine-Tuning）要解决的就是这个问题。核心是把场景图、对象边界框、空间关系、OCR 版面、文本实体与视觉区域的对应关系这些结构化信息，注入到奖励模型的训练和推理过程中，让模型不再只是“看一眼就给分”，而是先按结构逐项核对，再综合打分。

这篇文章会拆解这套方案的完整技术链路：为什么普通 VLM 奖励模型不够用、结构感知微调具体怎么做、训练数据怎么构造、损失函数怎么设计、模型怎么评估验证、以及奖励模型训练完成之后怎么接到生成管线里。适合正在做 RLHF 数据管线、多模态对齐、文生图质量评估的算法工程师和研究人员阅读。

1. 核心能力速览

这里先明确一点：这篇文章不是某个开源仓库的一键部署教程，而是一套可复用的“提升 VLM 奖励模型质量”的方法论。如果你需要把它落到自己的项目里，本文给出的代码属于通用框架示意，需要按你实际使用的 VLM 底座替换关键模块。

2. 为什么普通 VLM 奖励模型不够用

先想清楚一个事情：奖励模型在 RLHF 链路里到底承担什么角色。它要给“生成结果”打一个分数，告诉策略模型这个输出好不好，然后策略模型沿着分数高的方向更新参数。如果奖励模型打分不准，策略模型就会朝着错误方向持续迭代。LLM 时代这个问题已经很突出，到了 VLM 时代会被进一步放大。

第一，打分粒度太粗。文生图场景里，一个 prompt 可能包含多个对象、多个关系、多个属性。比如“一只戴红色帽子的狗坐在木椅上”，里面至少有三个可验证点：有没有狗、狗是否戴了红色帽子、是否坐在椅子上。普通奖励模型容易把整句话和整张图做一次全局相似度计算，最后给出一个分数。这个分数能反映整体美观度和语义相关性，但没法告诉下游“具体是哪一项不满足”。

第二，模型很容易走敏感捷径。Vision-Language Reward Model 常见的问题是把风格、色调、整体构图等表面特征当成主要打分依据。一张图即使对象完全错乱，只要画面精致、构图舒服，奖励分数依然可能很高。这在图像生成评测里非常常见。结构感知微调要做的就是在训练阶段强制模型关注那些“可以被逐项验证”的信息。

第三，空间关系建模能力弱。普通的 CLIP 风格模型对“左边”“右边”“上方”“坐在……上面”这类空间位置关系比较迟钝。Text-to-Image 模型生成结果里经常出现“狗坐在人的上面”这种明显违背 prompt 的情况，而奖励模型打分时如果没有空间关系约束，很难发现这一错误。要解决这个问题，就需要把对象边界框、关系三元组这类结构化信息显式建模。

第四，文本实体与视觉对象的对应关系不稳定。VLM 奖励模型不仅要判断“图里有没有猫”，还要判断“文本里提到的猫是不是图里那只猫”。当图像里有多个同类对象时，模型很容易把任意一个同类对象当成匹配项，导致错误归因。结构感知微调借助场景图数据，可以把“哪个实体对应哪个区域”这个对应关系变成监督信号。

第五，泛化能力不足。只用全局分数训练的奖励模型，在面对训练集没出现过的新 prompt、新组合关系时，往往表现不稳定。结构信息本质上是一种中间表示，它比端到端打分更容易迁移。训练时注入场景图或对象关系，模型会逐步学会“先核对元素，再综合打分”的推理模式，而不是死记硬背训练集的分数分布。

第六，Reward Hacking 风险更高。策略模型会尝试钻奖励模型的空子，生成“奖励分数高但用户观感差”的内容。如果奖励模型只看语义相似度，策略模型迟早会发现：只要生成知名风格、保持高清晰度、堆叠好看的颜色，就能拿到高分，即使对象堆叠混乱。结构感知的奖励模型给策略模型增加了更多无法伪造的验证条件，能显著压缩 Reward Hacking 的空间。

3. Structure-Aware 微调的整体框架

结构感知微调不是一个单一模块，它是把结构化信息通过不同路径注入到奖励模型训练流程里的组合式方案。按注入层级划分，可以分成三类。

3.1 输入侧注入：把结构描述加入到 Prompt

最直接的做法是把场景图、对象列表、空间关系、OCR 版面等信息序列化成文本，拼接在 prompt 里，让 VLM 在推理时“看着结构描述再打分”。

例如一个原始 prompt 是“A cat sits on a chair”，结构感知 prompt 可以构造成：

[STRUCTURE] Objects: cat bbox=[10,20,100,120]; chair bbox=[200,150,300,260] Relations: cat - sits on - chair [DESCRIPTION] A cat sits on a chair [IMAGE]

这种方式实现成本最低，只需要写一个序列化函数，不需要改动模型结构。它的缺点是：VLM 可能仍然忽略这些文本信息；而且结构描述会占用额外 token，增加训练和推理时的序列长度，抬高显存占用。

3.2 特征侧注入：增加结构编码器与融合模块

在模型内部增加一个结构特征通路。所有输入图片和目标对象检查出来之后，把对象类别、bounding box、关系边等编码成向量，经过一个结构编码器，再与 VLM 的视觉特征、文本特征做 concat 或 cross-attention。结构特征和语义特征在融合层汇合，最后通过 reward head 输出标量分数。

这种方案比输入侧注入更可靠，因为结构信息不是作为“可忽略的文本”，而是作为独立模态参与特征计算。缺点是工程实现更复杂，不同 VLM 的中间层结构不同，需要针对底座模型写适配代码。

3.3 目标侧注入：增加辅助监督任务

在奖励模型主干之外加一个辅助输出头，用来完成结构验证任务。比如给定一个对象名和候选区域，判断该对象是否真的出现在图中；或者给定一组关系三元组，判断关系是否成立。辅助任务的 loss 与主奖励 loss 联合优化，相当于逼着 VLM 的中间层学习“元素完整性验证”和“关系一致性验证”这些能力。

目标侧注入解决的是“模型有能力但没用上”的问题。很多时候 VLM 底座的视觉塔已经能看到猫和椅子，只是因为最终只输出一个标量奖励，中间层没有必要把细粒度信息保留到最后一层。加入辅助监督后，中间层被迫保留对象级和关系级信息，奖励分数也会因此变得更可靠。

实际项目中，三种注入方式往往组合使用。最朴素的做法是从输入侧注入开始，跑通数据管线后再逐步引入目标侧辅助任务和特征侧结构编码器。

4. 数据构建：给奖励模型喂什么

奖励模型需要的是偏好数据，通常是“同一 prompt 下，一张图比另一张图更好”这样的对比样本。但在结构感知微调里，数据质量的核心不是“好图 vs 坏图”，而是“坏图到底是哪里坏”。只有让模型知道坏的具体原因，它才能学会逐项验证。

4.1 偏好样本的构造

每一个训练样本应该包含：prompt、候选图 A、候选图 B、胜负标签、结构化场景图。负样本的选择尤其重要。不要只选“画面风格差异很大”的负样本，要优先选“结构上错误”的负样本。

典型的结构错误包括：

• 缺失对象：prompt 里说有猫，候选图里没有猫。
• 数量错误：prompt 里说三只鸟，候选图里只有一只。
• 位置错误：prompt 里说猫在左边，候选图里猫在右边。
• 关系错误：prompt 里说猫坐在椅子上，候选图里猫站在椅子旁边。
• 属性错误：prompt 里说红色帽子，候选图里帽子是蓝色。

这类样本会让奖励模型逐渐把“结构验证”内化为打分过程的一部分。如果负样本只是把风格从写实变成插画，模型学到的是风格偏好，而不是结构判断。

4.2 结构化描述怎么来

最理想的情况是人工标注，覆盖率高、质量稳定，但成本高。实际工程中通常用自动工具生成结构描述，再抽检。

• 对象检测模型负责输出对象名和 bounding box。
• 关系检测或基于规则的启发式方法负责输出关系三元组。
• OCR 模型负责输出版面文字结构。
• 更大的 VLM 也可以用来提取场景图，但要注意提取结果本身可能包含幻觉。

自动生成的结构信息一定会有噪声。建议用置信度阈值过滤掉低置信度检测结果，并在训练时对结构描述做随机扰动，比如随机删掉一条关系边、轻微调整 bbox 数值，让奖励模型不要依赖某个固定格式。

4.3 反事实样本

反事实样本是结构感知微调里非常关键的一类数据。它指的是：从一张正常图中生成一个“违背结构”的负样本，但只改变一个因素，其他全部保持不变。

举个例子：一张正常的“猫坐在椅子上”，通过图像编辑或程序化合成的方式生成：

• 把猫删除，得到“缺失对象”样本；
• 把猫和椅子的位置互换，得到“位置错误”样本；
• 把猫变成狗，得到“对象替换”样本；
• 把椅子颜色从棕色改成蓝色，得到“属性错误”样本。

这类样本的价值在于“单变量控制”。模型如果对删除对象不敏感，说明它没用结构信息；如果对颜色变化敏感，说明属性验证能力被训练出来了。反事实样本既是训练数据，也是评估奖励模型质量的探针。

下面给出一段数据构造的伪代码示意，真实项目里需要按自己的数据字段调整：

import json def scene_graph_to_text(scene_graph): objects = [ f"{o['name']}({o['bbox']})" for o in scene_graph.get("objects", []) ] relations = [ f"{r['subject']}-{r['relation']}-{r['object']}" for r in scene_graph.get("relations", []) ] return "Objects: " + ", ".join(objects) + " | Relations: " + ", ".join(relations) def build_structured_pair(item): structure_text = scene_graph_to_text(item["scene_graph"]) positive_sample = { "image": item["image_path"], "prompt": f"[STRUCTURE]\n{structure_text}\n[DESCRIPTION]\n{item['good_caption']}", "label": 1 } negative_sample = { "image": item["image_path"], "prompt": f"[STRUCTURE]\n{structure_text}\n[DESCRIPTION]\n{item['bad_caption']}", "label": 0 } return positive_sample, negative_sample # 使用示例 if __name__ == "__main__": sample = { "image_path": "candidates/0.png", "scene_graph": { "objects": [ {"name": "cat", "bbox": [10, 20, 100, 120]}, {"name": "chair", "bbox": [200, 150, 300, 260]} ], "relations": [ {"subject": "cat", "relation": "sits on", "object": "chair"} ] }, "good_caption": "A cat sits on a chair", "bad_caption": "A cat flies over a chair" } print(build_structured_pair(sample))

这里把场景图转成文本并拼入 prompt，是输入侧注入的示例。如果你的方案是特征侧注入，这一层序列化就不需要了，反而是要输出结构化张量给结构编码器。

5. 训练设计与损失函数

5.1 奖励模型结构

VLM 奖励模型一般复用已有视觉语言模型的主干，然后在其之上接一个回归头。结构感知微调在此基础上增加结构特征通路。不同 VLM 的实现差异很大，下面的代码只做框架示意，不能直接套用，重点是让结构特征进入奖励打分过程。

import torch import torch.nn as nn import torch.nn.functional as F class StructureAwareVLMScore(nn.Module): def __init__(self, vision_hidden_size=1024, text_hidden_size=1024, structure_dim=128): super().__init__() # 真实项目里这里是接入已经加载好的 VLM 主干， # 例如 HuggingFace 的 AutoModel / AutoModelForVision2Seq， # 具体层名需要按底座模型 config 查看。 self.vision_encoder = None self.text_encoder = None self.fusion = None # 结构特征投影层 self.structure_proj = nn.Linear(structure_dim, 256) self.reward_head = nn.Sequential( nn.Linear(vision_hidden_size + text_hidden_size + 256, 512), nn.GELU(), nn.Dropout(0.1), nn.Linear(512, 1) ) def forward(self, image_feat, text_feat, structure_feat): # image_feat 和 text_feat 由 VLM 主干提取后得到 fused = torch.cat([image_feat, text_feat], dim=-1) struct_feat = F.relu(self.structure_proj(structure_feat)) # 结构特征与语义特征拼接后进入 reward head logits = self.reward_head(torch.cat([fused, struct_feat], dim=-1)) return logits

如果采用 LoRA 微调，可以对 VLM 主干的 attention 层注入 LoRA adapter，冻结原参数，只训练 LoRA 参数、结构投影层和 reward head。这样既保留底座模型已经学到的视觉语言理解能力，又降低了显存占用和过拟合风险。

5.2 损失函数设计

奖励模型主损失常用 Bradley-Terry 排序损失。对于一对样本，正样本得分高于负样本得分的概率越大，loss 越小。在此基础上叠加结构验证辅助损失，让模型在输出最终分数之外，还要对“对象是否存在”“关系是否成立”等子任务做预测。

import torch import torch.nn.functional as F def bradley_terry_loss(score_pos, score_neg): return -F.logsigmoid(score_pos - score_neg).mean() def structure_validation_loss(struct_logits, target_mask): # target_mask 是对象/关系是否实际出现在图中的监督标签 return F.binary_cross_entropy_with_logits(struct_logits, target_mask) def total_loss(score_pos, score_neg, struct_logits, target_mask, alpha=0.3): reward_loss = bradley_terry_loss(score_pos, score_neg) struct_loss = structure_validation_loss(struct_logits, target_mask) return reward_loss + alpha * struct_loss

alpha 是一个可调权重。过大，模型会过度关注结构验证子任务，忽略整体质量和语义匹配；过小，结构辅助任务起不到约束作用。建议从 0.2 到 0.5 之间开始尝试。更多实验细节还是要结合你自己的数据规模来确定。

5.3 训练技巧

先冻结 VLM 主干，只训练结构投影层和 reward head。这一步能让结构特征通路先稳定下来，避免一开始就破坏底座的语义表示。等到主 loss 开始收敛，再用 LoRA 微调 VLM 的注意力层，让底座主动适应用结构信息打分的任务。

同一个训练批次里尽量让正负样本来自同一 prompt。如果模型拿不同 prompt 下的样本互相比较，它很容易通过 prompt 的语义信息猜结果，而不是真正去做视觉验证。

结构描述在训练时要加随机扰动。随机删掉一条关系边，或者随机交换 bbox 的坐标尺度，避免模型记住结构描述格式，而不是理解结构内容。这本质上是一种正则化。

训练时要注意梯度裁剪，学习率比普通文本微调更低。VLM 奖励模型通常只需要 1e-5 到 3e-5 量级的学习率，LoRA 训练时可以适当放宽，但也不要直接上 1e-4。

6. 评估与效果验证

奖励模型不能用生成模型那种“看图好不好看”的方式来评估，需要设计专门指标。结构感知微调后的奖励模型，至少要满足三个层次的要求：会排序、和人类一致、真的在用结构信息。

6.1 排序准确率

这是最基础的指标。准备一批“同一 prompt 下好图/坏图”的测试对，统计奖励模型判断正确率。比如有 1000 对样本，模型对其中 850 对给出了正确排序，Pairwise Accuracy 就是 85%。

需要注意：测试集的负样本分布要和训练时接近，最好包含结构错误、属性错误、语义不匹配、风格偏差等多种类型。只看总体准确率不够，要分组看。如果模型只在“风格差异”类样本上表现好，在“对象缺失”类样本上准确率明显掉下来，说明结构感知还没有真正生效。

6.2 与人类偏好的一致性

更接近线上场景的评估是让奖励模型的排序结果和人工排序结果比较，计算 Spearman 相关系数或者 Kendall's Tau。具体做法是抽一批真实生成样本，让人工标注员给每个样本打偏好分，再用奖励模型对同一批样本打分，最后计算两个排序序列的相关性。

这个指标不需要标注大量数据，几百条高质量人工偏好样本往往就够评估用了。它是判断奖励模型是否可用的关键指标，也是发布奖励模型时最常汇报的数字。

6.3 反事实敏感性

这是结构感知微调最值得关注的评估维度。反事实样本的构造方式前面已经说过：从一张基准图出发，只改变一个结构属性，比如删除对象、交换位置、替换颜色，然后观察奖励模型得分的变化幅度。

如果一个奖励模型已经学会了结构感知，那么删除对象或交换位置后，分数应当显著下降。如果分数变化非常小，说明模型还在走全局语义捷径。

一个通用的验证流程如下：

• 选取 50 张不同场景的基准图；
• 对每张图分别生成：删除对象图、位置交换图、属性替换图、原图；
• 用奖励模型分别打分；
• 计算原图分数与反事实样本分数之间的平均差值；
• 观察“删除对象”和“属性替换”之间的差异是否合理。

如果你的模型对“对象删除”不敏感，优先检查训练数据里是否真的包含了大量缺失对象类负样本；如果没有，结构感知训练就是无效的。

6.4 奖励模型可视化探测

除了量化指标，还可以做更直观的探测。把奖励模型某一层的 attention 权重可视化，看模型打分时把注意力集中在图像哪些区域。结构感知微调后的模型，注意力应当更聚焦到 prompt 中提到的关键对象上，而不是均匀分布在整张图上。这种分析不用写进验收标准，但对定位模型失败原因帮助很大。

7. 推理集成：奖励模型怎么接入实际流程

训练好的 VLM 奖励模型最终要进入生成管线。常见接入方式有三种：作为采样排序器、作为 PPO/GRPO 的奖励信号、作为多模态 Agent 的工具评估器。

7.1 作为文生图采样排序器

文生图模型一次生成多张候选图，奖励模型对每张图打分，挑选最高分输出。这种方式最直接，不需要改动生成模型，只需要把奖励模型封装成一个 score 函数。

import os import json from PIL import Image def evaluate_candidates(candidate_dir, prompt, score_fn, output_path="score_result.json"): results = [] for fname in os.listdir(candidate_dir): if not fname.lower().endswith((".png", ".jpg", ".jpeg")): continue image_path = os.path.join(candidate_dir, fname) score = score_fn(prompt, Image.open(image_path).convert("RGB")) results.append({"image": fname, "score": score}) results.sort(key=lambda x: x["score"], reverse=True) with open(output_path, "w", encoding="utf-8") as f: json.dump(results, f, ensure_ascii=False, indent=2) return results

score_fn 是已经部署好的奖励模型推理函数。实际项目中如果把结构感知信息也作为推理输入，那么 score_fn 内部还需要先对候选图做对象检测、关系抽取等预处理，再调用模型。

7.2 作为 PPO / GRPO 的奖励信号

强化学习阶段，奖励模型输出会直接参与策略梯度计算。结构感知奖励模型和规则奖励可以混合使用，比如最终奖励 = 0.8 × VLM 奖励分数 + 0.2 × 规则验证结果。

# 伪代码示意：在 GRPO/PPO 训练循环中接入奖励模型 for step, batch in enumerate(train_dataloader): prompts = batch["prompt"] outputs = actor_model.generate(prompts, max_new_tokens=512) # 结构感知奖励模型打分 reward = reward_model(prompts, outputs, use_structured_cot=True) # 与规则奖励混合，规则奖励可以来自对象检测、格式校验等 final_reward = 0.8 * reward + 0.2 * rule_reward(outputs) loss = policy_loss(batch, outputs, final_reward) loss.backward() optimizer.step()

这里的关键是奖励幅度要稳定。如果奖励分数方差过大，策略梯度更新会很抖。建议在接入 RL 前，先在大批量验证集上看一下奖励分数的分布，如果方差明显异常，要做归一化处理。

7.3 作为多模态 Agent 的工具评估器

多模态 Agent 在调用文生图、图像编辑、视频生成工具时，往往会生成多个结果再选择。奖励模型可以在两个位置介入：工具调用前做方案筛选，工具调用后做结果验证。如果结果分数低于阈值，就触发重新生成或修复流程。

批量任务场景下，可以把所有候选样本放进一个队列，消费端逐个调用奖励模型打分，结果统一写到 JSON 或数据库。这种设计和普通 batch inference 没有本质区别，唯一要注意的是结构信息提取也很耗时，建议提前完成检测和结构抽取，不要让奖励模型推理时间包含太多检测耗时。

8. 资源占用与性能观察

结构感知微调的资源占用比普通文本奖励模型要高，主要原因是输入中多了结构信息。无论是结构文本 token，还是结构特征向量，都会增加模型前向和反向的计算量。

8.1 显存观察方法

训练时用nvidia-smi每隔几秒记录一次显存占用，重点观察三个节点：模型加载后、训练启动后、batch size 增大后。推理阶段则用nvidia-smi -l 1持续监控。

不同模型的显存占用差异非常大。7B 到 8B 量级的 VLM，如果用全参数训练，显存需求会很高；用 LoRA 加 gradient checkpointing 通常能压到可接受范围，但具体数字必须用实际模型和 batch size 测试。最稳妥的做法是先跑 batch_size=1，确认显存占用后，再逐步增大 batch size。不要套用网上任何一个“固定显存数字”，因为序列长度、图像分辨率、结构 token 数量都会显著影响实际占用。

8.2 关键性能影响因素

• 序列长度：结构描述 token 越多，训练和推理越慢。bbox 坐标建议用紧凑格式，减少不必要的描述词。
• 图像分辨率：高分辨率输入会显著增加视觉塔计算量。奖励模型不需要超高分辨率，能看清关键对象就够了。
• batch size：同一 prompt 下的正负样本建议放在同一个 batch 里，这会限制 batch size 的设计。如果 batch 太大显存不够，先减小 batch，再用 gradient accumulation 弥补。
• 负样本数量：一个正样本对应多个负样本会提升训练稳定性，但也会增加采样开销。典型做法是 1 个正样本配 1 到 3 个负样本。

8.3 降低显存占用的建议

优先使用 LoRA 或 QLoRA 做底座模型微调，冻结大部分参数。开启 gradient checkpointing，用少量显存换计算量。如果不追求训练，只做推理打分，可以用 4bit 或 8bit 量化。但量化后需要重新跑一遍评估集，因为量化误差可能改变奖励分数的排序稳定性。

结构信息提取模块也可能吃掉不少显存。检测模型、OCR 模型和 VLM 不要同时加载到同一张卡上。批量任务里建议分阶段执行：先抽取结构信息，保存到缓存文件；再统一调用奖励模型打分。

9. 常见问题与排查方法

10. 最佳实践与使用边界

结构感知微调有一个很现实的工程约束：结构化信息的质量决定了奖励模型质量的上限。如果对象检测输出本身就错，场景图本身就是乱的，那奖励模型训练得再充分，也无法学到正确的结构验证逻辑。所以数据清洗和检测置信度过滤一定要做在训练前面。

在数据版权和隐私方面，要特别谨慎。训练奖励模型时使用的图像、文本、场景图标注，必须确认来源授权。如果数据集中包含人脸、街景、私人信息，需要做去重和脱敏。图像生成和评价模型本身不应当被用来规避安全审核，也不应当用于生成或评估冒犯性内容。

奖励模型在实际部署中也有限制。它只能提供一个自动化的相对偏好判断，无法替代真实用户的主观评价。发布前一定要做人工抽检，尤其是在新的 prompt 分布上做评估。不要假设“训练集效果好，线上就一定好”，结构性 prompt 的分布变化可能让奖励模型泛化能力迅速下降。

如果你的团队已经有 LLM 奖励模型训练管线，迁移到 VLM 时会容易很多。数据格式上，把“单条文本”换成“图像 + prompt + 结构描述”；训练框架上，把文本模型换成多模态底座；评估方式上，把单纯的文本偏好准确率换成“按结构错误类型分组统计”。这三个改动做完，结构感知微调的核心链路基本就通了。

11. 总结与下一步

结构感知微调不是一种全新的训练范式，它是在已有的 VLM 奖励模型训练流程中加入结构化监督信号，让模型从“整体打分”变成“先验证，再打分”。这是解决多模态 Reward Hacking、错误归因和细粒度评估问题的一条切实可行路径。

如果你准备在自己的项目里尝试，最先做的不是直接训练大模型，而是先选一个开源 VLM 底座，用现成检测工具生成一批反事实样本，测一下当前奖励模型对“对象删除”“位置交换”这两个基本错误的敏感度。这一测就能看出问题有多严重。然后基于这套结果，决定要不要投入资源做结构感知微调。

最容易踩的坑是数据构造环节。结构描述格式设计得过于复杂，模型很容易学到“格式模式”而不是“结构语义”。尽量保持结构描述简洁、可控、可扰动，不要一上来就堆几百个对象和关系边。

下一步可以考虑三个方向：一是把结构感知奖励模型蒸馏成更小的评分模型，降低部署成本；二是从静态图像扩展到视频帧序列，做帧间结构一致性验证；三是把结构验证辅助任务做得更细，比如支持多轮对话中的指令遵循判断。这些方向都是在同一套结构感知思想上做扩展。

如果你也在搭多模态 RLHF 管线，建议先把这篇文章收藏下来。从反事实评估那一步开始验证，往往能看到最明显的效果差距，也最容易确定后续的训练重点。