企业官网建设流程全解析

CoEvolve：面向可修复性的状态—编辑器耦合后训练

详细的语言描述，并不等于准确的视觉定位。让模型框出“餐盘右上角的西兰花”，它可能完整描述了食物类别和相对位置，却仍把相邻的一簇圈进目标框。视觉指代定位要求将语言理解落实到具体区域与精确边界；流畅的解释本身，并不能保证中间空间判断可检查、最终坐标可纠正。

这一落差也引出了一个后训练问题：除了提升最终答案的准确率，能否让模型形成更容易检查和修正的中间状态？当误差涉及区域选择与边界偏差时，关键是保留可操作的空间判断，并训练模型利用已有判断识别和修正错误。

CoEvolve据此探索一种面向可修复性的构造—编辑后训练范式：先用强化学习将空间推理组织成显式区域轨迹，再训练双向编辑器，在保留语义上下文的同时修正坐标。RL 在这一流程中承担状态构造的职责，后续几何监督与编辑偏好分别学习“往哪改”和“值不值得改”，将后训练延伸到已有预测的可修复性。

图 1｜论文中的真实案例：保留语义上下文，通过坐标编辑修正定位偏差。

01

论文信息

论文名称：CoEvolve: Construct-to-Edit Visual Grounding with Bidirectional State Refinement | 通过双向状态精修实现从构造到编辑的视觉定位

作者成员：Dongwei Sun*、Yujie Zhang*、Bowen Yao、Pei Liu、Jing Yao、Xiangyong Cao†

研究机构：西安交通大学、中国科学院空天信息创新研究院

论文发表：arXiv 2026论文链接：

https://arxiv.org/abs/2610.01710项目主页：

https://sundongwei.github.io/CoEvolve_Project/

02

先看效果：9B 主干定位的表现和单轮纠错的能力

在论文汇总的RefCOCO系列比较中，使用 9B 主干的CoEvolve在整体定位准确率和总参数量上都达到了 241B 模型的效果。自然图像实验只用RefCOCOg训练集来训练，并且之后在RefCOCO、RefCOCO+和RefCOCOg八个划分下进行评价，不针对目标数据集做进一步微调。

表1 标准视觉定位：八类划分的平均Acc@0.5。

修复能力是用30,969个受控扰动框来单独检验的，在此实验中没有使用RER，各个方法都接收到一样的扰动框，对于平移、尺度、长宽比以及混合扰动等情况，一次编辑就可以使平均框重叠度提高27.39个百分点，并且可以把大约88%初始IoU小于0.7的输入框修复到合格水平。

表2 受控纠错：所有的方法都接受相同的扰动框，而 CoEvolve 编辑器只执行一次。

03

把空间状态显式化，使推理变成可以度量的优化目标

上述结构就是把显式的状态用来把两个阶段训练出来的部分联系起来，从而得到状态—编辑器耦合（State–Editor Coupling）。

Region-Evolution Reinforcement（RER，区域演化强化）要求每一层推理都产生出候选框，并把整个分析过程看作是“语义解释＋区域坐标”的一条轨迹，在此过程中，强化学习会同时对结构、空间发展以及最后的位置进行打分，从而使得中间的空间判断也有了可以计算出来的训练信号。这些监督来自于目标框的标注，并不需要人工去编写推理链或者再做一次中间区域的标注。

所以后续编辑就有了明确的操作对象：候选区域、定位历史和可供比较的输入坐标。中间的过程也不再只是用文字来说明“目标位于右上角”，而是要有一个可以被测量、比较和修改的框。

04

相对编辑效用：使优化的方向和改进带来的好处保持一致

Bidirectional Denoising Refiner（BDR，双向去噪精修器）读取完整的轨迹，并把推理出的文字当作固定的语义上下文，在坐标原位置同时进行双向的信息传播和预测修正。

BDR把目标几何和相对编辑效用来区分：前者决定坐标要移动到哪里，后者判断修改和保留输入哪个更好。在训练过程中，质量门控先保持质量高的、有明显改善的候选；如果没有好的候选，则在输入正确且没有被干扰的情况下学习保留输入；其他情况下就朝着标注框的方向去调整。这些目标的选择是基于训练标注的，在推理的时候并不需要真实的框。

几何监督既可以对坐标数字的预测进行约束，也可以对数值之间的距离进行约束；逐坐标偏好的方式可以用来比较修改前后产生的误差，并且会促使有益的修改发生而抑制有害的修改。因此编辑器学会了如何去改以及什么样的改动是有价值的。

该偏好目标具有明确的方向性，在于对于被监督的坐标用表示发生变化的数字位置上、输出数字相对输入数字的平均 logit 差，用来表示是否减小了坐标误差，它的偏好损失满足：

有益编辑对应于，即梯度下降使得增大；有害编辑对应于，即使减小。这样就把编辑的选择转化为一个有明确方向的优化信号，在坐标发生变化并且误差的变化量大于阈值的时候起作用；它用梯度的方式来描述训练的目标方向，并不能保证每一次编辑都能提高整个框的IoU。

图2 RER构造出一个显式的空间状态，而BDR则保留了推理的文字，并且在原来的位置上进行坐标更新。

05

状态—编辑器耦合：用下游精修来评估状态的价值

论文为原生输出以及RER状态训练所对应的编辑器。值得注意的一点是：初始位置准确度高的情况下，经过编辑之后并不一定能够得到最好的结果。

表3 不同的状态和匹配编辑器的组合效果。

RER路径的初始mIoU较低，但是经过精修之后的增益为5.02 个百分点，比原生输出路径的2.41 个百分点还要高一些，最后的mIoU也达到了85.72%。

该结论表明可修复性可以被看作是状态和编辑器之间的一种关系属性，在对中间状态进行评判的时候也要考虑出编辑器可以从其中得到多大的改善、最后能达到什么样的效果。这两组数据都支持二者互补的观点，但是还不能把所有的收益都归功于状态表示。

06

适用范围以及之后的空间

经过DIOR-RSVG训练集上的领域内重新训练之后，CoEvolve在遥感定位任务中取得了76.23%的mIoU，表明该构造—编辑过程也可以应用于遥感场景中；这是领域适配的结果而不是零样本迁移。

编辑决策还有待提高，在受控纠错的情况下，BDR的15.50%的输入框在编辑之后IoU降低。目前编辑器只对坐标进行修改，并没有改变推理出的文字内容，也不能直接纠正错误的语义解释。所以平均修复能力的提升还需要和准确输入保留的能力一起考虑。

07

对后训练的启发

CoEvolve将输出准确率、空间状态构造以及编辑效用都包含在同一个后训练的设计之中，因此中间的状态既是前向预测的结果又是之后调整所用到的一个接口。

再进一步来看，对于动作参数、代码补丁等可以被结构化编辑的结果，也可以提出一个有待检验的研究途径：即训练出可以被编辑的状态，然后去学习相对于输入的修改效果，并用状态和编辑器的组合来评价系统的表现。该扩展属于方法导向，本文所做实验验证的工作仍然是关于视觉定位以及相关的任务。

往期推荐