企业官网建设流程全解析

1. 从“分数暴涨”说起：一次评测引发的行业思考

最近，关于GPT-5.6 Sol在ARC-AGI-3基准测试中分数“翻近三倍”的消息，在AI圈子里激起了不小的水花。乍一听，这像是某个模型在核心能力上取得了突破性进展，但稍微深究一下，就会发现事情远没有这么简单。这个标题背后，真正指向的是一个更根本、也更棘手的问题：我们到底应该如何科学、公正地评测一个AI Agent？特别是当这个Agent具备复杂的多步推理、工具调用和外部环境交互能力时，传统的“输入-输出”打分模式还够用吗？

ARC-AGI-3本身是一个旨在衡量AI抽象推理能力的测试集，它要求模型解决一些需要类比、归纳和逻辑跳跃的难题。对于传统的语言模型，评测方式相对直接：给模型一个题目，看它生成的答案是否正确。但当模型升级为“Agent”，即一个能够自主规划、调用工具、与环境持续交互的智能体时，评测的复杂性就呈指数级上升。一个Agent解决ARC-AGI-3问题的过程，可能涉及多次尝试、内部思考链的调整、甚至调用外部计算器或搜索引擎。如果评测系统只记录最终答案的对错，而忽略了达成这个答案的完整“运行合同”，那么我们看到的分数就可能是一个充满噪声甚至误导的信号。

所谓“运行合同”，我理解为一个Agent在完成任务过程中产生的完整轨迹记录。这包括了它的每一步思考、每一次工具调用的请求与返回、每一次状态的变化，乃至过程中产生的所有中间结果和可能的错误。记录这套合同，就像给Agent的“解题过程”录了像。GPT-5.6 Sol的分数变化，很可能正是因为评测框架（比如提到的Harness）开始捕获并更合理地评估这些过程，而不仅仅是那个孤立的最终答案。这提醒我们，在Agent时代，评测必须从“结果导向”转向“过程与结果并重”。否则，我们无法区分一个高分Agent究竟是真正具备了强大的推理能力，还是仅仅更擅长“蒙答案”或者利用了评测流程中的某些漏洞。

2. 拆解ARC-AGI-3：它到底在测什么？

要理解分数变化的意义，我们首先得弄清楚ARC-AGI-3这个考场本身。ARC（Abstraction and Reasoning Corpus）系列测试由谷歌大脑的研究人员提出，其初衷是挑战当前AI系统在“小样本抽象推理”上的能力。与需要海量数据训练的任务不同，ARC题目更像人类的智力测验：给你几个输入-输出对的示例，让你推断出背后隐藏的抽象规则，然后将这个规则应用到一个全新的输入上，生成正确的输出。

ARC-AGI-3可以看作是这一系列测试中更具挑战性的一个版本。它的题目通常涉及网格图形的变换，需要模型识别出诸如“对称”、“旋转”、“颜色填充模式”、“物体计数与移动”等核心概念，并将这些概念组合成复杂的规则。例如，题目可能展示三组示例：一个3x3的黑色网格经过某种操作变成了一个带白点的网格；另一个不同形状的网格也经历了类似变化。模型的任务是，给定一个新的、从未见过的网格，推断出它应该变成什么样子。

对于传统语言模型或视觉模型，解决这类问题极其困难。因为它们依赖的是从训练数据中获得的统计模式，而非真正的抽象和推理。模型可能会“记住”某些类似图案的变换，但无法泛化到全新的、本质上不同的规则。而一个设计良好的Agent，则可以通过多步推理来破解难题：它可能会先尝试用自然语言描述示例中观察到的变化，提出几种假设规则，然后通过代码或符号操作来验证这些规则，最后将最可能的规则应用于新输入。这个过程是动态的、试错性的。如果评测只问“最终答案对吗？”，那么一个通过十次精妙推理得出答案的Agent，和一个瞎猜碰巧蒙对的Agent，可能会得到相同的分数。这显然不公平，也无法反映前者的真实能力价值。因此，ARC-AGI-3的高分，其含金量高度依赖于我们是否看到了Agent解题的“思考过程”。

3. “运行合同”为何成为Agent评测的生命线？

当我们从评测静态模型转向评测动态Agent时，“运行合同”的概念就从“可有可无的日志”变成了“不可或缺的审计轨迹”。这不仅仅是技术细节，而是方法论上的根本转变。我们可以从几个关键维度来理解其重要性：

3.1 复现性与可调试性

在科学研究与工程开发中，复现性是黄金标准。如果一个Agent在评测中取得了惊人成绩，但其他研究者无法复现这一结果，那么这个成绩的价值就大打折扣。完整的运行合同提供了复现所需的一切：初始状态、接收的指令、每一步的决策依据、调用的工具及其参数、工具返回的结果、以及Agent基于这些结果所做的状态更新。有了这份合同，任何人都可以像重放电影一样，精确复现Agent的整个执行过程，验证其表现，或者定位问题所在。这对于排查Agent的失败案例尤其重要——是规划器出了错？是工具调用超时？还是对工具返回结果的理解有偏差？没有运行合同，调试就像在黑暗中摸索。

3.2 公平性与鲁棒性评估

很多评测任务存在“多解路径”或“部分正确”的情况。以ARC-AGI-3为例，一个题目可能有两种合理的解释，从而导出两个不同的正确答案。如果Agent A通过严谨推理得出了答案甲，Agent B通过另一种合理推理得出了答案乙，而标准答案恰好是甲，那么只凭最终答案打分，Agent B就被判了零分，这公平吗？运行合同允许评测系统不仅检查最终输出，还能评估推理路径的合理性和一致性。即使最终答案不对，如果Agent的思考过程展现了清晰的逻辑和合理的尝试，也应该给予部分分数。这能更全面地评估Agent的鲁棒性和泛化能力，而不是鼓励它们去“赌”那个训练集中出现概率最高的答案。

3.3 资源消耗与效率度量

Agent在实际运行中会消耗计算资源、调用外部API（可能产生费用）、并占用时间。一个虽然最终能完成任务，但过程中进行了上百次无意义网络搜索、消耗了巨额Token的Agent，和一个用三步简洁推理就搞定问题的Agent，其价值天差地别。运行合同详细记录了每一步的耗时、Token使用量、API调用次数和类型。这些数据对于评估Agent的“性价比”和实用性至关重要。在工业级部署中，效率往往是决定性的因素。评测报告里如果只有准确率，而没有这些成本指标，就像只告诉你一辆车能跑到终点，却不告诉你它耗了多少油、路上抛锚了几次。

3.4 安全与对齐监督

随着Agent能力增强，其行动可能产生真实世界的影响。一个负责自动处理财务邮件的Agent，如果其决策过程不透明，将是可怕的。运行合同作为审计日志，可以用于事后审查：Agent为什么做出了某个决定？它依据了哪些信息？有没有尝试过危险或不符合规定的操作？这对于确保AI系统的安全性、合规性和与人类价值观的对齐至关重要。评测阶段引入运行合同记录，也是为未来部署更复杂、更自主的Agent建立安全评估范式。

4. 深入Harness：一个面向过程的评测框架实践

标题和热词中反复出现的“Harness”（很可能指DeepSeek Harness这类工具），正是应对上述挑战而生的新一代评测框架。它的核心设计理念，就是围绕“运行合同”来构建整个评测流程。我们可以将其工作流程拆解为几个关键环节：

4.1 任务与环境封装

Harness不会把任务简单定义为一个“输入-输出”函数。相反，它将一个评测任务定义为一个交互式环境。以ARC-AGI-3为例，这个环境提供给Agent的不仅仅是一个问题描述图片，还可能包括：一个可以提交中间答案或请求提示的接口、一个可以运行代码片段来验证规则的沙箱、甚至一个可以查询相关概念的知识库接口。Agent被“安装”到这个环境中，它的所有操作都必须通过环境提供的API进行。这样一来，Agent与任务之间的所有交互都被标准化和捕获了。

4.2 合同记录器

这是Harness的核心组件。它像飞机的黑匣子，忠实记录下Agent生命周期的每一个事件：

• 会话开始：任务描述、初始状态、评测配置。
• Agent动作：Agent发出的每个动作请求，包括动作类型（如think,code_execute,web_search）、动作内容、时间戳。
• 环境反馈：环境对每个动作的响应，包括返回的结果、新的状态、以及任何错误信息。
• 内部状态（可选）：如果Agent框架支持，还可以记录其内部的工作记忆、信念状态或规划树的变更。 这些记录以结构化的格式（如JSON Lines）实时写入，形成一份不可篡改的运行合同。

4.3 多维度评分器

传统的评分器可能只有一个：check_final_answer()。Harness则允许定义多个评分器，从不同维度对运行合同进行打分：

• 最终答案正确性：基础分。
• 推理过程质量：分析思考链的连贯性、逻辑性，是否避免了循环论证或事实错误。
• 工具使用合理性：评估工具调用的必要性、参数的正确性，是否避免了冗余或无效调用。
• 效率评分：根据消耗的Token数、API调用次数、总耗时等计算成本效率分。
• 安全合规性：检查过程中是否有尝试执行危险指令、访问未经授权的资源等。 这些分数可以加权汇总，也可以单独呈现，为用户提供一份Agent能力的立体画像。

4.4 可视化与诊断面板

一份原始的运行合同日志可能长达数千行，难以直接分析。Harness通常会提供可视化界面，将合同转化为时间线图、思维链流程图或资源消耗图表。评测者可以快速定位到Agent“卡住”的环节、看到它做出关键决策的上下文、或者发现那些消耗了最多资源的操作。这极大地提升了评测结果的分析效率和深度。

通过这样的框架，我们再回头看GPT-5.6 Sol的“分数翻倍”。一种合理的推测是：在旧的、只评估最终答案的评测模式下，GPT-5.6 Sol作为Agent，其多步推理的优势无法被充分衡量，甚至可能因为过程复杂、步骤多而更容易在最终答案上出错，导致分数偏低。而当切换到像Harness这样记录并评估完整运行合同的系统后，它的优势得以凸显——即使最终答案不完全正确，其严谨的推理过程、合理的工具使用也能获得大量过程分，从而使得总分大幅提升。这未必是模型本身发生了巨变，而是评测标准变得更科学，更能反映Agent的真实能力。

5. 构建你自己的Agent评测体系：从理念到实操

理解了“运行合同”的重要性后，如果你正在开发或评估AI Agent，如何将这一理念落地到自己的项目中呢？这不仅仅是选择一个工具，更是一套方法论的重建。

5.1 明确评测目标与维度

首先，你必须想清楚：我到底要评测Agent的什么？不同的应用场景，侧重点截然不同。

• 客服对话Agent：你可能更关心对话的流畅度、问题解决率、用户满意度，以及是否在对话中给出了不安全或错误的建议。运行合同需要详细记录每一轮对话、Agent的意图识别、知识库查询记录和回复生成逻辑。
• 数据分析Agent：核心是代码执行的正确性、对数据洞察的准确性、以及生成报告的可读性。合同需要记录它生成的SQL或Python代码、代码执行的结果、以及它如何将结果转化为结论。
• 游戏AI Agent：重点是决策的长期收益、策略的复杂性、以及对游戏规则的理解。合同需要记录每一步动作、Agent对游戏状态的评估、以及它的规划树。 在开始任何技术实施前，先用文档定义好你的核心评测指标和需要捕获的数据点。

5.2 设计可观测的Agent架构

你的Agent架构必须为评测做好准备。这意味着要在关键节点插入“观测点”。一个常见的模式是采用决策-执行循环，并在每个循环处输出结构化的日志。

1. 感知：Agent接收到什么输入？（记录原始输入和Agent的解析结果）。
2. 思考/规划：Agent当前的目标是什么？它制定了什么计划或产生了什么推理？（记录完整的思考链或规划树）。
3. 动作选择：它决定执行什么动作（如调用工具A、询问用户）？为什么？（记录动作类型、参数和选择理由）。
4. 执行与反馈：动作执行了多久？返回了什么结果？是否有错误？（记录工具返回、耗时、错误信息）。
5. 状态更新：基于反馈，Agent的内部状态（如工作记忆、信念）如何更新？ 将这些节点用统一的日志格式（如JSON）输出，就构成了运行合同的基本骨架。许多Agent框架（如LangChain、AutoGen）都提供了回调函数或中间件机制，可以方便地注入这些日志记录逻辑。

5.3 选择合适的评测工具或自建流水线

对于大多数团队，从成熟的评测框架开始是高效的选择。像DeepSeek Harness这样的工具，提供了开箱即用的环境管理、合同记录和评分功能。你需要做的是：

• 环境适配：将你的任务封装成Harness兼容的环境。这通常需要实现几个标准接口，如reset()（重置环境）、step(action)（执行动作并返回反馈）。
• 评分器定制：Harness通常允许你自定义评分器。你需要根据5.1中定义的指标，编写相应的评分函数。这些函数以运行合同作为输入，输出分数。
• 批量运行与对比：利用框架的批量执行功能，让你的Agent在多个测试案例上运行，同时可以方便地引入基线模型（如GPT-4、Claude）进行对比。框架会自动生成对比报告，突出你的Agent在各项指标上的优势与不足。

如果你的需求非常特殊，或者希望有最大的控制权，也可以考虑自建评测流水线。核心组件包括：

• 一个轻量级的环境模拟器（可以用Python编写）。
• 一个中央化的日志收集服务（如直接写入文件、或发送到Elasticsearch）。
• 一套后处理脚本：用于解析日志、计算指标、生成可视化图表。 自建方案的初期投入更大，但灵活性极高，可以完全贴合你的业务逻辑。

5.4 分析合同，而不仅仅是分数

评测运行结束后，最重要的工作才刚刚开始：分析运行合同。不要只盯着那个总分。要像侦探一样，深入合同细节：

• 寻找失败模式：把得分为零或较低的案例挑出来，仔细看它的运行合同。Agent是在哪一步开始出错的？是错误理解了任务？是调用了错误的工具？还是工具返回了意外结果后它无法处理？
• 识别低效模式：有些任务虽然完成了，但合同显示Agent反复执行了类似的操作，或者调用了非常耗时的外部API。这些就是优化的关键点。
• 发现“侥幸成功”：有些任务得分很高，但合同显示Agent的推理过程混乱，最终答案却是对的。这可能是数据泄露或评测漏洞的信号，需要警惕。 通过这种细致的分析，你得到的将不仅是一个性能分数，更是一份清晰的Agent能力诊断书和优化路线图。

6. 当前挑战与未来展望：Agent评测的未竟之路

尽管“运行合同”的理念和Harness这样的工具指明了方向，但构建完善的Agent评测体系仍面临诸多挑战。

6.1 合同的标准化与互操作性

目前，各家Agent框架、评测工具输出的运行合同格式千差万别。这就像每家银行都用自己的一套记账本，导致数据难以横向对比和聚合。业界急需一套像OpenAI的Function Calling那样被广泛接受的“Agent运行合同标准”。这套标准需要定义核心的事件类型、状态表示方法、工具调用规范等。只有标准统一了，我们才能公平地比较基于不同框架构建的Agent，也才能建立大规模、可共享的Agent评测基准。

6.2 复杂任务的环境模拟

对于ARC-AGI-3这类相对封闭的任务，构建评测环境还比较容易。但对于“帮我在网上研究一个主题并写一份报告”或“管理我的个人日历并优化时间安排”这类开放世界任务，构建一个逼真、全面且可评测的环境极其困难。我们需要模拟整个互联网吗？需要模拟人类用户的模糊反馈吗？这涉及到复杂的环境建模和仿真技术，是目前的研究前沿。

6.3 主观性任务的评估

很多Agent任务的结果是主观的，比如写一首诗、设计一个Logo、或者进行一场有趣的对话。如何为这些任务定义客观的、可自动化的评分标准？虽然可以通过大模型作为裁判（LLM-as-a-Judge）来评估，但裁判模型本身的偏见和局限性又会成为新的问题。运行合同在这里的作用，可能是让我们更细致地评估创作过程是否符合指令、是否遵循了安全规范，而不仅仅评判最终产出的“好坏”。

6.4 安全与对抗性评测

记录运行合同也为更深入的安全评测提供了可能。我们可以设计“对抗性”测试案例，故意给Agent设置陷阱（如诱导性提问、矛盾信息、有漏洞的工具），然后通过分析其运行合同，评估它抵御诱惑、识别风险、做出安全决策的能力。这比单纯检查最终输出是否包含敏感词要深入得多。

回到我们最初的标题，GPT-5.6 Sol在ARC-AGI-3上分数的巨大变化，与其说是一个模型的胜利，不如说是评测方法学的一次进化。它响亮地宣告：Agent的时代，需要与之匹配的、关注过程的评测范式。作为开发者和研究者，我们应当积极拥抱这一变化，将“记录并分析运行合同”作为构建和评估智能体的核心实践。只有这样，我们才能不仅知道一个Agent“做了什么”，更能理解它“如何思考”，从而推动AI向更可靠、更高效、更安全的方向发展。