企业官网建设流程全解析

FinFIRST是一个面向金融搜索 Agent（AI 智能体）的开源评测基准：它不只看模型最后答没答对，而是用一套原子级 Rubric（评分细则），把金融研究的全过程拆成一条条可独立判断的标准，从原始数据查询、信源核验到计算与答案形成，逐条打分。这篇文章带你完整拆解这套三维度评分机制的设计思路、真实案例和四项核心指标，适合想理解 AI 评测、Rubric 评分或金融 Agent 开发的读者。

为什么金融任务不能只比对最终答案？

传统基准评测大多采用"标准答案匹配"：答案一致就得分，不一致就丢分。但金融研究远不止"查到一个数字"那么简单——一个靠谱的金融 Agent 必须同时核实：

• 📌主体：查的是不是题目要求的公司、市场或标的？
• 📅报告期：数据对应的是不是题目指定的时间范围？
• 💱币种与单位：是元还是美元？是万元、GWh 还是百分比？
• 📖定义与口径：是"销量"还是"装车量"？是名义值还是真实值？
• 🔄数据版本：用的是否为截至某日可得、且尚未被修订的最新数据？

只比对最终答案，会把"蒙对了"和"做对了"混为一谈，也无法定位模型到底在哪一步失手。FinFIRST 的解法，就是用原子级 Rubric 评分机制去评测完整研究过程，而不仅仅是最终答案。

数据集速览：701 条原子标准，覆盖 123 个任务

FinFIRST V1 由50 多位金融专业人士编写并校验，共包含123 个任务，覆盖中国、美国等市场，研究对象横跨公司、行业、区域经济体和金融工具，且全部基于公开可访问的信源。

也就是说，平均每个任务挂着5~6 条独立判分的标准，总权重折算后恰好 12,300 分（100 分 × 123 任务）。数据明细可在 test.jsonl 中逐条查看，字段说明见 README.md。

三维度评分：过程被拆成三个可独立评估的阶段

FinFIRST 的评分核心思想是：把每个任务的"期望解答路径"分解为可独立评估的标准，并按三个维度归类。

1️⃣ 原始信息获取（Raw-information acquisition）

考察 Agent 是否检索到了正确的主体、期间、单位、定义和数据版本下所需的事实与数值。例如：是否正确搜到"中芯国际最小买入单元为 200 股"。

2️⃣ 信源核验（Source verification）

考察 Agent 是否使用了权威、相关、且对所需时间窗口和数据版本有效的信源。例如：是否定位到上海期货交易所的官方合约文本，或宁德时代的 2025 年年报摘要，而不是自媒体转述。

3️⃣ 计算与答案形成（Computation & answer formation）

考察 Agent 是否正确地计算、推理与综合，且结论能被其检索到的证据支撑。例如：合约价值 = 交易单位 × 收盘价 的算术是否正确、最终输出的保留位数和单位是否合规。

这种三维度设计带来三个直接好处：

• ✅有效中间过程可得分：即使最终答案错了，前面检索和推理做得对的部分不会被一票否决；
• ✅能识别"答案对但证据链断裂"的情况——这是金融场景里最危险的错误；
• ✅失分可归因：能明确指出失败发生在检索、信源核验还是计算阶段。

一个真实案例：原子级 Rubric 长什么样？

下面用 test.jsonl 中第一道真实任务（original_id: v1_1）来直观感受"原子级"的含义。

题目：若在 2025 年 7 月 31 日按当日收盘价，分别以最小买入单位买入中芯国际（688981.SH）和比亚迪（002594.SZ），共需支付多少人民币？

该任务在数据集中对应两条 Rubric 字段：rubric（原子标准 + 分值）和rubric_annotated（在每条标准后追加维度标注）。其rubric_annotated内容为：

1、正确搜索出中芯国际（688981.SH）最小买入单元为200股，20分；（原始数据查询） 2、正确搜索出比亚迪（002594.SZ）最小买入单元为100股，20分；（原始数据查询） 3、正确搜索出中芯国际2025年7月31日的收盘价为89.50元，20分；（原始数据查询） 4、正确搜索出比亚迪2025年7月31日的收盘价为105.24元，20分；（原始数据查询） 5、正确计算结果为28424元，10分；（计算和答案） 6、最终结果为28424元，要求数据按照要求保留对应位数，单位一致，数据完全一致，10分（计算和答案）

可以看到：

• 每条标准都是独立的、可单独判定通过与否的最小单元（atomic），互不依赖；
• 每条标准自带权重分值（本任务合计 100 分），由金融专家按重要度分配；
• 每条标准被标注到三维度之一——这里前 4 条属于"原始数据查询"，后 2 条属于"计算和答案"；在涉及官方文件定位的任务里（如期货合约类任务），还会出现"信源核验"维度的条目，例如"正确定位上海期货交易所螺纹钢合约文本，5分"。

官方 README 还给出了另一类更复杂的示例：需要 Agent 结合 Meta 官方披露与 IAB/PwC 行业报告，参考答案为72.45%，而 Rubric 会分别评估信源识别、数据提取、汇总、计算、精度和单位等独立环节。

四项指标：从"原子通过率"到"不支撑正确率"

有了逐条判分的基础，FinFIRST 定义了四个互补的指标：

UCR 是这个基准最有特色的指标：它专门揪出"答案对、但证据撑不起来"的回答。FinFIRST 评测结果显示，在 1,150 个最终答案正确的实例中，有 201 个缺乏完整支撑证据，微平均 UCR 为17.48%——也就是说，近两成的"正确"其实经不起溯源检查。

整体结果同样印证了 Rubric 设计的价值：GPT-5.6-Sol 以71.54%的 Strict Pass 领先；Claude-Opus-5 的 Loose Pass 高达87.61%，Strict Pass 却只有69.11%——宽松指标下的"强表现"依然可能掩盖被漏掉的要求。同时，所有模型的计算与答案形成能力都弱于原始信息获取，说明"会搜"容易、"会算会用"难。

Rubric 是怎么建出来的？9.78% 的通过率背后

这套原子级 Rubric 不是拍脑袋写出来的，FinFIRST 的数据构建分三个阶段：

1. 场景驱动预处理：把真实金融用例转译为 18 字段任务分类体系、六轴覆盖计划，以及覆盖138 类金融信源的信源地图；
2. 专家任务构建：金融专业人员编写候选任务，并组装包含参考答案、信源、关键数据、定义、计算、有效替代解和数值容差的"参考包"，再把每份解答逐条分解为原子标准；
3. 质量控制：候选任务要经过数值与范围复核、独立重解、交叉验证与仲裁、Rubric 审计、模型压力测试和一致性检查，所有修改与取舍由金融专家决定。

最终候选任务通过率仅9.78%，才留下 123 个正式任务——严苛的 Rubric 审计标准，是这套评分机制可信度的来源。

自动评测如何落地：GLM-5.1 充当裁判

123 个任务 × 701 条原子标准，靠人工逐条判分显然不可持续，FinFIRST 给出了自动评测协议：

• 15 个模型配置在同一套 ReAct 风格 Agent 框架下评测，统一使用Web Search、Visit和Python三个工具；
• 由GLM-5.1担任自动裁判，对每条原子标准判定通过与否；
• 在 8 位金融专家标注并仲裁的 50 个随机抽样实例上，自动裁判与人工标签在原子标准级别的 Cohen's κ 达到0.816，一致性相当高。

切片分析进一步显示：任务从易到难，表现逐级下降；多信源任务始终比单信源任务更难，不同语言和市场之间也有明显差异——而这类"能力短板画像"正是三维度 Rubric 归因能力带来的副产品。

小结：过程评分是金融 AI 评测的关键一步

回到最初的问题——FinFIRST 的原子级 Rubric 是怎么设计的？可以浓缩为四句话：

1. 原子化：把解答路径拆成 701 条独立可判的最小标准，每条带专家权重；
2. 三维度：原始信息获取 / 信源核验 / 计算与答案形成，让失分可归因到具体阶段；
3. 过程与结果双视角：Atomic、Loose Pass、Strict Pass 三个通过率互为补充，再用 UCR 专查"证据链断裂"；
4. 专家兜底：9.78% 的通过率 + 8 位专家仲裁的 κ=0.816 一致性校验，保证 Rubric 本身经得起审视。

对于正在构建金融 AI Agent 或设计评测体系的团队，FinFIRST 证明了一点：只比答案的评测会高估模型，过程级的 Rubric 评分才能照出真实短板。感兴趣的话，可以直接打开 test.jsonl 逐条研究任务与 Rubric 字段，或通读 README.md 了解完整评测协议。