企业官网建设流程全解析

1. 为什么 Agent 评测总在“选基准”这一步卡住

做 AI Agent Harness Engineering 的人，迟早会撞上同一个问题：Agent 跑起来了，工具也接上了，但怎么证明它“变好了”？我见过不少团队把 Agent 接到业务里，灰度一开，差评一堆，回头复盘才发现——他们根本没有一套能复现的评测基准，全靠 demo 时那几句“表演式对话”撑场面。

评测基准就是 Agent 的“考卷”。MT-Bench 像雅思口语，考的是通用多轮对话的自然度和连贯性；AgentBench 像职业资格证，考的是任务导向 Agent 的工具调用和复杂推理；自定义指标则像企业内部 KPI，考的是你这条业务线真正在意的那些数字。选错考卷，优化方向就会跑偏：拿 MT-Bench 去评一个只会查订单的客服 Agent，分数再高也说明不了它能处理退款异常；拿 AgentBench 去评一个闲聊助手，任务通过率低也不代表它对话体验差。

这篇面向 AI Agent Harness Engineering 场景，把 MT-Bench、AgentBench 和自定义指标的适用边界讲清楚，并给出一套可复制的评测配置骨架——包含config.toml与settings.json示例、TaoToken 统一 Key/API 通道的接入方式，以及跑通基准并验证指标输出的具体动作。适合正在搭评测 Harness 的 LLM 应用开发者、需要对比模型/架构的研究人员，以及要把 Agent 落地到具体业务的企业负责人。

2. TaoToken 前置：统一 Key 与 API 通道

评测 Harness 最烦的事情之一，是评分器、被测 Agent、辅助工具各自要配不同的 Key 和 endpoint。MT-Bench 的 LLM 评分器要调模型，AgentBench 的环境模拟器里有些子任务也要调模型，自定义指标里的主观评分同样要调模型。如果每个地方都单独配一套，Key 管理会变成灾难。

TaoToken 在这里的作用是提供一个统一的 API 通道：一个 Key，一个 base_url，就能覆盖模型对话、编码类模型调用等场景。对评测 Harness 来说，这意味着评分器和被测 Agent 可以走同一套接入配置，切换模型时只改一个字段。

接入信息如下：

• 官网入口：https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content=
• API Base URL：https://taotoken.net/api
• 模型对话入口：https://taotoken.net/models?utm_source=taotoken_aicg_blog_end&utm_content=model_chat&utm_campaign=rewrite
• API Keys 管理：https://taotoken.net/api-keys?utm_source=taotoken_aicg_blog_end&utm_content=api_keys&utm_campaign=rewrite
• 接入文档：https://taotoken.net/doc?utm_source=taotoken_aicg_blog_end&utm_content=doc&utm_campaign=rewrite

注意：API Base URL 不带 UTM 参数，直接写https://taotoken.net/api即可。Key 只在 API Keys 页面生成和管理，不要硬编码进仓库。

拿到 Key 之后，先做一次最小连通性验证，确认通道可用，再往 Harness 里接。这一步别省，否则后面评测报错时你分不清是 Harness 的问题还是通道的问题。

curl -s https://taotoken.net/api/chat/completions \ -H "Authorization: Bearer $TAOTOKEN_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "gpt-4o-mini", "messages": [{"role": "user", "content": "reply with ok"}], "max_tokens": 8 }'

返回里能看到choices[0].message.content就说明通道通了。接下来所有评分器调用都复用这个 base_url 和 Key。

3. 可复制配置：config.toml 与 settings.json 骨架

评测 Harness 的配置要解决三件事：被测 Agent 怎么连、评分器用哪个模型、每个基准的用例和权重怎么定义。下面这套骨架可以直接抄，按你的场景改字段值。

3.1 config.toml：Harness 主配置

# config.toml —— AI Agent Harness 评测主配置 [harness] name = "agent-eval-harness" version = "0.1.0" concurrency = 4 # 并发评测用例数，LLM 评分器建议不超过 8 timeout_seconds = 120 # 单用例超时 retry = 2 # 失败重试次数 [provider] # 统一走 TaoToken 通道 base_url = "https://taotoken.net/api" api_key_env = "TAOTOKEN_API_KEY" # 从环境变量读取，不写死 default_model = "gpt-4o-mini" [agent_under_test] name = "ecom-cs-agent" endpoint = "http://127.0.0.1:8000/chat" protocol = "rest" request_field = "message" response_field = "reply" [benchmarks.mt_bench] enabled = true question_file = "data/mt_bench/question.jsonl" judge_model = "gpt-4o" score_min = 1 score_max = 10 weight = 0.3 [benchmarks.agent_bench] enabled = true domain = "database" # 可选 database / code / ecommerce / home 等 task_file = "data/agent_bench/db_tasks.jsonl" rule_weight = 0.8 llm_weight = 0.2 weight = 0.4 [benchmarks.custom] enabled = true case_file = "data/custom/ecom_cs_cases.jsonl" rule_weight = 0.7 llm_weight = 0.3 weight = 0.3 [report] output_dir = "reports" format = ["json", "csv"]

3.2 settings.json：评分器与指标定义

{ "evaluators": { "mt_bench_judge": { "type": "llm", "model": "gpt-4o", "prompt_template": "judge/mt_bench_judge.txt", "temperature": 0.0, "parse": "json" }, "agent_bench_rule": { "type": "rule", "criteria": [ {"name": "syntax_ok", "weight": 0.2}, {"name": "logic_ok", "weight": 0.3}, {"name": "result_match", "weight": 0.5} ] }, "custom_rule": { "type": "rule", "criteria": [ {"name": "order_lookup_pass", "weight": 0.4}, {"name": "refund_flow_complete", "weight": 0.3}, {"name": "latency_under_30s", "weight": 0.3} ] }, "custom_llm": { "type": "llm", "model": "gpt-4o-mini", "prompt_template": "judge/custom_tone.txt", "temperature": 0.0 } }, "metrics": { "mt_bench": ["per_turn_score", "per_case_avg", "per_category_avg", "overall"], "agent_bench": ["task_completion", "tool_call_accuracy", "step_efficiency"], "custom": ["order_lookup_pass_rate", "refund_complete_rate", "p95_latency", "tone_score"] } }

3.3 三大基准的取舍逻辑

配置里三个基准都开了，但权重不同。实际选型时按这个逻辑走：

如果你的 Agent 是“能聊天 + 能干活”的混合型，建议 MT-Bench 占 20%–30% 看对话底子，AgentBench 占 40% 看任务能力，自定义占 30%–40% 看业务表现。纯任务型可以把 MT-Bench 降到 10% 甚至关掉。

4. 跑通基准并验证指标输出

配置写完，接下来是让它真的跑起来并产出可信数字。分三步：接被测 Agent、跑 MT-Bench、跑 AgentBench 与自定义指标。

4.1 接被测 Agent 并做冒烟测试

Harness 通过 HTTP 调被测 Agent。先写一个最小客户端，确认能拿到回复：

import os, httpx BASE = "https://taotoken.net/api" KEY = os.environ["TAOTOKEN_API_KEY"] async def call_agent(message: str) -> str: async with httpx.AsyncClient(timeout=60) as client: r = await client.post( "http://127.0.0.1:8000/chat", json={"message": message}, ) r.raise_for_status() return r.json()["reply"] async def call_judge(prompt: str, model: str = "gpt-4o") -> str: async with httpx.AsyncClient(timeout=120) as client: r = await client.post( f"{BASE}/chat/completions", headers={"Authorization": f"Bearer {KEY}"}, json={ "model": model, "messages": [{"role": "user", "content": prompt}], "temperature": 0.0, }, ) r.raise_for_status() return r.json()["choices"][0]["message"]["content"]

冒烟测试：给被测 Agent 发一句“帮我查订单 321098 的物流”，能返回结构化回复就说明链路通了。如果这里就报错，先查被测 Agent 的 endpoint 和字段名，别急着跑基准。

4.2 跑 MT-Bench：多轮对话评分

MT-Bench 的用例是 JSONL，每行一个多轮对话。核心流程是：把turns逐轮发给被测 Agent，收集每轮回复，拼成评分 prompt 交给 LLM 评分器，解析出 1–10 分。

import json, asyncio async def run_mt_bench(case_file: str, judge_model: str = "gpt-4o"): results = [] with open(case_file, encoding="utf-8") as f: cases = [json.loads(line) for line in f if line.strip()] for case in cases: history = [] for turn in case["turns"]: reply = await call_agent(turn) history.append({"user": turn, "assistant": reply}) judge_prompt = build_mt_judge_prompt(case["category"], history) raw = await call_judge(judge_prompt, model=judge_model) score = parse_score(raw) # 从 JSON 里取 score 字段 results.append({ "case_id": case["question_id"], "category": case["category"], "score": score, }) return results

评分 prompt 的关键是明确评分区间和输出格式，要求评分器返回 JSON，避免解析失败：

你是 AI 聊天机器人评委。请根据对话历史，给助手表现打分（1-10 整数）。 只输出 JSON：{"score": <int>, "reasoning": "<简短理由>"} 对话历史： {history}

跑完 80 个用例后，按 category 聚合平均分，再算 overall。如果某个 category 分数异常低，先看该 category 的用例是不是触发了被测 Agent 的超时或异常，而不是直接归因于“模型不行”。

4.3 跑 AgentBench 与自定义指标：规则评分器为主

AgentBench 的数据库领域用例，规则评分器按syntax_ok、logic_ok、result_match三项加权。自定义指标里的订单查询通过率、退款流程完成率同理，都是规则先算，主观项再交给 LLM。

def score_agent_bench(case, agent_output, env_state): s1 = 1.0 if is_sql_syntax_ok(agent_output) else 0.0 s2 = 1.0 if is_sql_logic_ok(agent_output, case) else 0.0 s3 = 1.0 if env_state["result"] == case["expected"] else 0.0 return 0.2 * s1 + 0.3 * s2 + 0.5 * s3 def score_custom(case, agent_output, latency): order_ok = 1.0 if case["order_id"] in agent_output else 0.0 refund_ok = 1.0 if "refund_submitted" in agent_output else 0.0 latency_ok = 1.0 if latency < 30 else 0.0 return 0.4 * order_ok + 0.3 * refund_ok + 0.3 * latency_ok

跑完后输出报告，至少包含：每个基准的 overall 分、每个 category/domain 的分、失败用例列表、p95 延迟。失败用例列表比总分更有用——它直接告诉你下一步该优化哪里。

4.4 验证指标输出是否可信

拿到数字后别急着下结论，做三个校验：

第一，同一批用例跑两次，看 MT-Bench 的分数波动。如果波动超过 0.5 分，说明 LLM 评分器不稳定，考虑把temperature设为 0、固定评分模型版本，或增加规则评分器占比。

第二，人工抽检 10 个失败用例，确认规则评分器的判定和你的直觉一致。如果规则把“正确但格式不同”的答案判为失败，说明评分规则太严，需要放宽匹配逻辑。

第三，对比自定义指标和业务真实反馈。如果自定义指标显示退款完成率 95%，但线上真实退款成功率只有 70%，说明测试用例没覆盖真实异常分支，需要补用例。

5. 本篇常见错排查

报错一：401 Unauthorized或invalid api key。检查TAOTOKEN_API_KEY是否已 export，以及请求头是不是Authorization: Bearer <key>。Key 在 API Keys 页面生成，别用其他平台的 Key 混用。

报错二：model not found。评分器配置里的模型名要和通道支持的模型名一致。先用最小 curl 验证模型名，再写进settings.json。

报错三：MT-Bench 评分解析失败。评分器返回了自然语言而不是 JSON。在 prompt 里强调“只输出 JSON”，并在解析时加容错：先尝试json.loads，失败则用正则提取score字段。

报错四：AgentBench 环境模拟器状态不一致。每个用例跑之前要重置环境。如果多个用例共享同一个数据库文件，前一个用例的写入会污染后一个。给每个用例分配独立的临时目录或事务回滚。

报错五：并发跑评测时被测 Agent 超时。concurrency调低到 2–4，或在被测 Agent 侧加请求队列。LLM 评分器的并发也别开太高，容易触发限流。

报错六：自定义指标分数虚高。规则评分器只检查关键词，Agent 只要复述关键词就能得分。把规则改成检查结构化字段或环境状态变化，而不是文本包含。

报错七：评测结果无法复现。固定随机种子、固定评分模型版本、固定用例顺序。把config.toml和settings.json一起纳入版本管理，每次评测记录 commit hash。

6. 继续把 Harness 跑稳

评测 Harness 搭起来只是开始，真正花时间的是让它在你的业务场景里持续产出可信数字。几个实用建议：把失败用例自动归档成回归集，每次改 Agent 都跑一遍；把 MT-Bench 的 LLM 评分器换成更便宜的模型做日常回归，只在发版前用强模型做终评；自定义指标的用例库跟着业务规则走，业务规则变了用例也要更新。

如果你还在选模型或对比不同模型在评测里的表现，可以先用模型对话入口快速试几个模型的实际输出，再决定评分器和被测 Agent 用哪个。需要长期跑编码类或 Agent 类评测任务、对调用量有稳定需求的，可以了解 Coding Plan 的额度方案。接入过程中遇到 Key 或 endpoint 问题，直接查接入文档，比在群里问快得多。