企业官网建设流程全解析

LocalJev 是一款 Jev 兼容的本地 System One 决策 API。它首份 bake-off 评测报告让 5 个本地大模型同场竞技：1,200 次真实请求、两种输入长度，精度、延迟与长文本干扰一张表就能看懂。本文带你读完这份报告，并附上 7 个最容易踩的坑。

这次 bake-off 到底测了什么 🧪

先看实验设定，心里才有底：

⚠️ 一个关键前提：它测的是 LocalJev 当前"提示词生成 JSON 概率"的真实管线（含分词、量化、schema 校验、纠错重试），不是模型直接 logits 的理想状态。也就是说，它回答的是"这套部署组合下谁更实用"，而不是"哪个模型理论上限更高"。

完整方法论见 docs/evaluation.md，机器可读配置在 eval/default.json。

短输入精度总表：五模型一张表看懂 📊

每个任务 40 条均衡样本，失败请求计入错误；Macro accuracy 是三个任务精度的等权平均。

👉 一眼结论：

• Gemma 4 26B-A4B 是短输入下最值得关注的默认候选：p50 只比 E4B 慢约 0.13 秒，Macro 精度却高出 11.7 个百分点，且情感 MAE 全场最低、两种输入条件下零重试。
• Qwen3.6 略胜一筹但不显著：120 题里只比 Gemma 26B 多对 2 题，报告明确说这不足以宣布赢家。
• 小模型没换来速度：E2B 的 p50 只比 E4B 快约 0.02 秒，精度却差一大截——这条管线下"小=快"不成立。
• DiffusionGemma 没赢在速度：这类"单问题、短输出"请求上它反而最慢（p50 1.207s），BoolQ 仅靠 1 题的微弱优势领先。

完整矩阵（含校准、F1、不确定性区间）在 eval/reports/2026-09-18-bakeoff/report.md。

长文本干扰实验：2,048 个背景词如何拉低精度 📉

长输入条件里，目标文本被完整保留在无关背景词的中间，指令明确要求只看目标段。平均提示词从约 330–540 token 涨到 3,090–3,290 token。

几个值得记住的观察：

1. 每个模型的 Macro 精度都下滑了，但下滑幅度不同：Gemma 26B 和 Qwen 只掉约 6–7.5 个百分点，E2B 掉 5 个点且伴随 3 次最终失败，小模型掉得更"伤筋动骨"（E4B 的 SST-5 从 50% 崩到 12.5%）。
2. 效果不是单调的：E4B 的新闻分类精度反而升了，E2B 的 BoolQ 也从 70% 升到 80%。所以别假设"上下文一长就一定变差"，要按任务看。
3. 长输入放大了差距：短输入时大模型三强并立，长输入时 Gemma 26B-A4B 与 Qwen 并列第一，而 DiffusionGemma 掉到第四。

成对对比（同一批样本两种条件）显示，背景词平均让 E2B 有 48/117 条预测发生翻转，其中 21 条从对变错、17 条从错变对；大模型翻转明显更少，说明干扰对大模型的冲击更可控。

延迟怎么读：p50、p95 与重试成本 ⏱️

• 报告里的延迟是整次决策的墙钟时间：上游推理、JSON 解析、校验、纠错重试全算在内；非流式调用，不测 TTFT，别把 p50 当首字延迟用。
• 模型加载/预热（各 2 次，最长约 27.7s）已被单独记录并排除在延迟统计外，见报告 warm-ups 小节。
• 长输入让尾部延迟变差：DiffusionGemma 的 p95 从 1.897s 涨到 3.139s；E2B 的 p95 从 0.642s 涨到 2.076s——小模型长输入的"尾巴"最长。
• 重试也是成本：E2B 长输入下有 21/120 次请求触发了额外尝试，5 次因输出被截断，最终 3 次因"概率全为零"耗尽重试而失败。JSON 合法 ≠ 语义正确，小模型在长输入下的输出稳定性明显更差。

7 个避坑要点：读 bake-off 报告别踩这些坑 🕳️

1. 样本量是筛查级，不是判决级：每任务仅 40 条，1 个答案 = 2.5 个百分点。三个大模型间的质量差异小于采样不确定性，报告自己也没宣布"最终赢家"。
2. 概率是模型"自报"的，不是校准过的：高置信度答错照样会拉爆 NLL；校准指标在 40 样本/任务下噪声很大，别直接拿它当生产置信度。
3. 这是"部署组合"的成绩单：量化配方、tokenizer、schema 执行方式、推理后端各不相同，结论针对 checkpoint + oMLX + LocalJev 这一整套，不能外推成架构排名。
4. 长文本是人工干扰测试：2,048 背景词是 prefill/干扰压力测试，不是自然长文档基准；它不覆盖"更大的相关上下文"这类场景。
5. 公开基准可能已"泄题"：这些数据集可能出现在预训练语料中，换到私有业务数据上成绩可能打折。
6. 延迟没有缓存红利：默认bust-prefix策略刻意破坏前缀缓存（缓存命中率为 0%），真实业务里共享前缀缓存可能让延迟更好看。
7. 别用 macro 精度拍板：三任务等权的 Macro 只是压缩摘要，应该挑与你工作负载对应的分任务结果来做决策。

如何复现：一条命令重跑五模型 bake-off 🔁

本地跑（需要 oMLX 与.env中的上游 key，不需要 LocalJev HTTP 服务）：

bun install --frozen-lockfile bun run eval --config eval/default.json --out eval/runs/repeat

跑完后只重新生成报告（不发任何推理请求）：

bun run eval:report eval/runs/my-bakeoff

评测代码在 scripts/eval/run.ts、指标计算在 scripts/eval/metrics.ts、报告生成在 scripts/eval/report.ts；本次发布的完整产物（含每样本遥测与数据校验和）在 eval/reports/2026-09-18-bakeoff/results.jsonl、eval/reports/2026-09-18-bakeoff/summary.json 和 eval/reports/2026-09-18-bakeoff/manifest.json。

结语

一句话总结这份 LocalJev bake-off 报告：短输入选 Gemma 4 26B-A4B 或 Qwen3.6 继续深挖，小模型在长输入下精度与稳定性双输，长文本干扰是真实成本。报告给出的下一步也很明确——用 200+ 条/任务的更大样本，加上你自己业务流程的标注数据再做一轮，才是下结论的时候。完整解读原文见 docs/evaluation-results-2026-09-18.md。