Skill 系列(06):Skill 工程化与治理——路由准确率 38%、压缩节省 76%
2026/7/6 11:42:58 网站建设 项目流程

从个人用到团队共享

Skill 数量少时不需要治理。3 个 Skill 靠记忆就够了。当企业里有 30-50 个 Skill 时,三个问题会同时出现:

  1. 发现问题:给定用户输入,调哪个 Skill?
  2. 成本问题:哪些 Skill 最贵,钱花在哪里?
  3. 质量漂移:某个 Skill 改了 Prompt,怎么保证没有退化?

本文用真实测量回答这三个问题。


Demo 设计

6 个 Skill 的注册表:

Skill ID用途领域
rnd-technical-writer技术博客写作content
competitor-analyzer竞品分析strategy
bug-root-causeBug 诊断与根因分析engineering
meeting-summarizer会议纪要 + 行动项productivity
sql-query-builder自然语言转 SQLengineering
marketing-copywriter营销文案marketing

三个实验:

  1. Embedding 路由:用描述向量做 cosine 相似度,测 8 条查询的路由准确率
  2. Prompt 压缩:冗长版(418 tokens)vs 精简版(99 tokens),LLM-as-Judge 打分
  3. 成本报告:4 个 Skill 真实调用,计算 cost/call 和月度投影

运行结果

Part 1:Embedding 路由

Query Routed to Score OK? ───────────────────────────────────────── ───────────────────── ───── ─── Write a deep-dive article about Kubern.. rnd-technical-writer 0.448 ✓ 我们的主要竞争对手 Notion 最近有什么动态 competitor-analyzer 0.311 ✓ Traceback: AttributeError: 'NoneType'.. sql-query-builder 0.473 ✗ 帮我整理一下今天产品评审会的要点和后续任务 meeting-summarizer 0.463 ✓ Get all orders placed in the last 7 d.. meeting-summarizer 0.586 ✗ Write a product description for our .. rnd-technical-writer 0.610 ✗ 分析一下 Python 3.12 的性能改进 sql-query-builder 0.401 ✗ List all users who haven't logged in .. bug-root-cause 0.493 ✗ Routing accuracy: 3/8 = 38%

Part 2:Prompt 压缩

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询