【免费下载链接】ModelTrace
主动探测模型归因
ModelTrace 是一个本地运行的主动模型归因工具:它通过三条长整数生成挑战提取输出指纹,在统一候选库中自动判断模型家族和具体版本。本文以它的API 自动测试模式为主线,讲解如何只填好 Base URL、API Key 和模型名,就让程序自动完成探测、采集与归因,无需手动复制粘贴挑战与回答。
为什么推荐用 API 自动测试?
ModelTrace 提供两种测试方式:
- 手动测试:复制三条挑战,分别发给待测模型,再把每次完整输出粘贴回页面;
- API 自动测试:填好接口信息后,程序自动向待测接口发起请求,以“拿到 3 份有效回答”为目标完成归因。
对于任何支持 OpenAI 或 Anthropic 风格接口的模型服务(官方 API、自建网关、第三方中转),API 自动测试都是最快、最省心的路径 👉 全程无需离开页面。
一键上手:三步启动 ModelTrace 并发起归因
第 1 步:获取并运行项目
克隆仓库并安装依赖,然后用启动脚本拉起本地网页服务:
git clone https://gitcode.com/gh_mirrors/mo/ModelTrace cd ModelTrace python -m pip install -r requirements.txt python start.py启动后浏览器会自动打开页面地址http://127.0.0.1:7860/,顶部会显示当前统一候选库中的候选模型数量(当前内置指纹库覆盖 GPT 与 Claude 两个家族共 13 个模型,见 data/unified_bank.json)。
第 2 步:切换“API 自动测试”并填写表单
进入「模型测试」工作区,点击API 自动测试标签页(表单定义见 templates/index.html),只需填写 4 个字段:
| 字段 | 说明 |
|---|---|
| Base URL | 接口的根地址,如https://example.com/v1,也支持直接填完整端点 |
| 接口模型名 | 实际请求时使用的模型名(以渠道商文档为准) |
| API Key | 仅用于当前页面发起请求,不写入磁盘 |
| 温度(可选) | 留空则使用接口默认值 |
Base URL 不需要纠结格式:程序会自动补全路径。若以/v1结尾,OpenAI 格式会补成/v1/chat/completions,Anthropic 格式会补成/v1/messages,详见 enrollment.py 中的completion_url。
第 3 步:点击“开始测试”,等待进度条走完
点击开始测试后,页面会实时显示进度,例如有效 0/3 · 已尝试 0/6。程序内部的工作流程(app.py 的/api/test/auto接口 → enrollment.py 的test_automatic)是:
- 自动生成最多 6 条长整数生成挑战;
- 逐条调用待测接口,接口格式默认
auto,会先尝试 OpenAI Chat Completions,失败再尝试 Anthropic Messages; - 每次请求遇到 408/429/5xx 等可重试状态码时自动退避重试,最多 3 次;
- 解析回答中的数字,有效数字达标(不少于 80 个或期望值的 55%)即记为一份有效回答;
- 集满 3 份后立即停止请求,进入归因评分。
归因原理速览:三份回答如何变成概率
拿到 3 份有效回答后,fingerprint.py 会在统一特征空间中为每份回答打分:0.75 权重的 Hellinger 模型中心相似度,加上 0.25 权重的有序块数字序列特征;三份得分取平均后,通过与查询数量对应的校准温度做一次全局 softmax,得到具体模型概率,家族概率则是该家族下各模型概率之和。
两点提醒(项目 README 原文声明):
- 结果是“当前候选库内、均匀先验下的闭集概率”,未收录模型仍会被归到最相似的现有候选,结果仅供参考,并非决定性证据;
- 系统提示词会显著影响模型偏好,在 Claude Code 中测试结果偏差较大,不建议在该环境下测试。
常见问题排查
- 提示被 Cloudflare/WAF 拦截:确认 Base URL 指向 API 端点而非网页地址、API Key 有效,或该服务是否限制当前网络/IP;
- 提示“有效数字不足”:说明该回答生成的数字太少,程序会自动换下一条挑战继续,直到集满 3 份或 6 次尝试用尽;
- 接口格式自动探测失败:页面上会分别列出 openai / anthropic 两种格式的失败原因,可直接对照排查;
- 回答被截断或拒答:如 Anthropic 的
stop_reason为max_tokens或refusal,该次回答不计入并自动重试下一条。
进阶:不止测试,还能建库
同一个 Base URL 填写入口,在「指纹库管理」工作区可用于新建指纹:采集 3~36 份回答并自动拟合指纹库(app.py 的/api/enroll/auto)。常用文件位置一览:
- Web 接口:app.py
- 指纹提取与归因:fingerprint.py
- 指纹库构建与概率校准:bank_builder.py
- 自动建库挑战:challenge_suite.py
- API 调用与指纹采集:enrollment.py
- 参考数据与指纹库:data/
整体流程很简单:克隆仓库 → 一行命令启动 → 填好 Base URL → 点击开始测试,几十秒后你就能在页面上看到模型家族与具体版本的归因概率。如果你的待测模型不在内置库中,也可以顺手用同一份接口信息为它建立新指纹,让 ModelTrace 的候选库越来越全。
【免费下载链接】ModelTrace
主动探测模型归因
相关推荐
ModelTrace 快速上手:5 分钟跑通本地模型归因工具的完整教程
ModelTrace 快速上手:5 分钟跑通本地模型归因工具的完整教程 ModelTrace 是一个本地运行的 模型归因工具 :它通过三条独立的长整数生成挑战提
F8Framework AI自动化实战:5步掌握unity-mcp集成与智能游戏开发 🚀
F8Framework AI自动化实战:5步掌握unity mcp集成与智能游戏开发 🚀 想要让AI助手直接控制Unity编辑器,实现智能化的游戏开发流程吗?
游戏开发UI组件10个Planetary.js实用插件推荐:让你的地球仪交互体验飙升
10个Planetary.js实用插件推荐:让你的地球仪交互体验飙升 Planetary.js是一款强大的Web地球仪可视化库,它提供了丰富的插件系统,帮助开发
前端图形学
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考