☰
ModelTrace API 自动测试指南:填好 Base URL 一键完成模型归因
2026/10/12 4:50:23 网站建设 项目流程

【免费下载链接】ModelTrace

主动探测模型归因

项目地址:https://gitcode.com/gh_mirrors/mo/ModelTrace
点击查看免费下载

ModelTrace 是一个本地运行的主动模型归因工具:它通过三条长整数生成挑战提取输出指纹,在统一候选库中自动判断模型家族和具体版本。本文以它的API 自动测试模式为主线,讲解如何只填好 Base URL、API Key 和模型名,就让程序自动完成探测、采集与归因,无需手动复制粘贴挑战与回答。

为什么推荐用 API 自动测试?

ModelTrace 提供两种测试方式:

  • 手动测试:复制三条挑战,分别发给待测模型,再把每次完整输出粘贴回页面;
  • API 自动测试:填好接口信息后,程序自动向待测接口发起请求,以“拿到 3 份有效回答”为目标完成归因。

对于任何支持 OpenAI 或 Anthropic 风格接口的模型服务(官方 API、自建网关、第三方中转),API 自动测试都是最快、最省心的路径 👉 全程无需离开页面。

一键上手:三步启动 ModelTrace 并发起归因

第 1 步:获取并运行项目

克隆仓库并安装依赖,然后用启动脚本拉起本地网页服务:

git clone https://gitcode.com/gh_mirrors/mo/ModelTrace cd ModelTrace python -m pip install -r requirements.txt python start.py

启动后浏览器会自动打开页面地址http://127.0.0.1:7860/,顶部会显示当前统一候选库中的候选模型数量(当前内置指纹库覆盖 GPT 与 Claude 两个家族共 13 个模型,见 data/unified_bank.json)。

第 2 步:切换“API 自动测试”并填写表单

进入「模型测试」工作区,点击API 自动测试标签页(表单定义见 templates/index.html),只需填写 4 个字段:

字段说明
Base URL接口的根地址,如https://example.com/v1,也支持直接填完整端点
接口模型名实际请求时使用的模型名(以渠道商文档为准)
API Key仅用于当前页面发起请求,不写入磁盘
温度(可选)留空则使用接口默认值

Base URL 不需要纠结格式:程序会自动补全路径。若以/v1结尾,OpenAI 格式会补成/v1/chat/completions,Anthropic 格式会补成/v1/messages,详见 enrollment.py 中的completion_url。

第 3 步:点击“开始测试”,等待进度条走完

点击开始测试后,页面会实时显示进度,例如有效 0/3 · 已尝试 0/6。程序内部的工作流程(app.py 的/api/test/auto接口 → enrollment.py 的test_automatic)是:

  1. 自动生成最多 6 条长整数生成挑战;
  2. 逐条调用待测接口,接口格式默认auto,会先尝试 OpenAI Chat Completions,失败再尝试 Anthropic Messages;
  3. 每次请求遇到 408/429/5xx 等可重试状态码时自动退避重试,最多 3 次;
  4. 解析回答中的数字,有效数字达标(不少于 80 个或期望值的 55%)即记为一份有效回答;
  5. 集满 3 份后立即停止请求,进入归因评分。

归因原理速览:三份回答如何变成概率

拿到 3 份有效回答后,fingerprint.py 会在统一特征空间中为每份回答打分:0.75 权重的 Hellinger 模型中心相似度,加上 0.25 权重的有序块数字序列特征;三份得分取平均后,通过与查询数量对应的校准温度做一次全局 softmax,得到具体模型概率,家族概率则是该家族下各模型概率之和。

两点提醒(项目 README 原文声明):

  • 结果是“当前候选库内、均匀先验下的闭集概率”,未收录模型仍会被归到最相似的现有候选,结果仅供参考,并非决定性证据;
  • 系统提示词会显著影响模型偏好,在 Claude Code 中测试结果偏差较大,不建议在该环境下测试。

常见问题排查

  • 提示被 Cloudflare/WAF 拦截:确认 Base URL 指向 API 端点而非网页地址、API Key 有效,或该服务是否限制当前网络/IP;
  • 提示“有效数字不足”:说明该回答生成的数字太少,程序会自动换下一条挑战继续,直到集满 3 份或 6 次尝试用尽;
  • 接口格式自动探测失败:页面上会分别列出 openai / anthropic 两种格式的失败原因,可直接对照排查;
  • 回答被截断或拒答:如 Anthropic 的stop_reason为max_tokens或refusal,该次回答不计入并自动重试下一条。

进阶:不止测试,还能建库

同一个 Base URL 填写入口,在「指纹库管理」工作区可用于新建指纹:采集 3~36 份回答并自动拟合指纹库(app.py 的/api/enroll/auto)。常用文件位置一览:

  • Web 接口:app.py
  • 指纹提取与归因:fingerprint.py
  • 指纹库构建与概率校准:bank_builder.py
  • 自动建库挑战:challenge_suite.py
  • API 调用与指纹采集:enrollment.py
  • 参考数据与指纹库:data/

整体流程很简单:克隆仓库 → 一行命令启动 → 填好 Base URL → 点击开始测试,几十秒后你就能在页面上看到模型家族与具体版本的归因概率。如果你的待测模型不在内置库中,也可以顺手用同一份接口信息为它建立新指纹,让 ModelTrace 的候选库越来越全。

【免费下载链接】ModelTrace

主动探测模型归因

项目地址:https://gitcode.com/gh_mirrors/mo/ModelTrace
点击查看免费下载

相关推荐

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询