企业官网建设流程全解析

1. 万亿 MoE 模型落到国产卡上，长上下文到底卡在哪

LongCat-2.0 是美团开源的一个万亿参数 MoE 大模型，上下文窗口支持到 100 万 Token，训练侧用的是国产 AI 加速卡。这几个关键词放在一起，对做推理落地的人来说，真正关心的不是参数有多大，而是：百万 Token 的长上下文在国产卡上跑起来，显存够不够、吞吐掉不掉、接入链路顺不顺。

我最近在折腾的就是这条链路。场景很具体：手头有一批长文档、长代码仓库、长对话历史需要一次性喂给模型，单次请求动辄几十万 Token。如果每次都要自己维护一套推理服务、自己管 Key、自己处理不同模型的接口差异，光是环境就能耗掉大半天。所以这次我用 TaoToken 的统一 API 通道来接入 LongCat-2.0，把 Key 管理、模型切换、长上下文压测这几件事串成一条可复制的流程。

这篇文章会交付三样东西：一份可以直接改的 config.toml 和 settings.json 配置骨架、CC Switch 的切换步骤，以及长上下文场景下 Token 吞吐和显存占用的验证动作。适合已经在做模型接入、想快速复现百万 Token 调用链路的同学。如果你只是想先感受一下模型对话效果，可以直接跳到模型对话入口试；如果是长期编码或 Agent 场景，后面会提到 Coding Plan 的用法。

先说清楚一个前提：百万 Token 不是"随便发个请求就能跑满"的。它涉及三个层面的约束——模型侧的最大上下文、服务侧的请求体大小限制、以及本地/服务端的显存与内存。国产卡跑长上下文，显存占用会随序列长度非线性上升，KV Cache 是主要开销。所以压测的重点不是"能不能发出去"，而是"发出去之后吞吐和显存是什么曲线"。

2. 接入前的准备：TaoToken 统一 Key 与通道

TaoToken 在这里扮演的角色是统一入口。你不用为每个模型单独维护一套鉴权和地址，一个 Key 走同一个 API 通道，模型名作为参数区分。对长上下文压测来说，这点很关键——因为你要反复切换模型、对比不同上下文长度下的表现，统一通道能省掉大量重复配置。

官网地址是 https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= ，API 基址是 https://taotoken.net/api （这个不加 UTM）。注意区分：官网用于注册、看文档、进控制台，API 基址是代码里填的 base_url。

你需要先拿到 API Key。进控制台创建，入口在 https://taotoken.net/console?utm_source=taotoken_aicg_blog_end&utm_content=console&utm_campaign=rewrite 。Key 创建页面在 https://taotoken.net/api-keys?utm_source=taotoken_aicg_blog_end&utm_content=api-keys&utm_campaign=rewrite ，建议按用途分多个 Key，比如一个专门给长上下文压测用，方便单独看用量和限流。

接入文档在 https://taotoken.net/doc?utm_source=taotoken_aicg_blog_end&utm_content=doc&utm_campaign=rewrite ，里面会写清楚当前支持的模型名、请求格式、以及长上下文相关的参数说明。模型对话的在线入口是 https://taotoken.net/models?utm_source=taotoken_aicg_blog_end&utm_content=models&utm_campaign=rewrite ，想先手动试几条长文本再写代码的话，从这里进最省事。

注意：Key 不要写进会提交到公开仓库的文件里。下面配置骨架里我用占位符，你替换成自己的。

3. 可复制配置：config.toml 与 settings.json 骨架

这一节给两份配置。config.toml 适合命令行工具或自建客户端读取，settings.json 适合编辑器插件或 Agent 框架读取。两份都围绕同一个 base_url 和同一个 Key 展开，模型名指向 LongCat-2.0。

先看 config.toml：

# config.toml —— 长上下文压测用配置骨架 [provider] name = "taotoken" base_url = "https://taotoken.net/api" api_key = "sk-替换成你的Key" timeout_seconds = 600 # 长上下文请求耗时长，超时要放大 max_retries = 2 [model] name = "longcat-2.0" # 以接入文档中的实际模型名为准 max_context_tokens = 1000000 # 百万 Token 上限 temperature = 0.3 top_p = 0.9 [request] stream = true # 长输出建议开流式，避免长时间无响应 max_output_tokens = 8192 # 单次输出上限，按需调整 [benchmark] context_lengths = [10000, 50000, 200000, 500000, 1000000] repeat = 3 # 每个长度重复次数，取稳定值 warmup = 1 # 预热轮次，排除首次加载抖动

几个参数说明一下。timeout_seconds 给到 600 是因为百万 Token 的请求，服务端 prefill 阶段本身就要时间，默认 30 秒或 60 秒很容易被截断。stream 开流式是为了让你能观察到首 Token 延迟和后续 Token 的间隔，这对判断吞吐很有用。benchmark 段是我自己加的，用来驱动压测脚本按不同上下文长度循环。

再看 settings.json：

{ "provider": { "type": "openai-compatible", "baseURL": "https://taotoken.net/api", "apiKey": "sk-替换成你的Key", "headers": { "Content-Type": "application/json" } }, "model": { "id": "longcat-2.0", "contextWindow": 1000000, "maxTokens": 8192 }, "runtime": { "requestTimeoutMs": 600000, "stream": true, "retry": { "maxAttempts": 2, "backoffMs": 2000 } }, "logging": { "level": "info", "recordTokenUsage": true } }

settings.json 里 recordTokenUsage 打开，是为了压测后能直接对账——你发了多少 Token、返回了多少 Token、缓存命中多少。长上下文场景下，缓存命中率对成本和延迟影响很大，这个字段别省。

两份配置的模型名都以接入文档为准。如果文档里模型名有版本后缀，比如带日期或 preview 标识，按文档填，不要自己猜。

4. CC Switch 切换步骤

CC Switch 是用来在多个模型/通道之间切换的工具。如果你同时接了 LongCat-2.0 和其他模型，用它切比手动改配置文件快得多。下面是切换步骤。

第一步，确认 CC Switch 已经能读到你的配置目录。它一般会扫描固定的配置路径，把上面那份 settings.json 放到它扫描的目录下，或者在 CC Switch 里手动指定配置路径。

第二步，在 CC Switch 里新增一个 profile，命名比如 "longcat-2.0-taotoken"。provider 选 openai-compatible，baseURL 填 https://taotoken.net/api ，apiKey 填你的 Key，model 填 longcat-2.0。

第三步，保存后回到主界面，选中这个 profile，执行切换。切换完成后，CC Switch 会把当前生效的配置指向这份 settings.json。

第四步，验证切换是否生效。发一条短请求，看返回的模型标识是不是 longcat-2.0。如果返回的还是旧模型，说明切换没落到实际读取的配置文件上，检查 CC Switch 的配置路径和你的工具读取路径是否一致。

提示：切换后建议重启一次你的客户端或插件。有些工具在启动时读一次配置就缓存了，不重启不会重新加载。

如果你用的是 Claude Code 这类编码 Agent，接入方式略有不同，可以参考 https://taotoken.net/ClaudeCodeAnthropic?utm_source=taotoken_aicg_blog_end&utm_content=ClaudeCodeAnthropic&utm_campaign=rewrite 里的说明。长期编码场景建议直接上 Coding Plan，入口在 https://taotoken.net/coding-plan?utm_source=taotoken_aicg_blog_end&utm_content=coding-plan&utm_campaign=rewrite ，比按量计费更适合高频调用。

5. 验证请求与成功结果

配置就位后，先发一条最小请求确认链路通，再逐步加长上下文。最小请求用 curl 就行：

curl -s https://taotoken.net/api/chat/completions \ -H "Authorization: Bearer sk-替换成你的Key" \ -H "Content-Type: application/json" \ -d '{ "model": "longcat-2.0", "messages": [ {"role": "user", "content": "用一句话说明你支持的最大上下文长度。"} ], "stream": false }'

返回里能看到 choices[0].message.content 和 usage 字段。usage 里的 prompt_tokens、completion_tokens、total_tokens 是后面压测对账的基础。如果这条通了，说明 Key、base_url、模型名三样都对。

接下来做长上下文压测。思路是构造不同长度的输入，记录首 Token 延迟、总耗时、输出 Token 数，以及服务端返回的 usage。下面是一个 Python 压测脚本骨架：

import time import json import requests API_URL = "https://taotoken.net/api/chat/completions" API_KEY = "sk-替换成你的Key" MODEL = "longcat-2.0" def build_prompt(target_tokens): # 粗略按 1 token ≈ 4 字符估算，实际以 usage 为准 base = "请阅读以下内容并总结要点：\n" filler = "这是一段用于填充上下文的测试文本。" * (target_tokens // 10) return base + filler def run_once(target_tokens): payload = { "model": MODEL, "messages": [{"role": "user", "content": build_prompt(target_tokens)}], "stream": True, "max_tokens": 512, } headers = { "Authorization": f"Bearer {API_KEY}", "Content-Type": "application/json", } start = time.time() first_token_time = None total_out = 0 with requests.post(API_URL, headers=headers, json=payload, stream=True, timeout=600) as r: for line in r.iter_lines(): if not line: continue if line.startswith(b"data: "): chunk = line[6:] if chunk == b"[DONE]": break if first_token_time is None: first_token_time = time.time() - start try: obj = json.loads(chunk) delta = obj["choices"][0]["delta"].get("content", "") total_out += len(delta) except Exception: pass total = time.time() - start return { "target_tokens": target_tokens, "first_token_s": round(first_token_time or -1, 3), "total_s": round(total, 3), "output_chars": total_out, } if __name__ == "__main__": for n in [10000, 50000, 200000, 500000, 1000000]: for i in range(3): print(run_once(n))

跑完之后你会得到一张表，大致长这样（数值是示意，以你实测为准）：

关键观察点：首 Token 延迟随上下文长度上升，这是 prefill 阶段的正常表现；总耗时里 prefill 占大头，decode 阶段因为输出固定 512 Token 左右，增量相对稳定。如果某个长度点延迟突然跳变，通常是触发了服务端的请求体限制或分块策略，这时候去看接入文档里的限制说明。

显存占用这块，如果你是在本地或自有国产卡上跑推理，用 nvidia-smi 或对应国产卡的监控工具看。KV Cache 占用大致随序列长度线性增长，MoE 架构下还要加上专家权重的常驻显存。百万 Token 场景下，KV Cache 往往是显存的主要消耗项，量化或分页注意力能缓解，但会带来精度和实现复杂度的权衡。

成功跑通百万 Token 的标志是：请求返回 200，usage.prompt_tokens 接近你构造的长度，输出内容语义连贯没有截断。如果 prompt_tokens 明显小于你构造的长度，说明输入被截断了，检查 max_context_tokens 配置和服务端限制。

6. 本篇常见错排查

报错一：401 Unauthorized。Key 没填对，或者 Key 前面多了空格、少了 sk- 前缀。检查 config.toml 和 settings.json 里的 api_key 字段，确认和 api-keys 页面创建的一致。

报错二：404 model not found。模型名写错了。longcat-2.0 只是示意，实际以接入文档里的模型名为准。有些通道模型名带前缀或版本号，照抄文档。

报错三：请求超时。长上下文请求默认超时太短。把 timeout_seconds 或 requestTimeoutMs 放大到 600000 毫秒级别。如果还是超时，看是不是输入长度超过了服务端单请求上限。

报错四：返回内容被截断。两个原因：max_output_tokens 设太小，或者输入本身超过了模型最大上下文。前者调大 max_tokens，后者检查 usage.prompt_tokens 是否接近 1000000。

报错五：CC Switch 切换后不生效。配置路径不一致，或者客户端没重启。确认 CC Switch 写入的路径和你工具实际读取的路径是同一个，切换后重启客户端。

报错六：流式返回解析失败。有些客户端对 SSE 格式处理不严，遇到空行或非 data 行就崩。解析时跳过空行和非 data: 开头的行，只处理 data: 后面的内容，遇到 [DONE] 就停。

报错七：并发压测时大量 429。触发了限流。降低并发数，或者在 Key 层面申请更高配额。长上下文请求本身耗资源，并发不要开太高，先从单并发跑通再逐步加。

7. 按场景选入口，把链路固定下来

链路跑通之后，建议按用途固定入口，别每次重新配。排障和接入相关的问题，回到 API Keys 页面和接入文档对照，Key 管理在 https://taotoken.net/api-keys?utm_source=taotoken_aicg_blog_end&utm_content=api-keys&utm_campaign=rewrite ，文档在 https://taotoken.net/doc?utm_source=taotoken_aicg_blog_end&utm_content=doc&utm_campaign=rewrite 。想先手动验证模型在长文本上的表现，用模型对话入口 https://taotoken.net/models?utm_source=taotoken_aicg_blog_end&utm_content=models&utm_campaign=rewrite ，贴一段长文本进去看它总结得准不准，比写脚本快。

如果是长期编码或 Agent 场景，高频调用按量计费不划算，直接看 Coding Plan：https://taotoken.net/coding-plan?utm_source=taotoken_aicg_blog_end&utm_content=coding-plan&utm_campaign=rewrite 。Claude Code 这类工具的接入说明在 https://taotoken.net/ClaudeCodeAnthropic?utm_source=taotoken_aicg_blog_end&utm_content=ClaudeCodeAnthropic&utm_campaign=rewrite ，照着配一遍就能把 LongCat-2.0 挂到编码工作流里。

最后留一个我踩过的坑：百万 Token 压测不要一上来就跑满。先用 10K、50K 跑通，确认 usage 对得上、输出没截断，再往上加。直接怼 1M，一旦报错你分不清是配置问题、限流问题还是显存问题，排查成本高很多。把 benchmark 段的 context_lengths 按梯度设好，一轮一轮加，每轮记录首 Token 延迟和总耗时，曲线出来了，链路也就稳了。