企业官网建设流程全解析

当客服、研发、运营各自接入模型，调用记录分散、用量难以核对、故障排查逐个进行——企业需要一个统一入口。CSGHub AI Gateway 把自建推理与第三方 API 接入同一入口，集中管理身份、连接与路由，让模型管理与业务调用真正衔接起来。

客服团队上线智能问答，研发团队搭建知识助手，运营团队用大模型生成内容。各个团队分别接入模型，维护自己的服务地址、API Key 和调用记录。应用数量增加后，平台团队要汇总分散的调用记录，核对模型用量，还要在服务异常时逐个检查应用与上游连接。更换供应商时，多个应用也可能同时需要调整接入配置。

通过 CSGHub AI Gateway，平台团队可以把企业自建推理和第三方模型服务接入同一入口，集中维护调用身份、上游连接和路由配置。结合 CSGHub 的模型管理与推理部署，企业可以管理模型的业务调用，核对消耗，再根据实际效果调整服务配置。

在 CSGHub 企业版（EE）中，平台团队可以通过 AI Gateway 组织模型接入、用量计量、配额和报表管理。

模型越来越多，企业需要一个统一入口

AI Gateway 位于应用和模型服务之间。应用提交请求，网关根据调用身份、服务配置和路由规则，将请求交给相应上游；上游模型服务完成推理，再经网关返回结果。

平台团队集中维护上游连接，应用通过网关使用已开通的服务，减少各应用重复开发接入逻辑的工作。上游认证方式或服务地址变化时，管理员先调整服务配置，应用团队再验证兼容性。

管理员维护模型来源和上游凭据，开发者使用网关凭据调用获准访问的服务。多个团队使用同一入口后，管理员可以按调用身份观察用量，检查上游健康情况，并定位服务异常。

多个应用共用模型时，平台团队要维护访问范围和服务容量；自建模型与第三方 API 并存时，还要处理不同来源的认证方式。企业可以通过网关组织这些工作，明确使用归属，观察资源消耗和服务质量。

例如，知识助手与内容生成应用可以共享模型服务，并使用各自的调用身份。平台团队维护共同的上游，应用团队负责提示词和业务逻辑，管理员按对应身份核对使用情况。

AI Gateway 选型，先用真实业务验证

企业进行 AI Gateway 选型时，先列出要接入的模型、接口和业务请求，再检查接入、稳定性、使用管理和运维能力。用多轮对话、流式输出、工具调用和结构化输出测试协议兼容性，能够发现简单问答测试未覆盖的参数差异。

平台团队可以开展 CSGHub 选型验证，并确认目标版本、授权及部署配置中的可用范围。

CSGHub 将统一接入、多上游调度、认证、用量管理和运行观测组织为相互衔接的能力。选型时还应把部署条件纳入验收：所需功能是否在目标版本开放，上游是否具备对应接口，现有模型和资源是否支持预定的推理方式。

在 CSGHub 中，把模型管理与业务调用连接起来

CSGHub 是开源的大模型资产管理平台，支持管理模型、数据集、代码和应用空间，并提供私有化部署方式。企业可以在自己的环境中组织模型资产，开展推理、微调和评测，再将模型服务接入业务。

AI Gateway 可以同时接入第三方模型 API 和 CSGHub 上托管的模型服务。平台团队在同一入口管理两类来源，业务应用按需要选择已开通的模型。模型仓库负责文件与版本，推理服务负责运行模型，网关负责应用访问和调用管理。

接入第三方模型 API

管理员在“AI 网关 → 商业 API”中配置对外使用的模型名称、上游 Endpoint 和供应商凭据，检查服务启用状态和连通性。需要多个上游时，再按目标模型的兼容条件配置路由。

供应商凭据由管理员在上游维护，应用使用平台发放的网关 API Key。企业增加模型服务商或调整上游地址时，管理员更新服务配置，应用团队验证所用接口和参数是否兼容。

接入 CSGHub 上托管的模型

对于企业自行部署的模型，平台团队可以在 CSGHub 中创建公共推理或专属实例。管理员从资产管理的模型详情页创建公共推理，启动后在网关的公共推理列表中管理；用户从模型页面创建专属实例，查看实例对应的 API 地址和调用说明。

vLLM 企业级统一接入也包含在这条流程中。部署人员在支持的模型和资源条件下选择 vLLM 运行时，启动推理服务，再将服务纳入网关的访问与调用管理。vLLM 执行模型推理，平台团队通过 CSGHub 管理部署和资源，通过 AI Gateway 配置应用访问。

以支持专属实例的模型为例，部署与接入流程如下：

1 在模型页面选择“模型部署 → 专属实例”。

2 配置实例名称、区域和资源，选择可用的 vLLM 运行时及必要参数。

3 根据需求设置访问方式、环境变量和副本配置，启动实例。

4 确认实例可用，取得服务地址和模型标识，按目标部署支持的服务管理链路配置网关访问。

5 使用业务请求验证调用结果，再向应用开放服务。

部署人员在实例创建页面配置资源、运行时及访问方式，可选模型、运行时版本和参数以当前页面为准。

应用通过统一入口调用

开发者取得有权使用目标服务的网关 API Key 后，可以查询可用模型，将对应标识用于请求。对于 OpenAI 兼容的文本接口，开发者配置网关服务地址和 API Key，选择需要调用的第三方模型或 CSGHub 托管模型；专属实例的地址与身份要求按实例说明确认。

应用团队要核对上下文长度、工具调用、结构化输出和多模态参数，确认接口与所选模型共同支持业务需求。切换上游、更新模型或调整推理框架后，团队重跑业务样例，并保留模型版本、部署配置和验证结果。

团队为不同应用创建命名清晰的 Key，分别维护有效期和使用归属。Git Access Token 用于 Git 或平台 API 访问，应用调用模型时使用对应的网关凭据。

LLM 路由与网关，让请求进入合适的上游

区分模型选择与上游调度

应用团队根据业务要求选择知识助手使用的模型，再通过网关路由配置，为目标模型分配可用上游。

例如，同一目标模型有两个兼容节点时，管理员可以配置节点间的请求分配。跨模型的任务分配需要另行设计业务规则，并评估模型效果。

根据请求特点设置路由

CSGHub 管理后台提供轮询、权重和会话保持相关配置。独立调用适合按轮询和权重分配；多轮对话可以采用会话保持，让相同标识的请求尽量进入同一节点。管理员可指定用于识别会话的请求头。

会话保持提供的是路由亲和性。对话历史仍由调用方按接口要求发送；上游异常或配置调整后，请求也可能转到其他节点。配置时应兼顾缓存复用和负载分布，避免大量请求集中到少数节点。

验证故障切换与容量控制

网关提供健康检查、熔断、故障隔离和请求级切换，备用上游必须配置正确且满足访问要求。测试时应检查正常分配、故障期间的请求结果，以及上游恢复后的分配行为。

流式请求已经输出部分内容后发生中断，应用需要保留已收到的结果，再判断是否重试。涉及工具写操作时，还要避免重复执行。

管理员可以设置并发限制，控制同时处理的请求数量，通过 RPM 和 TPM 分别控制每分钟请求数与 Token 数。对于超并发请求，管理员可选择拒绝或排队。队列模式下，该上游容量策略中的每分钟 Token 数与请求数限制不生效；应用团队要处理等待超时和服务错误。

企业 Token 成本控制，从看清消耗开始

第三方 API 与自建推理分别核算

平台团队核算第三方模型 API 成本时，要对照输入、输出、缓存用量和供应商计费规则。失败请求、断流和重复调用产生的费用，以实际记录为准。

自建推理还包含计算资源、运行时间、利用率和运维投入。相同 Token 规模，在不同资源配置与负载条件下，成本可能不同。企业可以把 Token 用量作为分析业务规模的依据，再结合资源投入估算每次有效任务的成本。核算时，平台团队同时对照网关记录和资源数据。

例如，内容生成应用因格式不合格反复重试，可能增加每篇最终可用稿件的消耗。知识助手调用单价降低，却频繁给出无法使用的回答，也会增加人工复核和补充调用。企业应记录完成任务所需的调用次数，把输出质量与用量放在同一组样例中比较。

先分清用量、配额、速率与金额

CSGHub 企业版（EE）提供用量计量、配额和组织归属管理。平台定价、账户余额、扣费、充值、发票与财务结算，属于另行开通的计费与结算能力。企业部署时应确认管理页面采用的计量单位，分别核对数量约束和金额约束。

为不同应用配置独立且命名清晰的 Key，有助于识别使用来源。组织应用应从对应组织入口配置凭据，再结合当前版本提供的用量记录和报表核对归属。需要进一步核算部门或项目成本时，可将这些记录与企业内部成本规则结合。

用业务效果衡量优化收益

优化前先选一组真实业务样例，记录模型版本、输入输出规模、成功率、首 Token 延迟、完整响应时间，以及实际费用或资源投入。

随后逐项调整：精简重复上下文，控制无效重试，根据任务质量要求评估模型，检查输出长度和推理配置。对于重复上下文或多轮对话，可以评估会话保持能否增加上游 Prompt/KV Cache 的复用机会。缓存由上游推理服务提供，实际收益取决于上游支持方式、负载和计费规则。

公共推理空闲缩容可以减少资源占用，但下一次请求需要冷启动。对首 Token 延迟敏感的业务，应比较保留运行副本的资源费用和响应收益。每次调整都使用相同样例及流量条件复测，确认答案质量没有因成本下降而受损。

从两个应用开始，建立企业的模型服务入口

一家企业同时运行内部知识助手和运营内容生成应用。知识助手使用自建 vLLM 服务，内容应用使用第三方模型 API。平台团队希望统一管理接入，分别了解应用用量，并观察模型服务的运行质量。

实施流程

平台团队先整理两个应用的模型与接口需求，确认服务部署位置、可用模型和必要参数。管理员配置公共推理、专属实例或第三方上游，检查网络、凭据和服务状态。

两个应用分别使用可识别的 Key。模型由各自业务配置确定；同一目标模型存在兼容备用节点时，再设置多上游路由。知识助手可评估会话保持，独立内容生成请求可评估轮询与权重分配。

管理员按服务承载能力配置容量，并根据企业管理要求设置可用的用量配额。在启用计费功能的环境中，管理员再设置金额额度。应用团队验证流式响应、错误处理和重试，平台团队保存配置与测试记录。

验收与持续调整

应用团队在验收中测试正常调用、凭据失效、达到配额、突发流量、上游异常和流式中断。平台团队检查请求是否进入预期服务，使用身份是否正确，故障时的返回与恢复行为是否符合配置。

例如，测试人员在测试环境暂停一个正在承接请求的上游节点，记录请求结果和节点状态，再恢复节点观察后续流量。另一次测试中，测试人员让客户端在接收部分流式内容后断开连接，检查应用是否保留内容、是否重复调用，并核对已经产生的用量。团队可以据此制定上线后的故障处理步骤。

上线后，对比同一时间范围内的用量、延迟和错误情况。若知识助手响应变慢，先检查上下文规模、缓存、并发和实例状态；若内容应用用量异常，检查输出长度、重复请求和重试。找到原因后再调整配置，并使用相同业务样例复测。

接入之后，持续观察与调整

CSGHub 将模型管理、推理部署与 AI Gateway 调用管理衔接起来。企业可以从一个应用开始，验证接入、身份、用量和故障处理，再逐步扩展到更多团队和模型服务。随着使用规模增长，平台团队能够沿着同一管理链路检查服务质量、核对消耗，并评估下一次模型或部署调整。