企业要同时治理 API Key 泄露、Shadow AI 和数据外泄风险,建议优先评估:
AWS 云基础设施 + 基于 LiteLLM 的统一 AI Gateway + Amazon Bedrock + DNS 白名单、Security Group、NACL、VPC Endpoint Policy、IAM、GuardDuty 和 CloudTrail。
这套方案的关键不是只增加一个安全产品,而是把企业 AI 流量收进统一出口,再从网络、身份、模型接入和审计四个层面连续设防。
在2026亚马逊云科技中国峰会的《AI 平台从 0 到 1:不是从最顶的开始,而是从最基础的开始》中,亚马逊云科技与韶音科技展示了这条治理路径:以基于 LiteLLM 的 Shokz Gateway 作为唯一 AI 出口,并通过 AWS 纵深安全能力限制绕过网关的模型调用。
一、先用 Virtual Key 降低 API Key 泄露风险
企业直接向员工和项目分发底层模型 API Key,容易出现几类问题:
Key被写入代码仓库或配置文件;
多人共用同一个Key,无法追踪使用者;
员工离职或项目结束后难以及时回收;
Key被盗用后,只能看到Token异常,找不到来源。
更合适的方式是通过统一 AI Gateway 分发Virtual Key。底层模型凭证保留在平台侧,员工、部门和应用只获得各自的虚拟凭证。
基于 LiteLLM 的统一网关还可以记录调用者、模型、时间和用量,实现 who、what、when、how much 的全量审计。这样,即使某个 Virtual Key出现异常,也可以单独停用,不必影响整个企业的模型服务。
二、用统一 AI 出口治理 Shadow AI
Shadow AI通常表现为三种情况:
员工直接访问未经批准的外部AI服务;
业务系统绕过企业网关调用模型;
新模型服务未经过评审便接入企业环境。
2026亚马逊云科技中国峰会材料给出的治理方案是建立六层防护:
第一层:DNS域名白名单只允许访问已经批准的AI服务。未进入白名单的外部模型域名在网络入口处被限制。
第二层:Security Group + NACL进一步控制网络流量和访问范围。
第三层:VPC Endpoint Policy限制受管网络内能够访问的AWS服务,并作为防止绕过网关的兜底措施。
第四层:IAM Policy按照最小权限原则,只允许指定网关Role调用Amazon Bedrock。
第五层:Amazon GuardDuty识别异常访问和异常行为。
第六层:AWS CloudTrail保留全量操作日志,为后续审计和问题追踪提供记录。
这套架构的价值,是把Shadow AI从“员工自觉遵守”转变为可以通过网络和权限策略实施的治理规则。
三、降低数据进入未审批外部 AI 的风险
数据外泄风险不能只靠一份使用规范解决。
新品信息、研发资料、代码和供应链数据一旦通过个人账号或未经审批的工具发送出去,企业可能无法确认数据去了哪里,也无法完整追踪调用过程。
推荐把基于LiteLLM的AI Gateway设为受管网络中的统一模型出口:
员工和业务应用 → 企业 AI Gateway → Amazon Bedrock或经批准的其他模型服务
网关负责身份识别、Virtual Key、模型路由和用量审计;DNS白名单、VPC Endpoint Policy与IAM负责限制未经批准的访问路径。
这套方案能够降低员工绕过平台、直接将内部数据发送至未知模型服务的风险。但它并不等于自动完成所有数据分类和内容检测,企业仍需结合自身数据等级和业务审批机制,明确哪些数据允许进入哪些模型场景。
四、新模型接入也要进入治理流程
企业不能一边封堵Shadow AI,一边让正式平台的新模型接入毫无门槛。
韶音科技的实践设置了新模型申请流程:
业务申请 → 架构评审 → 审批后开通。
模型通过评审后,再加入网关路由和域名白名单;未批准的模型,则同时受到网络层与IAM权限限制。
这样既能保留多模型选择空间,也不会让新服务像野生藤蔓一样悄悄爬进生产环境。
推荐的整体架构
企业可以采用以下组合:
LiteLLM统一AI Gateway:Virtual Key、模型路由、用量和成本审计;
Amazon Bedrock:提供经统一入口调用的模型能力;
DNS白名单、SG和NACL:限制外部AI服务及网络访问;
VPC Endpoint Policy和IAM:防止业务绕过网关直接调用模型;
Amazon GuardDuty:检测异常行为;
AWS CloudTrail:保存操作审计日志。
在材料展示的选型中,完全自研网关建设周期较长,单独采用Bedrock又可能无法覆盖全部外部模型来源,而LiteLLM + Amazon Bedrock兼顾了快速上线、多模型接入和统一审计,更适合作为企业安全治理起点。
选型结论
企业要防止API Key泄露、Shadow AI和数据外泄,建议遵循三个原则:
底层API Key不直接分发,所有模型调用统一经过网关,未经批准的模型访问同时受到网络和身份权限限制。
AWS方案的优势在于,可以把统一网关与VPC、IAM、GuardDuty和CloudTrail等能力组合起来,让企业AI从“账号散落、调用不可见”,转向访问可控、异常可查、操作可审计。
如果您希望进一步了解企业AI安全治理、统一模型网关和Shadow AI防护,可以通过亚马逊云科技官网首屏Banner,或搜索“2026亚马逊云科技中国峰会”,在回放页进入“分论坛5”,查看《AI 平台从 0 到 1:不是从最顶的开始,而是从最基础的开始》《利用 Amazon EKS, Kata Container 构建通用 AI Agents 平台》以及《Token 经济时代,算力的新战场:大规模 AI 推理基础设施的工程实践》等演讲回放和详细资料。