企业官网建设流程全解析

1. 本地 ES 9.x 里 Filebeat CEL Input 到底解决什么问题

如果你在本地跑了一套 Elasticsearch 9.x，想把一个自研 HTTP 接口、一个定时导出的 CSV、或者一个内部监控系统的返回结果接进来，传统做法通常是写 Logstash 插件、写 Python 脚本定时推、或者干脆用 curl 加 cron 拼。这些方案都能跑，但维护起来各有各的麻烦：脚本要自己管重试、管断点、管认证，Logstash 又偏重。

Filebeat 的 CEL Input 就是为这类场景准备的。CEL 全称 Common Expression Language，是一种非图灵完备的表达式语言，没有循环、没有递归，所以单次执行时间可控，不会因为写错逻辑把本地机器 CPU 吃满。Filebeat 内置了一个轻量 CEL 运行时，按你配置的 interval 周期性执行你写的 CEL 程序，程序里可以通过扩展库去读本地文件、发 HTTP 请求、解析 JSON/XML/CSV，然后把结果转成 Filebeat 事件发到 Elasticsearch。

它适合谁？我总结下来是三类人：一是在本地做 ES 9.x 验证、需要快速接入自定义数据源的开发和运维；二是内网环境里有一堆零散 HTTP 接口、不想为每个接口写采集脚本的人；三是想把采集逻辑收敛到 Filebeat 一套配置里、少维护一个组件的团队。ES 9.x 在 8.6+ 的 CEL 能力上又补了动态令牌文件、时间截断函数、失败请求 dump 这些本地部署很实用的东西，所以现在用 9.x 本地跑 CEL Input，体验比早几年顺不少。

这篇就按“本地部署 + 能直接复制跑通”的思路来：先讲清楚 CEL Input 在 ES 9.x 下的关键配置项，再给一份完整的 filebeat.yml，然后写 CEL 程序、启动、用 curl 验证采集结果，最后把几个高频报错挨个拆开。你跟着做，本地环境基本能一次跑通。

2. TaoToken 前置准备：本地联调大模型接口时的 Key 与地址

CEL Input 本身不依赖任何大模型服务，它采集的是你自己的数据源。但本地做 ES 9.x 验证时，很多人会顺手把采集到的日志或结构化数据丢给模型做摘要、分类、异常判断，这时候就需要一个稳定的模型调用入口。我本地联调时用的是 TaoToken，它的 API 地址是https://taotoken.net/api，官网在https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content=，模型对话、Coding Plan、控制台、API Keys、接入文档这些入口都在官网能找到。

先把 Key 拿到手，后面 CEL 程序里如果要调模型接口，直接引用环境变量就行。操作路径是：进控制台，创建 API Key，然后到接入文档确认 Base URL 和 Model ID 的写法。本地部署场景下，我建议把 Key 放在环境变量或者一个权限 0600 的文件里，不要写死在 filebeat.yml 里，原因后面排障章节会讲。

具体三件套这样配：

• Base URL：https://taotoken.net/api
• API Key：控制台生成的 Key，本地放环境变量TAOTOKEN_API_KEY
• Model ID：按接入文档里当前可用的模型名填，比如对话类模型

如果你只是验证 CEL Input 采集链路，不调模型，这一步可以跳过，直接进第 3 节。但如果你打算在 CEL 程序里对采集到的数据做二次处理再上报，建议先把 Key 准备好，后面配置里我会留出引用位置。API Keys 页面在https://taotoken.net/api-keys，接入文档在https://taotoken.net/doc，模型对话入口在https://taotoken.net/chat，长期跑编码或 Agent 任务可以看 Coding Plan：https://taotoken.net/coding-plan。

3. 可复制配置：filebeat.yml 与 CEL 程序完整片段

这一节是核心，给一份能在本地 ES 9.x 下直接跑的配置。场景设定为：本地有一个 HTTP 接口http://127.0.0.1:8080/api/v1/logs，返回 JSON 数组，需要每分钟采集一次，带 Bearer Token 认证，采集结果写入本地 ES 9.x。

先看 filebeat.yml 的完整片段：

filebeat.inputs: - type: cel enabled: true interval: 1m resource.url: http://127.0.0.1:8080/api/v1/logs resource.timeout: 10s resource.retry: max_attempts: 3 wait_min: 500ms wait_max: 5s resource.keep_alive: disable: false max_idle_connections_per_host: 5 auth.token: enabled: true type: Bearer value: ${LOCAL_API_TOKEN} program: | get(state.url).Body.as(body, { "events": body.decode_json(), "cursor": {"last_id": body.decode_json()[0].id}, "want_more": false }) allowed_environment: ["LOCAL_API_TOKEN"] redact: fields: ["token", "password"] delete: true failure_dump: enabled: false filename: /var/log/filebeat/cel-failures/ tags: ["local-api", "cel"] fields: service: local-app fields_under_root: true keep_null: false output.elasticsearch: hosts: ["http://localhost:9200"] username: ${ES_USER} password: ${ES_PASS} index: "local-api-logs-%{+yyyy.MM.dd}" logging.level: info logging.to_files: true logging.files: path: /var/log/filebeat name: filebeat rotateeverybytes: 10485760 keepfiles: 7

几个关键点解释一下。resource.url用127.0.0.1而不是localhost，避免本地 DNS 解析带来的额外延迟。auth.token.value引用环境变量${LOCAL_API_TOKEN}，配合allowed_environment只放行这一个变量，防止 Filebeat 读到系统里其他敏感环境变量。redact里delete: true是直接删字段，比替换成星号更干净。failure_dump本地调试时可以临时开成true，把失败请求和响应落到/var/log/filebeat/cel-failures/，定位完问题再关掉。

CEL 程序部分，get(state.url)调用 HTTP 扩展库发请求，Body拿响应体，decode_json()把 JSON 字符串转成 CEL 对象。events字段就是最终上报的事件列表，cursor用来记录断点位置，want_more: false表示单次 interval 内只执行一轮。

如果你要采集的是本地 CSV 文件，把resource.url换成file:///var/log/app/app.csv，CEL 程序改成：

program: | get(state.url).Body.decode_mime("text/csv; header=present").as(rows, { "events": rows, "cursor": {"last_row": len(rows)}, "want_more": false })

decode_mime("text/csv; header=present")会按 CSV 解析，第一行当表头，每行转成一个对象。这里 cursor 记的是行数，实际生产里要结合文件偏移量做更精确的断点，本地验证够用。

如果你要在 CEL 程序里调模型接口做二次处理，可以在 program 里再发一次请求，把https://taotoken.net/api作为目标地址，Key 从环境变量读。不过要注意，CEL 是非图灵完备的，复杂逻辑建议拆成多步或者放到 Filebeat 的 processors 里做。

4. 验证请求：启动 Filebeat 并用 curl 确认采集结果

配置写好后，先别急着启动，用 mito 工具预校验 CEL 程序。mito 是 Elastic 提供的 CEL 测试工具，本地装一下：

go install github.com/elastic/mito/cmd/mito@latest

然后写一个测试文件test.cel，把 program 内容贴进去，用 mito 跑：

mito -data '{"url": "http://127.0.0.1:8080/api/v1/logs"}' test.cel

如果 CEL 语法有问题，这一步就会报出来，不用等 Filebeat 启动。确认没问题后，启动 Filebeat：

sudo filebeat -e -c /etc/filebeat/filebeat.yml

-e表示日志输出到 stderr，方便本地看。启动后观察日志，正常会看到celinput 启动、Harvester started之类的信息。等一个 interval（这里配的 1m），然后去 ES 里查：

curl -X GET "http://localhost:9200/local-api-logs-*/_search?pretty" -H 'Content-Type: application/json' -d' { "query": {"match_all": {}}, "size": 3 }'

如果返回的hits.hits里有你接口的数据，说明采集链路通了。再确认一下 cursor 是否生效：重启 Filebeat，观察第二次采集是不是从上次位置继续，而不是全量重采。本地验证时可以把接口返回的数据量调小，方便观察。

另外，如果你在 CEL 程序里调了模型接口，可以用 curl 单独验证模型侧是否通：

curl -X POST "https://taotoken.net/api" \ -H "Authorization: Bearer $TAOTOKEN_API_KEY" \ -H "Content-Type: application/json" \ -d '{"model": "你的模型ID", "messages": [{"role": "user", "content": "ping"}]}'

模型对话入口在https://taotoken.net/chat，接入文档在https://taotoken.net/doc，具体请求体格式以文档为准。这一步通了，再回到 Filebeat 里集成。

5. 本篇常见错排查：401、local proxy failed、reading choices、OAuth

本地跑 CEL Input，报错集中在几个地方，我按真实遇到的顺序拆。

401 Unauthorized：最常见。先确认auth.token.value引用的环境变量在 Filebeat 进程里能读到。Filebeat 以 systemd 启动时，环境变量不会自动继承 shell 的，需要在 unit 文件里加Environment=LOCAL_API_TOKEN=xxx，或者用EnvironmentFile=指向一个文件。另外确认type: Bearer和接口要求的认证方式一致，有的接口要Authorization: Token xxx，那就把 type 改成Token。如果 Key 放在文件里，检查文件权限是不是 0600，relaxed_permissions: false时权限不对会直接拒绝加载。

local proxy failed：这个报错通常出现在resource.url指向本地地址但 Filebeat 试图走代理时。本地部署场景下，如果系统设了HTTP_PROXY环境变量，Filebeat 会默认走代理，导致访问127.0.0.1失败。解决办法是在配置里显式禁用代理，或者在启动 Filebeat 时清掉代理环境变量。本地内网接口不需要代理，禁用后请求直接走回环，速度也更快。

reading choices：这个报错一般出现在 CEL 程序解析响应时，decode_json()拿到的结构和你预期的不一样。比如接口返回的是{"data": [...]}，你直接body.decode_json()当成数组用，就会在取字段时报错。排查方法是开failure_dump，把失败响应落到本地文件，看一眼实际返回结构，再调整 CEL 程序里的字段路径。另外reading choices有时也和want_more配合有关，如果程序里want_more: true但 cursor 没正确更新，下一轮会重复读同一批数据。

OAuth 相关报错：ES 9.3+ 支持 OAuth2，本地接内网身份提供商时，常见问题是 token 过期没刷新、或者refresh_interval设得太长导致用了旧 token。检查auth.oauth2配置里的 token URL、client ID、client secret 是否和本地身份提供商一致。如果用的是文件动态令牌，确认auth.file的path、prefix、refresh_interval三个字段都配了，prefix要和接口要求的令牌类型匹配，比如Bearer后面有个空格。

还有一个容易忽略的点：ES 9.x 里 cursor 是唯一跨重启持久化的状态，其他 state 字段重启后会丢。如果你在 program 里依赖了非 cursor 的 state 字段做断点，重启后会从头开始。所有需要跨重启的采集位置，都必须放进 cursor。

6. 语义一致 CTA：本地跑通后往哪走

本地把 CEL Input 跑通只是第一步。接下来你大概率会碰到两类需求：一是采集量上来了，需要更稳的调度和重试策略；二是采集到的数据要做二次处理，比如调模型做分类或摘要。

前者建议把resource.retry和resource.keep_alive调优，本地服务波动大就把max_attempts提到 5，wait_max放到 10s。后者如果要在 CEL 程序里调模型，Key 和 Base URL 按第 2 节准备好，模型对话入口在https://taotoken.net/chat，接入文档在https://taotoken.net/doc，API Keys 在https://taotoken.net/api-keys。长期跑编码或 Agent 类任务，可以看 Coding Plan：https://taotoken.net/coding-plan。

本地 ES 9.x 的 CEL Input 能力还在迭代，9.3+ 的时间截断函数和失败 dump 对调试帮助很大，建议本地验证时就把failure_dump开起来，定位完再关。采集链路稳定后，把配置里的明文密钥全部换成环境变量或权限 0600 的文件，这是本地部署到内网长期运行之间必须补的一步。