企业官网建设流程全解析

• 网络安全
• 网络
• IDS

导读

本文以 Zeek 的 Summary Statistics（简称 SumStats）框架为核心，系统讲解如何将海量、无界的网络事件数据流压缩为简单的统计度量，并在此基础上实现周期汇总与阈值告警。读完本文，你将掌握 SumStats 的三大核心构件（Observation、Reducer、SumStat）及其完整类型接口、全部计算插件（SUM、AVERAGE、TOPK 等）的用法、阈值与多阈值序列的配置方法，以及该框架在单机与集群部署下的内置透明性——这些能力足以支撑你独立编写诸如"统计每分钟连接数""检测扫描行为"之类的 Zeek 脚本。

框架定位：为什么需要 SumStats

测量网络流量是 Zeek 脚本中最常见的任务之一。对于有限的小样本（如指定行数的 trace 文件），直接用事件处理器累加变量即可；但在真实部署中会遇到两个难题：集群化（多个 worker 进程同时嗅探流量，数据分散）与无界数据集（流量永不停止，内存无法无限增长）。SumStats 框架正是为了在这两种条件下"消费无界数据集并使其可被度量"而设计的（见 doc/frameworks/sumstats.rst）。

框架给出的核心承诺是：同一份脚本在单进程 Zeek 与多 worker 集群上都能正确运行，集群中流量负载均衡带来的复杂性由框架内置的集群透明机制自动处理，脚本开发者可以忽略。

整体处理流程：Observation → Reducer → SumStat

Sumstats 的处理流程被拆分为三个环节，官方文档与源码（scripts/base/frameworks/sumstats/main.zeek）中的定义完全对应：

1. Observation（观察）：事件的某个方面被观察到后，作为一条数据点喂入框架。一条观察属于一个任意命名的观察流（observation stream），并带有一个 Key（该观察是关于谁的）以及观察值本身。
2. Reducer（归约器）：对观察流施加各种计算（如求和、均值、方差），把无界观察集合压缩成更小的表示。结果在每个 Reducer 内部按 Key 分别收集，因此需要控制被跟踪的 Key 总数，避免内存失控。
3. SumStat（汇总统计）：最终定义，把一个或多个 Reducer 在一个时间区间（称为epoch，即纪元/周期）内汇总。在 SumStat 层可以配置阈值（threshold）与越过阈值时的回调，也可以为每个 epoch 结束时提供按 Key 访问结果的回调。

核心类型接口全解

SumStats 全部定义在SumStats命名空间中（module SumStats;，见 main.zeek）。以下类型、字段与默认值均以当前仓库源码为准。

SumStats::Key —— 度量针对谁

Key是一个 record，表示"正在被收集汇总结果的对象"，只有两个可选字段：

源码中key2str()（main.zeek#L285-L293）把 Key 格式化为sumstats_key(host=..., str=...)这样的可读字符串，方便打印或作为日志字段。

SumStats::Observation —— 单条数据点

Observation是"单次观察加入的数据"，字段如下，一次只能提供单个字段：

注意：在observe()的实现中（main.zeek#L492-L498），如果观察只带字符串、没有num/dbl，框架会把数值val回退为1.0——这正是SUM计算"对字符串值统计数量"的底层原因。

SumStats::Reducer —— 计算挂在哪里

Reducer是连接的枢纽：它声明自己挂接在哪个观察流上、对该流施加哪些计算：

源码中create()会把 Reducer 登记到reducer_store（按流 ID 索引的 Reducer 集合，main.zeek#L246），observe()正是通过reducer_store[id]找到所有订阅该流的 Reducer 逐一处理（main.zeek#L439-L445）。

SumStats::Result / ResultTable / ResultVal —— 结果怎么存

• Result是table[string] of ResultVal：按观察流 ID 索引多个 Reducer 的结果（main.zeek#L78）。
• ResultTable是table[Key] of Result：按 Key 索引的 SumStats 结果总表（main.zeek#L81）。
• ResultVal是单个流的计算结果记录，基类自带三个字段（main.zeek#L63-L74）：

其余字段（average、max、min、sum、variance、std_dev、hll_unique、unique、last_elements、samples、topk等）全部由计算插件通过redef record ResultVal +=追加，详见下文插件一节。

SumStats::SumStat —— 汇总的最终定义

SumStat记录把 Reducer 集合、epoch 周期、阈值机制与各回调组装在一起（main.zeek#L91-L144）：

一个重要的集群提示（main.zeek#L86-L90）：不要在回调中访问传入参数之外的任何全局状态，因为集群中无法保证回调在哪个节点上执行。

五个全局函数

计算插件体系：Calculation 枚举与 ResultVal 字段

所有计算类型都以插件形式实现：Calculation枚举基类只有一个PLACEHOLDER成员（main.zeek#L10-L12），每个插件通过redef enum Calculation +=扩展枚举、redef record ResultVal +=扩展结果字段，并注册到register_observe_plugins钩子。所有插件由 plugins/load.zeek 默认加载。

以SUM为例（plugins/sum.zeek）：插件注册了观察函数rv$sum += val（sum.zeek#L39-L45），通过init_resultval_hook初始化$sum，并通过compose_resultvals_hook支持集群中两个结果的合并。

全部插件及其语义、相关字段如下表：

另有 Reducer 上由插件追加的配置字段：hll_error_margin（HLL 误差率，默认0.01）、hll_confidence（HLL 置信度，默认0.95）、num_last_elements（LAST 保留条数，默认0）、num_samples（SAMPLE 采样条数，默认0）、topk_size（TOPK 列表长度，默认500）、unique_max（UNIQUE 上限）。

插件还支持依赖解析：add_observe_plugin_dependency()（main.zeek#L300-L305）声明某个计算依赖另一个计算（例如 VARIANCE 可能依赖 SUM），create()时add_calc_deps()（main.zeek#L370-L390）递归展开依赖并去重，最终按依赖顺序执行calc_store中的观察函数（main.zeek#L499-L500）。

实战一：统计周期内连接数

以下完整示例来自 doc/frameworks/sumstats-countconns.zeek（运行时需@load base/frameworks/sumstats）：

@load base/frameworks/sumstats event connection_established(c: connection) { # Make an observation! # This observation is global so the key is empty. # Each established connection counts as one so the observation is always 1. SumStats::observe("conn established", SumStats::Key(), SumStats::Observation($num=1)); } event zeek_init() { # Create the reducer. # The reducer attaches to the "conn established" observation stream # and uses the summing calculation on the observations. local r1 = SumStats::Reducer($stream="conn established", $apply=set(SumStats::SUM)); # Create the final sumstat. # We give it an arbitrary name and make it collect data every minute. # The reducer is then attached and a $epoch_result callback is given # to finally do something with the data collected. SumStats::create([$name = "counting connections", $epoch = 1min, $reducers = set(r1), $epoch_result(ts: time, key: SumStats::Key, result: SumStats::Result) = { # This is the body of the callback that is called when a single # result has been collected. We are just printing the total number # of connections that were seen. The $sum field is provided as a # double type value so we need to use %f as the format specifier. print fmt("Number of connections established: %.0f", result["conn established"]$sum); }]); }

要点拆解：

• 观察：每个connection_established事件调用一次observe()，流 ID 为"conn established"；因为是全局度量，Key 为空SumStats::Key()；每次计数 1，所以Observation($num=1)。
• 归约：Reducer 订阅该流并apply=set(SumStats::SUM)，对数值做累加。
• 汇总：epoch = 1min，每分钟触发一次epoch_result回调；通过result["conn established"]$sum取该流结果。由于$sum是double，打印用%.0f格式符。

官方文档给出的运行效果（对 Zeek 测试集 PCAP 执行）：

$ zeek -r workshop_2011_browse.trace sumstats-countconns.zeek Number of connections established: 6

实战二：用阈值检测扫描主机

下面的"玩具级"扫描检测演示了阈值机制（完整源码见 doc/frameworks/sumstats-toy-scan.zeek）：

@load base/frameworks/sumstats # We use the connection_attempt event to limit our observations to those # which were attempted and not successful. event connection_attempt(c: connection) { # Make an observation! # This observation is about the host attempting the connection. # Each established connection counts as one so the observation is always 1. SumStats::observe("conn attempted", SumStats::Key($host=c$id$orig_h), SumStats::Observation($num=1)); } event zeek_init() { # Create the reducer. # The reducer attaches to the "conn attempted" observation stream # and uses the summing calculation on the observations. Keep # in mind that there will be one result per key (connection originator). local r1 = SumStats::Reducer($stream="conn attempted", $apply=set(SumStats::SUM)); # Create the final sumstat. # This is slightly different from the last example since we're providing # a callback to calculate a value to check against the threshold with # $threshold_val. The actual threshold itself is provided with $threshold. # Another callback is provided for when a key crosses the threshold. SumStats::create([$name = "finding scanners", $epoch = 5min, $reducers = set(r1), # Provide a threshold. $threshold = 5.0, # Provide a callback to calculate a value from the result # to check against the threshold field. $threshold_val(key: SumStats::Key, result: SumStats::Result) = { return result["conn attempted"]$sum; }, # Provide a callback for when a key crosses the threshold. $threshold_crossed(key: SumStats::Key, result: SumStats::Result) = { print fmt("%s attempted %.0f or more connections", key$host, result["conn attempted"]$sum); }]); }

本示例与上一例的三个关键差异：

1. Key 携带主机：SumStats::Key($host=c$id$orig_h)，每个发起连接的主机成为一个独立 Key，结果按 Key 分开统计。
2. 阈值三元组：$threshold = 5.0给出阈值；$threshold_val从Result中提取比较值（这里就是求和值）；$threshold_crossed在 Key 越过阈值时被回调。
3. 触发语义：阈值越过判断发生在每次观察插入时，check_thresholds()（main.zeek#L507-L549）会先检查threshold_tracker确保同一 epoch 内每个 Key 只触发一次（源码注释见 main.zeek#L129-L132）；threshold_crossed()负责递增跟踪计数并调用回调（main.zeek#L551-L570）。

官方文档中的运行效果（对含 nmap 主机的 PCAP 执行）：

$ zeek -r nmap-vsn.trace sumstats-toy-scan.zeek 192.168.1.71 attempted 5 or more connections

多阈值序列

若需多个告警档位，改用threshold_series。注意其约束（main.zeek#L123-L127）：阈值必须按升序排列；实现上get_threshold_index()（main.zeek#L226-L234）记录每个 Key 已越过的阈值偏移，只有前一个阈值被越过后才检查下一个（main.zeek#L539-L546），因此阈值序列天然形成阶梯式告警。

手动 epoch

把$epoch设为0 secs即进入手动模式：create()不再调度finish_epoch事件（main.zeek#L434-L436），脚本可在任意时刻（例如某个业务事件发生时）调用SumStats::next_epoch("sumstat 名称")触发周期收尾；集群中该调用必须在 manager 上执行。

底层机制：create 与 observe 的源码级流程

create() 做了什么（main.zeek#L392-L437）

1. 校验：设置了threshold/threshold_series但未提供threshold_val时报错。
2. 将 SumStat 存入stats_store（按 name 索引）。
3. 若配置了阈值，初始化该 SumStat 的threshold_tracker。
4. 遍历 Reducer：记录其所属 SumStat 名（内部字段ssname），解析计算依赖得到有序的calc_funcs，并把 Reducer 加入reducer_store（按 stream 索引）。
5. 调用reset()清空result_store与threshold_tracker。
6. 若 epoch 非 0，schedule ss$epoch { SumStats::finish_epoch(ss) }周期性触发。

observe() 做了什么（main.zeek#L439-L503）

1. 流 ID 不在reducer_store中则直接返回（无订阅者，零开销）。
2. 对每个订阅该流的 Reducer：先用normalize_key（若配置）归一化 Key，再跑pred谓词，返回F则跳过。
3. 命中阈值且无epoch_result回调时跳过后续计数——源码注释说明这是为了避免在度量唯一性时产生状态管理问题而做的优化（main.zeek#L456-L474）。
4. 初始化该 Key/流的结果ResultVal（init_resultval()会调用init_resultval_hook，让各插件初始化自己的字段，见 main.zeek#L313-L318），递增$num、更新$end。
5. 将数值（num或dbl，缺省回退 1.0）依次喂给calc_funcs对应的插件观察函数。
6. 调用data_added()，在非集群实现中触发check_thresholds()与threshold_crossed()（non-cluster.zeek#L84-L88）。

epoch 收尾与集群合并

• 单机（non-cluster.zeek）：finish_epoch事件驱动do_finish_epoch()，按每批 50 个 Key 调度process_epoch_result事件逐批调用epoch_result回调，全部处理完后调用epoch_finished，随后reset()并调度下一周期；zeek_done()时以&priority=10处理遗留的自动 epoch。
• 集群（cluster.zeek）：框架通过事件与消息在 worker 与 manager 之间同步数据，compose_resultvals()（main.zeek#L320-L331）与compose_results()（main.zeek#L333-L351）把多个 worker 的ResultVal/Result合并（取最早的begin、最晚的end、累加num，并逐个调用插件的compose_resultvals_hook合并插件字段）。加载逻辑在load.zeek 中按Cluster::is_enabled()分支选择 cluster 或 non-cluster 实现，这也是"脚本无需关心集群差异"的机制来源。

使用注意事项总结

1. Observation 一次只填一个字段：num、dbl、str三选一；只给字符串时数值按 1.0 处理。
2. 控制 Key 数量：Reducer 按 Key 分开收集结果，Key 过多会耗尽内存；必要时用normalize_key聚合或pred过滤。
3. 阈值必须配threshold_val：否则create()直接报错。
4. threshold_series必须升序：后一档阈值依赖前一档被越过。
5. 回调内不要访问外部全局状态：集群环境下回调执行节点不确定。
6. 手动 epoch：next_epoch仅对 epoch 为 0 的 SumStat 有效，且集群中只能在 manager 调用。
7. request_key慎用：只应作为when语句中的异步函数使用，不要用它替代回调机制。

参考资源

• 框架 API 文档（本文主体来源）：doc/scripts/base/frameworks/sumstats/main.zeek.rst
• 框架用户指南与术语、示例说明：doc/frameworks/sumstats.rst
• 核心实现：scripts/base/frameworks/sumstats/main.zeek
• 集群/单机支持：scripts/base/frameworks/sumstats/cluster.zeek、scripts/base/frameworks/sumstats/non-cluster.zeek
• 插件目录：scripts/base/frameworks/sumstats/plugins/load.zeek
• 完整可运行示例：doc/frameworks/sumstats-countconns.zeek、doc/frameworks/sumstats-toy-scan.zeek

• 网络安全
• 网络
• IDS