Working Draft · AI Era Execution Security Language
This article is part of the Havenlon Execution Security Language project.
The terminology and definitions presented here describe the current
working draft and may evolve as the discipline matures.AI 时代执行安全语言体系(工作草案)
本系列旨在建立 AI 时代执行安全的共同语言。
本文中的术语与定义代表当前工作草案,
将随着理论研究、工程实践和社区讨论持续修订
AI 并不是第一次让软件拥有执行能力。
在 AI Agent 出现之前,软件早已能够:
- 自动转账;
- 自动部署;
- 自动发货;
- 自动封禁账户;
- 自动调整价格;
- 自动导出数据;
- 自动轮换证书;
- 自动控制设备;
- 自动触发生产流程。
真正发生变化的,不是软件第一次能够执行,而是:
软件开始能够理解开放目标、生成执行计划、选择工具、组合步骤,并在较少人工停顿的情况下持续推进真实动作。
传统自动化通常依赖预先编写的固定流程:
满足条件 A → 调用接口 B → 写入结果 CAgentic System 则可能接收一个更开放的目标:
解决客户退款问题 修复生产环境异常 降低运营成本 整理并发送本周报告随后由 Agent 自行:
- 解释目标;
- 获取上下文;
- 拆分任务;
- 选择工具;
- 生成参数;
- 调用接口;
- 观察结果;
- 修改计划;
- 继续执行。
这意味着风险不再只存在于某一个固定脚本中,而会沿着一条动态生成的自动化链传播。
当 AI Agent 具备工具调用能力时,系统必须面对一个根本问题:
模型输出究竟是一项建议,还是已经获得了现实执行资格?
如果模型可以直接调用支付、运维、数据、身份或设备接口,那么:
- 幻觉可能变成错误执行;
- Prompt Injection 可能变成合法工具调用;
- 污染上下文可能变成错误参数;
- 目标歧义可能变成执行漂移;
- 工具权限过大可能放大灾难半径;
- 重试和自我纠错可能变成重复执行;
- 多 Agent 协作可能变成自动化级联;
- 人工监督可能退化为事后观察。
因此,Havenlon 不把 AI Agent 仅仅视为新的用户界面或智能应用。
它把 AI Agent 定义为:
能够在机器速度下产生 Intent、组织执行路径并持续调用真实能力的高不确定性提议主体。
Agent 可以:
- 理解;
- 推理;
- 规划;
- 建议;
- 提议;
- 调用受限工具。
但它不应因为能够规划和调用,就自动拥有最终执行权。
Havenlon 对 AI Agent 的基本原则是:
AI Agent 可以提出执行意图,但不能独自完成灾难性执行。
1. Age of Execution|执行时代
一句话定义
执行时代,是软件从记录、计算和辅助判断工具,转变为能够直接组织并触发真实动作的时代。
严格定义
过去的软件主要负责:
- 记录信息;
- 展示状态;
- 执行计算;
- 辅助决策;
- 等待人类操作;
- 提供操作界面。
执行时代的软件开始负责:
- 生成行动计划;
- 选择执行对象;
- 构造参数;
- 调用工具;
- 触发外部系统;
- 持续观察结果;
- 根据反馈继续执行。
执行时代的关键变化是:
Software as Information System ↓ Software as Decision Assistant ↓ Software as Execution Participant ↓ Software as Executor风险也随之变化:
错误信息 → 错误建议 → 错误提议 → 错误执行 → 现实损失上位概念
- 软件演进
- 自动化时代
- 执行基础设施
下位概念
- Agentic Execution
- Autonomous Execution
- Machine-Initiated Execution
- Software as Executor
相关概念
- Execution Capability
- Execution Right
- Blast Radius
- AI Agent
- Tool Calling
容易混淆的概念
执行时代不表示过去的软件没有执行能力。
区别在于:
- 执行范围更开放;
- 执行路径更动态;
- 执行速度更快;
- 人工停顿更少;
- 软件可以自行组合多个执行能力。
权力边界
软件可以参与执行,但不能因为执行效率更高而自动获得无限执行权。
约束机制
- Execution Authority Separation;
- Tool Execution Boundary;
- Intent Binding;
- Amount Limit;
- Rate Limit;
- Scope Limit;
- Human Governance。
结果目标
让软件获得执行能力时,执行权仍然保持可分离、可限制和可证明。
在 Havenlon 中
AI Agent 和自动化系统都被视为 Intent 发起与执行候选生成者,而不是最终执行权拥有者。
2. Software as Executor|软件作为执行主体
一句话定义
软件作为执行主体,是软件能够直接触发真实状态变化,而不再只向人类提供信息或建议的状态。
严格定义
当软件可以直接:
- 调用支付接口;
- 执行生产命令;
- 修改权限;
- 删除数据;
- 调整资产;
- 控制设备;
- 发布配置;
- 签署交易;
它就不再只是信息处理者,而成为执行链中的实际主体。
软件作为执行主体必须区分:
- 软件提出动作;
- 软件选择工具;
- 软件构造 Payload;
- 软件调用执行器;
- 软件拥有最终执行能力。
前四项可以存在于受限自动化中。
第五项必须受到独立边界约束。
上位概念
- Age of Execution
- Execution Role
下位概念
- Agent as Executor
- Automation as Executor
- Script as Executor
- SaaS as Executor
相关概念
- Machine-Initiated Execution
- Tool Calling
- Execution Authority
- Executor
- Software-Enforced Control
权力边界
软件能够调用工具,不代表软件应当拥有工具背后的完整现实权力。
约束机制
- Tool Permission;
- Tool Scope;
- Execution Slot;
- Independent Final Veto;
- Final Revalidation;
- Evidence Chain。
结果目标
让软件可以高效执行低风险动作,同时不能无限扩大真实结果。
在 Havenlon 中
软件和 Agent 只能调用受限 Execution Slot,最终动作仍需经过独立执行边界。
3. Machine Speed, Human Consequences|机器速度、现实后果
一句话定义
机器速度、现实后果,是指软件能够以自动化速度连续产生动作,但这些动作最终由人类、组织、资产和现实系统承担后果。
严格定义
机器可以在极短时间内:
- 生成大量请求;
- 调用多个工具;
- 重试失败动作;
- 扩展到多个对象;
- 并行执行任务;
- 复制相同错误;
- 将局部判断传播到整个系统。
但结果可能是:
- 大规模退款;
- 资产转移;
- 生产中断;
- 权限扩散;
- 数据泄露;
- 设备误操作;
- 客户损失;
- 组织责任。
因此,机器执行风险必须同时考虑:
Execution Speed × Execution Scope × Execution Authority × Irreversibility = Potential Blast Radius上位概念
- Automation Risk
- Execution Risk
下位概念
- High-Speed Execution
- High-Frequency Automation
- Rapid Failure Propagation
- Machine-Speed Damage
相关概念
- Automation Cascade
- Rate Limit
- Amount Limit
- Blast Radius
- Missing Human Pause
权力边界
机器速度不能被直接映射为同等速度的无限现实执行权。
约束机制
- 频率限制;
- 金额限制;
- 作用域限制;
- 人工停顿;
- 阶段提交;
- 本地拒绝;
- 自动熔断。
结果目标
让机器提高效率,但现实损失的增长速度仍受到明确限制。
在 Havenlon 中
Rate Limit、Amount Limit、Scope Limit 和 Safe Mode 用于限制机器速度向现实损失的转化。