企业官网建设流程全解析

• 人工智能
• 大模型

LemonDecider 是一个typed decision engine（类型化决策引擎）：输入一段状态（state）和带选项列表的问题，跑一次前向传播，直接输出 255 个选项上的概率分布——它不生成任何文本，也从不截断输入（最长支持 256K tokens）。为了支撑这种"一次看完、立刻定案"的工作方式，它抛弃了生成式模型默认的单因果注意力，采用名为noncausal_full_attention的双向注意力掩码设计。本文带你从零看懂这个掩码：为什么决策模型需要双向注意力、代码里它是怎么实现的、以及为什么线性注意力层依然保持因果。

为什么决策模型需要双向注意力？

先建立一个直觉。生成式大语言模型逐 token 自回归地"说话"，每个位置只需看到历史，因果（causal）掩码正好够用。但 LemonDecider 干的活完全不同：

双向注意力带来的三个直接收益：

1. 选项之间可以互相"比较"。决策题的本质是相对判断："退款、换货、转人工，哪个最优？" 在因果掩码下，靠前的选项看不见靠后的选项，无法做全局对比；双向掩码让每个选项位置都能参照全部选项和评判标准，判断质量显著提升。
2. 末位表示聚合全序列信息。模型最终只读取最后一个位置的隐藏状态（见 modeling_lemondecider.py 的last_hidden_state[:, -1, :]）。双向注意力让末位 token 在一层之内就能直接触达整段 state、问题和全部选项，而不是依赖因果链把信息"接力"传递——在 256K 超长上下文中这一点尤为关键。
3. 问题与选项双向匹配。问题描述里的条件（如"上周下的单、有损坏"）需要逐项核对每个候选选项，双向注意力让这种交叉核对在每层都天然成立。

一句话总结：输出是"分布"而不是"序列"，注意力就不必被因果链束缚。

noncausal_full_attention 掩码设计：双轨掩码注入

LemonDecider 的底座是 Qwen3.5-4B 混合骨干：32 层里每 4 层出现 1 层标准 full-attention，其余 24 层是 Gated DeltaNet 线性注意力（见 config.json 的layer_types）。掩码设计的关键就在 contract.py 的enable_noncausal_full_attention()：它在语言模型的 forward 之前挂一个 pre-hook，把单一的 padding mask分裂成两份掩码，分发给不同类型的层：

kwargs['attention_mask'] = { 'full_attention': padding[:, None, None, :].bool(), # 双向：全序列互看 'linear_attention': create_recurrent_attention_mask(...), # 因果：递归保持单向 }

为什么线性层必须保持因果？Gated DeltaNet 的线性注意力靠"递推状态"滚动压缩历史，状态更新本质上是一个时间序列上的递推过程，方向不可逆；而周期性插入的 8 层双向 full-attention 负责"横向"的全局信息混合——先单向压缩、再双向校正，两种信息流各司其职。

这套设计在 README.md 中有一句话概括："all-attend prompt for the periodic full-attention layers, causal recurrence for the Gated DeltaNet layers"（周期性全注意力层全互看，Gated DeltaNet 层因果递推）。

三重保险：is_causal 开关如何同步

双向掩码最容易踩的坑是：配置说双向，底层模块却偷偷用回因果。LemonDecider 用了三道防线：

1. 配置层——config.json 声明"attention_mode": "noncausal_full_attention"，且嵌套text_config.is_causal设为false；配置类在 configuration_lemondecider.py 校验：lemondecider-v1协议必须同时满足 Qwen3.5 底座、255 字母编码和该注意力模式，否则直接抛错。
2. 模块层——加载时 modeling_lemondecider.py 把骨干里每一个Qwen3_5Attention模块的is_causal标志逐一改写。代码注释点明了动机：SDPA 在掩码全有效时会省略显式掩码，如果 Qwen 模块内部标志还是True，它会"复活"因果行为——所以连模块级标志都要强制翻转。
3. 运行时层——每次 forward 前（modeling_lemondecider.py）再次断言：必须使用 SDPA 后端、language_model.config.is_causal必须为False，任何一项不满足立即报错，杜绝静默降级。

配套约束：为什么"拒绝"这么多东西

掩码设计决定了一组运行时契约，这些"拒绝"其实是特性而非缺陷：

• 拒绝 KV cache：contract.py 中，任何带past_key_values或use_cache=True的请求都会被抛错。分类任务没有增量解码，缓存毫无意义。
• 拒绝截断输入：超过max_input_length（262,144）直接报错（modeling_lemondecider.py）。决策依据被截掉一个关键条款，错误可能是静默的，宁可拒绝。
• 强制左 padding：批量推理时输入左对齐 padding（modeling_lemondecider.py），保证每行最后一个位置一定是真实 token，last-token pooling 才能取到有效表示——这也和双轨掩码中"padding 被屏蔽"的设计严丝合缝。

小结：如何快速验证这套设计

如果你想在自己的推理环境里确认掩码行为，只需三步：

1. 查看 config.json 确认attention_mode为noncausal_full_attention；
2. 加载模型时传attn_implementation="sdpa"——非 SDPA 后端会在初始化或 forward 时被直接拒绝；
3. 若传入use_cache=True触发报错，说明掩码契约已激活。

双向注意力不是 LemonDecider 的噱头，而是它"一次前向、全局判断"这一产品形态的必然选择：既然答案不是被"说"出来的，注意力就没有理由只能往前看。理解了这个掩码，也就理解了它为何能在长文档分类、多选项路由等决策场景里又快又准。

• 人工智能
• 大模型