企业官网建设流程全解析

# Abstention and Noise Filtering: Two Missing Primitives of Softmax Attention 论文阅读总结
> 论文arXiv链接：[https://arxiv.org/abs/2609.22005v2](https://arxiv.org/abs/2609.22005v2)
> 作者：Richard Zhe Wang
> 领域：Transformer、Softmax自注意力、大模型预训练

## 一、论文主要内容总结
标准Softmax自注意力存在两个原生结构缺陷：**弃权（Abstention）**与**噪声过滤（Noise Filtering）**能力缺失。
1. **弃权缺失**：Softmax归一化强制注意力权重总和为1；当查询与上下文全部无关时，注意力头依然必须输出结果，模型通常把多余权重分配给第一个token，形成**注意力沉没点（attention sink）**。
2. **噪声过滤缺失**：注意力输出是value向量加权平均，残差流叠加带来的干扰噪声会和有效信号同等传递；标准注意力没有机制抑制value中的无关干扰信息。

已有工作给value通路增加门控可以提升预训练效果，但不同论文把收益归因为非线性、稀疏性、消除注意力沉没点等不同原因，没有统一解释。本文指出：**value门控同时部分实现了弃权和噪声过滤两种能力，不同研究观测到不同效果，本质是实验模型参数量级不同导致**。

作者为两种能力分别设计独立可拆解的机制，在10M‑350M参数的匹配对照模型上做控制实验：
- 小模型（10M）：门控带来的性能提升几乎全部来自**弃权能力**；
- 大模型（350M）：噪声过滤贡献与弃