苹果研究员优化 Transformer 注意力：让 Token 忽略自身信息，性能一致提升

Transformer 注意力机制是许多 AI 模型的核心，但如何优化它一直是研究热点。苹果机器学习研究科学家 Shuangfei Zhai 近日发表论文，提出‘排他自注意力’（XSA）机制。

与标准 Transformer 不同，XSA 强制每个 Token 在计算注意力时排除自身位置的贡献，仅从上下文提取信息——直觉上，Token 已知道自己的信息，注意力的价值在于了解周围内容。

实验显示，XSA 在最大 27 亿参数规模内性能一致优于标准自注意力，且序列越长优势越明显。Zhai 此前也是 Attention Free Transformer（AFT）的作者，持续探索注意力机制的替代方案。