富士通开发 PHOTON 架构，多查询性能可达 Transformer 的 475 倍

富士通（Fujitsu）在日本发布了名为 PHOTON（自上而下网络并行分层计算）的新 AI 架构，旨在解决 Transformer 模型在处理长文本或多线程任务时因大量访存操作导致的性能下降问题。

PHOTON 架构采用语义层级处理，而非传统的词元级分割，降低了计算复杂度并提升了并行性。在多查询场景中，它通过多数决定或选择最佳答案的方式，仅需一次推理即可完成决策。

测试显示，在 600M 至 1.2B 参数规模的较小模型中，PHOTON 实现了更高的迭代吞吐量和更低的内存占用。其中 1.2B 模型的性能最高可达 Transformer 的 475 倍，同时保持略低的质量。该架构还因减少 KV Cache 需求，提升了最大迭代次数，有望降低 GPU 成本。