阿里千问近日推出 Qwen-Scope 模块,基于 Qwen3 及 Qwen3.5 系列模型训练,通过在隐藏层插入稀疏自编码器(SAE)提取解耦特征,提升模型可解释性。
该模块可应用于多场景:推理时无需指令即可定向控制结果;数据处理上,少量种子数据就能分类或合成长尾样本;训练阶段可定位异常特征优化低错问题;评估时分析样本特征覆盖度,减少评测冗余。
目前 Qwen-Scope 已开源 7 个大模型的 14 组 SAE 权重,开发者可通过 Hugging Face 或魔搭平台体验,助力深入理解和优化模型。
文中提及的 AI 工具
评论
正在加载评论…