苹果公司携手加州大学圣迭戈分校团队提出 LaDiR 框架,旨在提升大语言模型(LLM)的文本推理能力。该框架并非新模型,而是可叠加于现有模型的通用框架,通过改变模型思考方式优化输出质量。
LaDiR 结合扩散与自回归生成范式:推理阶段用扩散模型并行探索多条路径,每条从随机噪声逐步优化为连贯推理步骤;最终输出阶段用自回归模型保证连贯性。框架引入多样性鼓励机制,避免路径过早收敛,生成多样化候选答案。
研究团队在 LLaMA3.1 8B 和 Qwen3-8B-Base 测试,数学基准准确率更高,分布外任务表现突出;HumanEval 代码生成更可靠,难题优于标准微调。谜题规划任务解空间更广,但单次尝试准确率略逊于专用模型。
文中提及的 AI 工具
评论
正在加载评论…