1.用更一致的轨迹的成语

扩散大语言模型得到了突飞猛进的发展，早在 25 年 2 月 Inception Labs 推出 Mercury—— 第一个商业级扩散大型语言模型，同期人民大学发布第一个开源 8B 扩散大语言模型 LLaDA，5 月份 Gemini Diffusion 也接踵而至。

2.用更一致的轨迹来造句

种种迹象表明，扩散大语言模型很可能是下一代大语言模型基础范式的有力竞争者但是针对于扩散大语言模型的解码策略和强化学习算法仍然是欠探索的近期，复旦大学、上海人工智能实验室、上海交通大学联合研究团队发布最新论文《Taming Masked Diffusion Language Models via Consistency Trajectory Reinforcement Learning with Fewer Decoding Step》。

3.用更一致的轨迹来造句子

他们提出了一套对于掩码扩散大语言模型（Masked Diffusion Large Language Model，MDLM）的高效解码策略 强化学习训练组合，显著提升了掩码扩散大语言模型的推理性能与效率，为扩散大语言模型的发展开辟了新路径。

用更一致的轨迹、更少的解码步数「驯服」掩码扩散语言模型，扩散语言模型的推理性能和效率大幅提升（插图

代码仓库：https://github.com/yjyddq/EOSER-ASS-RL论文链接：https://arxiv.org/pdf/2509.23924解决了什么问题？掩码扩散大语言模型（MDLM）如 LLaDA 展现出与自回归模型相媲美的能力，并具备并行解码、灵活生成顺序、潜在少步推理等优势。

然而，完全扩散式（Full Diffusion-Style）解码策略并未被广泛使用，取而代之的是分块解码（Block-wise）因为目前的完全扩散式解码存在一大痛点 —— 性能大幅度逊色于分块解码

用更一致的轨迹、更少的解码步数「驯服」掩码扩散语言模型，扩散语言模型的推理性能和效率大幅提升（插图1

但令人疑惑的是，掩码扩散大语言模型在预训练和指令微调阶段并未针对分块解码这种方式进行适配微调，所以这一现象背后的原因仍不为人所知该团队基于这点发现刨根问底，最终定位到 MDLM 的全扩散式解码的三个特点：。

解码过程中的 token 置信度变化趋势：由平缓到陡升；解码过程中 token 的置信度一直显著大于其他非 token；以上两点导致在早期解码时都会有很大概率解码出 token，模型像是陷入了 的陷阱无法自拔。

而分块解码由于块的限制存在，则不会深陷其中

用更一致的轨迹、更少的解码步数「驯服」掩码扩散语言模型，扩散语言模型的推理性能和效率大幅提升（插图2

此外，在将为 AR LLMs 定制的强化学习算法迁移到 MDLM 时，可能会遇到 rollout 轨迹和优化轨迹不一致的问题，因为

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。