开源扩散大模型首次跑赢自回归！上交大联手UCSD推出D2F，吞吐量达LLaMA3的2.5倍插图

1.扩散源是什么

视频 1：D2F dLLMs 与同尺寸 AR LLMs 的推理过程对比示意在大语言模型（LLMs）领域，自回归（AR）范式长期占据主导地位，但其逐 token 生成也带来了固有的推理效率瓶颈此前，谷歌的 Gemini Diffusion 和字节的 Seed Diffusion 以每秒千余 Tokens 的惊人吞吐量，向业界展现了扩散大语言模型（dLLMs）在推理速度上的巨大潜力。

2.什么是扩散模型

然而，当前的开源 dLLMs 却因一定的技术挑战 —— 例如缺少完善的

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。