近年来,大语言模型(LLMs)在复杂推理任务上的能力突飞猛进,这在很大程度上得益于深度思考的策略,即通过增加测试时(test-time)的计算量,让模型生成更长的思维链(Chain-of-Thought)。

然而,这条路径正面临着一个明显的瓶颈:随着计算资源的持续投入,性能提升变得微乎其微,甚至陷入停滞来自清华大学 AIR 的一篇最新研究论文《ParaThinker: Native Parallel Thinking as a New Paradigm to Scale LLM Test-time Compute》对这一瓶颈发起了挑战 。

突破单链思考上限,清华团队提出原生「并行思考」scale范式(插图

该研究一针见血地指出,这个单链 test time scaling 的天花板并非模型能力的固有极限,而是源于当前顺序推理策略的根本缺陷 —— 一种被研究者称为「隧道视野」(Tunnel Vision)的现象。

为此,团队提出了模型原生的并行化思考方案,训练 LLM 在一次推理中同时生成和综合多个不同的推理路径,从而有效规避「隧道视野」问题,解锁模型潜在的推理能力该研究证明,与串行扩展计算深度相比,并行扩展计算宽度是一种更有效、更高效的推理策略。

突破单链思考上限,清华团队提出原生「并行思考」scale范式(插图1

论文标题:ParaThinker: Native Parallel Thinking as a New Paradigm to Scale LLM Test-time Compute作者:Hao Wen*, Yifan Su*, Feifei Zhang, Yunxin Liu, Yunhao Liu, Ya-Qin Zhang, Yuanchun Li

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。