1.mit news

在过去十年中，AI 的进步主要由两股紧密相关的力量推动：迅速增长的计算预算，以及算法创新相比之下，计算量的增长较容易衡量，但我们仍然缺乏对算法进步的清晰量化，究竟哪些变化带来了效率提升，这些提升的幅度有多大，以及它们在不同计算规模下是否依然成立。

2.mit was

2024 年，有研究通过分析数百个语言模型，他们估计在过去十年里，算法进步在所谓的有效计算量（effective compute）方面贡献了超过 4 个数量级的提升；而根据对历史 AI 文献的分析，计算规模本身增长了 7 个数量级。

3.mit media

具体而言，所有算法创新加起来使模型的效率提高了大约 22,000 倍，这意味着在理论上可以用少得多的浮点运算次数（FLOPs）达到相同的性能水平然而，我们仍然缺乏对这类进步的精确分解，而关于算法进步来源的许多关键问题仍未得到充分研究。

4.mit mit

例如：各种算法改进之间是如何相互作用的？算法进步是由一系列小改动累积而成，还是由少数几次重大突破推动的？算法改进是像摩尔定律那样平滑持续地发展，还是呈现间断平衡（即长时间停滞 突然大跳跃）的模式？为回答这些问题，来自 MIT 等机构的研究者采用了三种互补的方法：

5.mit tech review

对语言模型中的重要算法改进进行消融实验；开展 scaling 实验，以测量不同架构在最优 scaling 行为上的差异；对数据与参数 scaling 转换进行理论分析。

MIT最新发现：这十年，算法进步被高估了（插图

论文地址：https://arxiv.org/pdf/2511.21622论文标题：On the Origin of Algorithmic Progress in AI最终得到三条结论：1：经过实验评估的大多数算法创新都只带来了小幅的、与规模无关的效率提升，总体计算效率提升不到 10 倍，并且在推算到 2025 年的计算能力极限（2 × 10²³ FLOPs）时，这些提升仅占总改进的不到 10%。

这表明，与规模无关的算法进步在整体效率提升中所占的份额很小2：本文发现有两项强烈依赖规模（scale-dependent）的算法创新：从

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。