Nature重磅！清华团队揭秘大模型新规律：告别参数内卷，智能密度每3.5个月翻一番（

1.清华大学 nature

智能密度每季度翻倍，边缘AI爆发进入倒计时清华大学和面壁智能团队，在《自然-机器智能》（Nature Machine Intelligence）上的一项研究通过详尽的数据分析揭示了大语言模型进化的隐藏规律：致密律（Densing Law）。

2.清华大学团队

研究指出为了获得同等水平的智能，模型所需的参数量正在呈指数级下降从暴力堆砌到智能致密在人工智能的发展历程中，很长一段时间里行业信奉单一的信条，那就是缩放定律（Scaling Law）这个定律告诉我们模型越大性能就越强。

3.清华 nature 2020

为了追求极致的智能表现，GPT-3 将参数量推到了 1750 亿，PaLM 更是达到了惊人的 5400 亿堆砌参数在初期确实带来了显著的效果，但也迅速撞上了现实的墙壁推理成本超过了训练成本，庞大的模型体积难以塞进手机等边缘设备，高昂的算力消耗让应用落地变得极其昂贵。

4.清华科研团队

物理学用质量除以体积来定义密度，研究人员引入了类似的概念，将能力密度（Capability Density）定义为单位参数量内所包含的智能水平这一指标直接反映了模型利用参数存储和处理知识的效率研究团队对 Llama-1 发布以来的 51 个主流开源基础模型进行了全方位的分析，这些模型涵盖了 Llama 系列、Mistral、Gemma 等行业标杆。

5.清华nature封面

分析结果揭示了一个清晰的规律：开源大模型的最大能力密度随时间呈现出标准的指数增长。

6.清华大学nevt课题组

数据清晰地记录了这场剧烈的代际更迭2023 年 2 月 Llama-1 发布时，其密度值还低于 0.1到了近期，Gemma-2-9B