1.谷歌ai算法
刚刚，谷歌发布了一项名为“嵌套学习”（Nested Learning）的全新机器学习范式，它将模型视为嵌套优化问题，从而增强对长上下文的处理能力基于嵌套学习的概念验证模型 Hope 在语言建模方面展现出更优异的性能，谷歌的野心是缓解乃至彻底解决LLM遗忘问题，实现类似人脑的持续学习能力。
2.谷歌ai人工智能
相关论文《Nested Learning: The Illusion of Deep Learning Architectures》已在NeurIPS 2025上发表。
3.谷歌ai技术
在过去十年，机器学习取得了巨大进步，但LLM的成功之下，一些根本性挑战依然存在，尤其是在持续学习方面人脑是持续学习的黄金标准，其通过神经可塑性不断调整自身结构以适应新体验相比之下，当前LLM的知识局限于其输入窗口的即时上下文或预训练期间学到的静态信息。
4.谷歌用ai设计ai芯片
最直接的解决方法——用新数据持续更新模型参数，往往会导致“灾难性遗忘”（Catastrophic Forgetting, CF）传统上，研究人员通过调整架构或优化规则来对抗CF，但长期以来，模型架构与优化算法被视为两个独立部分，阻碍了真正统一高效的学习系统诞生。
5.谷歌人工智能算法框架
谷歌提出的“嵌套学习”则打破了这一壁垒什么是嵌套学习？嵌套学习范式提出，一个复杂的ML模型并非单一的连续过程，而是一个由相互关联、多层次的学习问题组成的系统，这些问题被嵌套或并行地同时优化该理论认为，模型架构和训练规则（即优化算法）本质上是同一概念，它们只是处于不同“层级”的优化问题，每个层级都有其自身的信息流（“上下文流”）和更新速率。
通过识别这种内在结构，“嵌套学习”为设计更强大的AI提供了一个全新的、此前不可见的维度，允许构建具有更深计算深度的学习组件，从而最终解决灾难性遗忘等问题为了阐释这一范式，研究人员以“联想记忆”（associative memory）为例。
他们指出，训练过程本身（尤其是反向传播）就可以被建模为一个联想记忆模型学习将给定数据点映射到其局部误差值，该误差值衡量了数据点的“意外”程度同样，像Transformer中的注意力机制等关键架构组件，也可以被形式化为学习序列中Token之间映射关系的简单联想记忆模块。
通过为每个组件定义一个“更新频率”，即权重调整的频率，这些相互关联的优化问题就可以被排列成不同的“层级”这个有序集合构成了嵌套学习范式的心脏研究人员表示，人脑中统一且可复用的结构以及多时间尺度的更新，是人类持续学习的关键。
嵌套学习允许模型的每个组件进行多时间尺度更新，并证明了Transformer等知名架构实际上是具有不同更新频率的线性层嵌套学习的应用基于“嵌套学习”的视角，可以直接获得改进现有算法和架构的原则性方法：1. 深度优化器 (Deep optimizers)
由于嵌套学习将优化器（如动量优化器）也视为联想记忆模块，因此可以将联想记忆的原理应用于优化器设计研究人员观察到，许多标准优化器依赖于简单的点积相似度，其更新并未考虑不同数据样本之间的关联通过将优化器的底层目标更改为更标准的损失度量，例如L2回归损失，他们为动量等核心概念推导出了新的公式，使其对不完美数据更具鲁棒性。
2.
评论(0)