LeCun在Meta的最后一篇论文（

1.了存在

《LeJEPA：无需启发式的可证明且可扩展的自监督学习》。“这可能是LeCun以Meta身份发表的最后一篇论文了。”

2.了存在侵权行为(侵犯知识产权、人身权)

没错，这篇带“Le”的论文，介绍了一种自监督学习方法，于11月11日在arXiv提交，是LeCun的最新公开成果也是在这一天，他离职Meta的消息被曝光如果说LeCun在2013年加入开启了Meta AI研究的一个时代，那么。

3.了存在侵权行为(侵犯知识产权、人身权)发布仿冒品信息

LeJEPA就是他在Meta的告别之作LeJEPA究竟是怎样的“最后一舞”？LeJEPA：基于各向同性高斯嵌入的自监督学习方法LeJEPA核心是提出了一种基于各向同性高斯嵌入的自监督学习方法，通过引入SIGReg

4.了存在侵权行为(侵犯知识产权、人身权)发布

正则化，有效解决了表示崩溃问题，并显著提升了模型的泛化能力在传统的JEPA框架中，预测任务常面临表示崩溃的问题这意味着，在训练过程中，模型可能将所有输入映射到单一的点或低维空间，导致嵌入空间中的样本不可区分，从而无法有效捕捉样本间的语义差异。

针对这一问题，现有方法依赖启发式技术，如停止梯度、非对称视图生成和教师-学生网络，但这些方法由于缺乏对JEPA基础理论的探索，被视为替代方案基于以上背景，研究提出一种新的JEPA框架——潜在欧几里得JEPA（Latent-Euclidean Joint Embedding PredictiveArchitecture，LeJEPA）。

，其核心是使嵌入空间遵循特定的统计分布，从而提升模型的预测性能嵌入分布的影响首先，研究通过最小二乘回归（OLS）分析了嵌入分布对偏差和方差的影响结果表明，等向高斯分布能够最小化训练过程中的偏差和方差特别地，在总方差相同的情况下，非等向分布会导致更高的偏差和方差，而等向高斯分布则能够有效地保证最小的偏差和方差，从而提高下游任务的稳定性和准确性。

通过在非线性探测和几何直觉方面的实验，研究进一步验证了等向高斯分布的优越性。实验表明，无论是在回归任务还是分类任务中，等向高斯分布都能保持最小的误差，而非等向分布则表现出较高的方差。

研究表明，