1.择偶机制
如果让AI模型像生物一样演化,它们会不会彼此竞争、协作、结合,并繁衍出越来越强的后代?「物竞天择,适者生存」的进化论思想,是否也适用于AI模型?就在最近,Sakana AI从自然演化的过程中汲取灵感,提出了一种利用「竞争与吸引力」的自然选择机制,来提升AI模型融合效果的方法。

2.择偶模式有哪些
Sakana AI认为,AI模型的发展,也和自然演化的过程类似:集体智慧从群体中涌现比如:自然并没有创造单一的、巨大的单体生物,而是孕育了一个多样化的生态系统在自然界的生态系统中,每一个个体通过竞争、合作与组合来适应环境、繁衍后代。
3.择偶进化
这正是Sakana眼中的AI世界该有的样子:当人类不再试图构建一个庞大的单体AI,而是演化出整个AI生态系统,各个专业AI模型在其中竞争、合作、融合……这会带来什么?他们没有简单停留在想象阶段,而是一直在探索模型融合,试图利用演化,来破解现有模型融合的「最佳配方」。
4.择偶是什么
现在,他们把这个「最佳配方」公开了!目前,相关研究已在GECCO 2025会议上发表,并荣获最佳论文提名奖!

5.择偶恋爱
论文地址:https://arxiv.org/abs/2508.16204GitHub:https://github.com/SakanaAI/natural_niches以往的模型融合,需要人工介入,手动定义模型的分割方式(例如,按固定的层或块)。
6.择偶标准视频
能不能让这个过程,也像自然界的演化那样,自动运行?Sakana AI提出了M2N2(Model Merging of Natural Niches,自然生态位的模型融合),攻克了上述难题该方法来自于自然演化的三个关键思想:。
7.择偶选项
演化融合边界:M2N2让模型的组合更为自由,打破了预定义的静态边界,大大拓宽了模型组合的探索空间和可能性如同自然界交换可变长度的DNA片段,而非整个染色体多样性竞争:M2N2模仿了自然界的「丛林法则」,让模型们为了有限的资源(即训练集中的数据点)展开竞争,迫使模型走向专业化,寻找自己的「生态位」,从而创造出一个由多样化、高性能专家组成的种群,为优质模型的「繁衍」提供更多优秀的种子模型。
8.择偶加成
择偶机制:M2N2引入了一种「吸引力」启发式方法,它会根据模型的互补优势,智能地进行配对融合——即选择在对方弱项上表现出色的伙伴,这使得演化搜索的效率大幅提升,也大大降低了模型融合的计算成本这一尝试的结果,也令人振奋:M2N2模型融合技术,开始在模型演化中被成功应用,表现也优于其他演化算法。
9.择偶公式
比如:从随机网络演化出的MNIST分类器,性能媲美CMA-ES算法,但计算效率更高能够扩展到大型预训练模型,尤其是在数学和网络购物任务上,生成的融合模型表现显著优于其他方法在模型融合过程中,还避免了模型微调中「灾难性遗忘」的问题。
10.择偶模式
这让网友Aragon Dev感叹:「2025年,智能体真比自己先找到对象」

M2N2:全新的模型进化方法M2N2通过引入一种结合竞争、吸引力与带切分点的模型融合的全新进化方法,显著提升了模型融合的效果它首次将模型融合用于从零开始训练,并在性能与计算效率上优于所有当前的进化算法研究人员在将M2N2扩展至LLM与基于扩散的图像生成模型后,表现出了诸多优势。
比如,它可以稳定融合且避免灾难性遗忘兼容不同目标训练的模型通过避免梯度计算降低内存占用在无需原始训练数据的情况下保留模型能力

在模型融合中,目标是在𝐾个初始模型中找到融合模型的最优参数𝜃∗,使得通常以任务分数的和/平均表示的优化目标最大化在M2N2中,研究人员对融合函数ℎ做出修改,使融合边界可进化同时对优化目标,做出调整以促进多样解。
M2N2消除了固定的模型融合边界。为摆脱固定融合边界的约束,研究人员通过探索更广泛的边界与系数,逐步扩展搜索空间,这一渐进引入复杂度的做法,既拓宽可能性,又保持计算可控。

对有限资源的竞争,天然会促进多样性研究人员通过修改优化目标来鼓励多样性通过限制资源供给,M2N2激发竞争,自然偏好占据新生态位的个体他们的具体做法是:将群体能从某个样本𝑥𝑗中提取的总适应度限制为容量𝑐𝑗。
候选解从𝑥𝑗获得的适应度,正比于其分数相对于群体总分的占比。修改后的目标为:

在生物学中,这种结合(繁殖)代价高昂,因此动物会在择偶过程中投入大量资源。M2N2额外考虑父本之间的互补性,通过逐步引入复杂度,在保持计算可控的同时扩大了可探索范围。

实验1:进化MNIST分类器这项实验所优化的,是一个总计19,210个参数的两层前馈神经网络从零开始时,研究人员随机初始化模型对于预训练模型,研究人员构建了两个专门化模型:一个在数字0–4上训练,另一个在数字5–9上训练。
结果表明,在从零开始时,与其它模型融合方法相比,M2N2在测试准确率上有显著优势(图2左)对从零开始训练的模型,切分点与吸引力得分影响很小但如图2右所示,当从预训练模型起步时,切分点变得至关重要,而吸引力在整个训练过程中都能显著提升性能。

在多样性方面,图3左展示了至少被库中一个模型正确标注的训练样本占比——训练覆盖率。

图3右侧,展示了群体性能多样性随训练的演化:若所有模型对同一样本均对/均错,则熵为0(无多样性);


评论(0)