目录：
1.清华大学 可靠性
2.清华大学 能动
3.清华大学能科楼
4.清华大学能源转型研究中心
5.清华大学可持续发展学院
6.清华xlab项目
7.清华大学能动系官网
8.清华xlab
9.清华大学能动系系主任
10.清华能经所
1.清华大学 可靠性
持续学习（Continual Learning，CL）是人工智能系统迈向长期智能的重要能力其核心目标是让模型在任务序列中不断吸收新知识，同时维持甚至提升旧任务的表现然而，在主流深度学习框架下，模型在学习新任务时往往会显著遗忘旧知识，即「灾难性遗忘」（Catastrophic Forgetting），这是限制持续学习走向大规模实用的关键瓶颈。
2.清华大学 能动
现有CL方法大致可分为三类：基于数据回放的重放方法、基于参数约束的正则化方法，以及基于模型结构的动态扩展方法尽管它们都在不同程度上缓解了遗忘，但一个根本问题始终被忽视：大多数CL方法仍从「模型中心」视角出发，而缺乏对任务之间内在关系的建模和利用。
3.清华大学能科楼
然而，任务关系直接决定了知识迁移的方向与效率：哪些任务之间协同度高，哪些任务之间冲突大，哪些旧任务对新任务有帮助，哪些新任务可能破坏已有能力——这些信息对于稳健的持续学习至关重要。
4.清华大学能源转型研究中心
为解决这一长期存在的空白，清华大学研究提出了一种「任务关系中心」（task-relation-centric）的新型CL方案：H-embedding引导的超网络（Hypernetwork）持续学习框架
5.清华大学可持续发展学院
论文链接：https://arxiv.org/pdf/2502.11609其核心思想是：在每次学习新任务前，通过信息论度量构建可迁移性感知的任务嵌入H-embedding，并利用超网络根据嵌生成任务专属参数，从而显式地在CL过程中编码任务关系。
6.清华xlab项目
方法动机任务关系应成为CL的显式指导信息在典型CL设置中，模型只能在训练新任务之后，基于参数变化做「事后分析」，来判断任务之间的干扰和迁移这种模式天然存在三大问题：1. 缺乏任务级先验，模型无法在训练开始前规划迁移路径。
7.清华大学能动系官网
模型既不知道哪些旧任务对当前任务有帮助，也不知道哪些知识需要重点保护2. 正向和后向迁移难以被同时优化传统方法常只能顾其一：强正则化减少遗忘，但削弱新任务学习能力；强学习新任务提升前向迁移，却导致显著遗忘。
8.清华xlab
3. 随着任务数量增长，干扰累积，使方法难以扩展任务序列越长，模型「盲学」的代价越高因此，一个自然的问题是：「如果持续学习能够从任务关系出发构建学习路径，而非单纯从模型参数出发，是否能同时提升前向与后向迁移能力？」。
9.清华大学能动系系主任
在此背景下，研究团队引入了「任务关系中心」的设计思路，将任务可迁移性转化为可学习的先验信息，并直接驱动参数生成与知识保护策略。核心贡献提出H-embedding：基于H-score的任务可迁移性嵌入
10.清华能经所
可迁移性和任务嵌入的图解关系团队采用信息论指标H-score来表征从任一旧任务到当前任务的迁移价值H-score 能反映源任务特征对目标任务的有效性，是一种在实际场景中可高效计算的可迁移性度量随后，通过层次分析法（AHP）对这些迁移性数值进行归一化，使其与嵌入空间中的距离度量保持一致，再通过距离一致性优化得到任务的低维H-embedding。
这种表示具备三个重要特性：先验可用：任务训练开始前即可获得低维紧凑：便于长期存储与快速调用与迁移性对齐：嵌入之间的距离反映任务间关系这使得持续学习拥有了「可显式管理的任务关系结构」提出由H-embedding驱动的超网络参数生成框架。
该框架使用超网络（Hypernetwork）根据任务嵌入，为每个任务生成其专属参数更重要的是，模型内部引入了一个轻量级解码器，通过重构 H-embedding 的方式迫使超网络显式地吸收任务关系训练过程包含三类关键损失：。
任务损失：学习当前任务持续学习正则项：减轻对旧知识的覆盖嵌入引导损失：确保任务关系参与参数生成
这一设计使得模型能够：针对任务差异自动调节生成参数、在任务相关时进行正向迁移、在任务冲突时强化知识保护，从而在结构层面解决了 CL 的核心矛盾高可用性：可端到端训练，兼容多种参数高效微调技术该框架具有极强的工程可落地性：。
每个任务仅需保存一个embedding（极低存储成本）支持CNN、ViT等主流架构可与LoRA等参数高效微调技术结合并部署在多种预训练模型上实验结果在多项CL基准上全面领先研究团队在多个主流持续学习基准上进行了广泛评估，包括CIFAR-100、ImageNet-R和DomainNet，涵盖了不同模型架构（如ResNet、Vision Transformer）和学习设置（如全模型训练、参数高效微调）。
主要结果如下：
结果显示：1. FAA全面领先现有方法，在所有数据集上均取得更优的最终性能2. 强正向与后向迁移能力同时出现DAA与FAA差值极小，表明新任务学习对旧任务几乎无干扰，同时能从旧任务中有效吸收知识3. 算法对任务数量增长具有更高鲁棒性。
在5→10→20个任务的扩展实验中，该方法的性能增益持续放大，显示出很好的扩展性并且在靠后的任务中，引入embedding guidance带来了显著的收敛加速4. 消融实验验证组件有效性去除H-embedding引导或AHP归一化均会出现明显性能下降。
结论与展望研究人员提出了一种「任务关系中心」的持续学习范式，通过在训练前引入信息论驱动的任务关系嵌入 H-embedding，使得模型能够：预测迁移性而非被动适应在学习过程中有意识地管理任务间的知识交互
大幅减少遗忘、提升迁移效率H-embedding引导的超网络框架在多个基准上取得领先表现，展示了任务关系建模在持续学习中的关键作用未来，任务结构感知的方法有望拓展至跨模态增量学习、大模型的长期任务适配、任务自组织（task discovery）与自动化学习顺序规划等更复杂场景。
为构建更具扩展性、可生长的通用 AI 体系提供新的方向
评论(0)