1.频域计算能量
尹博:NUS 计算机工程硕士生、LV Lab 实习生,研究方向是生成式 AI,及参数高效率微调(PEFT)胡晓彬:NUS LV Lab Senior Research Fellow, 研究方向是生成式 AI,MLLM Agent 等。
2.频域能量计算公式
在大模型时代,参数高效微调(PEFT) 已成为将 Stable Diffusion、Flux 等大规模扩散模型迁移至下游任务的标准范式从 LoRA 到 DoRA,社区不断探索如何用更少的参数实现更好的适配。
3.frequency filtering
然而,现有的微调方法(如 LoRA、AdaLoRA)大多采用「静态」策略:无论模型处于去噪过程的哪个阶段,适配器(Adapter)的参数都是固定不变的这种「一刀切」的方式忽略了扩散生成过程内在的时序物理规律,导致模型在处理复杂结构与精细纹理时往往顾此失彼。
4.频域lms算法
针对上述问题,新加坡国立大学 LV Lab(颜水成团队) 联合电子科技大学、浙江大学等机构提出 FeRA (Frequency-Energy Constrained Routing) 框架:首次从频域能量的第一性原理出发,揭示了扩散去噪过程具有显著的「低频到高频」演变规律,并据此设计了动态路由机制。
5.频域能量公式
FeRA 摒弃了传统的静态微调思路,通过实时感知潜空间(Latent Space)的频域能量分布,动态调度不同的专家模块实验结果显示,FeRA 在 SD 1.5、SDXL、Flux.1 等多个主流底座上,于风格迁移和主体定制任务中均实现了远超 baseline 的生成质量。

论文地址: https://arxiv.org/abs/2511.17979项目主页: https://github.com/YinBo0927/FeRA研究背景:静态微调与动态生成的错配扩散生成的「频域时序性」
扩散模型的去噪过程(Denoising Process)本质上是一个从无序到有序的物理演变研究团队通过对中间层特征的频谱分析发现,这一过程并非各向同性,而是具有鲜明的阶段性特征:生成初期(高噪声):


评论(0)