本文作者来自北京大学和阿里通义万相实验室其中论文第一作者是汤昊，北京大学 2022 级博士生，发表多篇 NeurIPS, CVPR，ICCV 和 ECCV，目前主要关注统一的多模态理解和生成指导教授是王立威老师，北京大学智能学院教授，曾获 NeurIPS 2024 和 ICLR 2023 最佳论文奖。

统一多模态模型要求视觉表征必须兼顾语义（理解）和细节（生成 / 编辑）早期 VAE 因语义不足而理解受限近期基于 CLIP 的统一编码器，面临理解与重建的权衡：直接量化 CLIP 特征会损害理解性能；而为冻结的 CLIP 训练解码器，又因特征细节缺失而无法精确重建。

例如，RAE

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。