1.赛宁 谢峥
单Transformer搞定任意视图3D重建！这是字节Seed康炳易团队带来的最新研究成果Depth Anything 3（下称DA3），获谢赛宁盛赞。
2.谢赛月资料
架构足够简单，核心能力却不差。能从一张图、一组多视角照片甚至一段随手拍的视频里，精准算出物体深度、还原相机位置，不仅能拼出完整3D场景，还能脑补出没拍过的新视角图像。
3.谢赛璐简介
而且，它在团队全新打造的视觉几何基准上横扫所有任务，相机定位精度平均提升35.7%，几何重建准确率涨了23.6%，单目深度估计还超越了自家前代DA2。
4.谢赛克简介
以前的3D视觉模型，想做单图深度估计？得单独训练一个模型；想搞多视角3D重建？又要换一套架构就连算个相机位置都得搭专属模块，不仅开发成本高，还没法充分利用大规模预训练模型的优势，数据依赖也很严重还有就是这些模型往往“术业有专攻”，那DA3的单一极简操作究竟是怎样的呢？。
5.谢塞什么意思
极简设计也能打核心秘诀就两点：一是只用一个普通的视觉Transformer当基础；二是预测目标只抓深度和光线两个核心。
6.谢赛定 鄞州简历
从架构图上可以看出来，DA3的任务流程可分为四大环节首先是输入处理，多视角图像会被送入Image Patch Embed模块转化为特征块，同时若有相机参数则通过编码器，没有则用可学习的相机token替代，最终图像特征与相机信息特征拼接融合。
中间的Single Transformer （Vanilla DINO）是模型的核心大脑它是基于预训练的DINO视觉Transformer，通过Within-view self attn单视角自注意力、Cross-view self attn跨视角自注意力两种注意力机制，让模型能在单图、多图、视频等不同输入形式下，自动打通视角间的信息关联。
之后，Transformer输出的特征被送入Dual DPRT Head两个任务头，一方面输出深度图，另一方面输出光线参数，同时完成深度和光线两个核心预测此外，还会从特征中提取相机姿态信息，确保相机轨迹精准。
在训练环节上，DA3采用了师生蒸馏策略用一个性能更优的教师模型从海量数据中提炼高质量伪标签，再用这套标准答案引导学生模型（即DA3）学习这种方式既能充分利用多样化数据，又能降低对高精度标注数据的依赖，让模型在训练阶段就能覆盖更多场景。
字节团队还专门搭了个全新的视觉几何基准，整合了5个覆盖室内、室外、物体级的数据集，从相机定位、3D重建到新视角生成，全方位考验模型实力。
评测结果就是DA3全程能打。给一段视频，它能精准估计每帧的相机内参与外参，还原每帧相机的运动轨迹；
将其输出的深度图与相机位置结合，能生成密度更高、噪声更低的3D点云，比传统方法的点云质量提升明显；
甚至给几张同一场景的散图，它也能通过视角补全，生成未拍摄角度的图像，这在虚拟漫游、数字孪生等场景中潜力不小团队介绍Depth Anything 3项目的带队人是字节跳动95后研究科学家康炳易他的研究兴趣为计算机视觉、多模态模型，致力于开发能从各种观察中获取知识并与物理世界交互的智能体。
2016年，他在浙大完成本科学业，后在加州伯克利和新国立（师从冯佳时）攻读人工智能专业硕博读博期间，他曾在Facebook AI Research实习，与谢赛宁、马库斯等人有过合作康炳易领导开发Depth Anything系列，之前还被收入苹果CoreML库中。
论文地址：https://arxiv.org/abs/2511.10647
评论(0)