破解空间智能数据稀缺难题，影石开源DiT架构全景生成模型，在线可玩（

1.影石创新科技股份有限公司官网

空间智能领域的全景数据稀缺问题，有解了。影石研究院团队，推出了基于DiT架构的全景图像生成模型DiT360。通过全新的全景图像生成框架，DiT360能够实现高质量的全景生成。

2.影石创新官网

DiT360提出了一个基于DiT架构的混合训练框架，充分结合透视图像与全景图像数据，在保持真实感的同时提升几何一致性。而且同时支持多项任务，并在边界一致性、图像保真度和感知质量等方面均优于现有方法。

3.影石创新科技有限公司

破解真实全景数据稀缺问题全景图像生成正在成为通向“空间智能”的关键一步，随着世界模型和具身智能的发展，模型需要更好地“看见”并理解整个三维世界全景图像能提供连续360°的沉浸式视野，对AR/VR、自动驾驶、机器人导航等应用都至关重要。

4.影石产品

但相比普通图像，生成全景图要面对无缝衔接、极区畸变等几何难题；同时，真实全景数据稀缺且质量有限，也让模型难以学到高质量的几何与纹理特征，限制模型的生成质量与泛化能力针对全景图像独特的几何特性，研究者主要有两种思路。

5.影石创新科技股份

一种是把全景图拆成多个平面视角（立方体投影），这样可以减轻极区畸变的问题，但容易在视图边界出现接缝；另一种方法则直接在球面上生成全景图（等距矩形投影），整体更连贯，但极区畸变和边界一致性的问题依然存在另外，由于

6.影石创始人

真实全景数据稀缺，也有研究者尝试用渲染数据训练模型，但缺少真实光照和纹理，使得生成的结果充满了“渲染感”；另有尝试利用互联网的全景视频和图片，但这些数据噪声太多，很难支撑高质量的生成在高质量全景数据稀缺的情况下，如何让模型学会理解全景图像的几何特性成为关键。

7.影石创新终止

为此，团队提出了DiT360——一个基于Diffusion Transformer（DiT）架构的全景图像生成模型DiT360设计了一种分层混合训练框架，结合有限的全景数据和大规模高质量的透视图像，让生成结果在真实感和几何一致性上都实现了显著提升。

8.影石创新暂缓

DiT360可在室内、室外等多种场景下生成高分辨率（2048×1024）的全景图像，展现出出色的细节和真实感在边界一致性和极区畸变建模方面，相比现有方法有明显优势，能够生成结构连续、几何稳定的全景结果总结而言，DiT360的主要贡献包括：

9.影石官网

全新的全景图像生成框架：提出了一个基于DiT架构的混合训练框架，充分结合透视图像与全景图像数据，在保持真实感的同时提升几何一致性与以往主要聚焦模型结构设计的工作不同，DiT360更强调多域数据的高效融合与协同利用，从而实现更高质量的全景生成。

10.影石创新科技股份有限公司招股说明书

多层次的混合训练机制：在图像层面，通过对全景数据的去伪影处理与透视图像的投影引导，提升生成结果的多样性和真实感；在特征层面，通过旋转一致性和畸变感知的几何约束，强化潜空间中的结构合理性与空间连续性；多任务支持：DiT360同时支持文本引导的图像生成、inpainting和outpainting等多项任务，并在边界一致性、图像保真度和感知质量等方面均优于现有方法。

多层级混合训练框架DiT360是一个面向全景图像生成的多层级混合训练框架，旨在同时提升生成结果的真实感和几何一致性不同于以往主要关注模型结构设计的方案，DiT360从图像层面和特征层面两个方向出发，充分利用透视图像与全景图像的互补特性，在有限真实数据的条件下实现跨域知识迁移与高保真生成。

图像层级：跨域正则化与知识迁移图像层级方法的目标是弥补真实全景数据的不足，同时减少由极区畸变和伪影带来的训练偏差研究团队提出了两种互补机制——全景图像精修与透视图像引导，分别用于提升全景数据的结构质量和实现透视数据的跨域迁移。

现有的真实全景数据（如