LLaVA-OneVision-1.5全流程开源，8B模型预训练只需4天、1.6万美元（

1.开源流程工具

LLaVA 于 2023 年提出，通过低成本对齐高效连接开源视觉编码器与大语言模型，使「看图 — 理解 — 对话」的多模态能力在开放生态中得以普及，明显缩小了与顶级闭源模型的差距，标志着开源多模态范式的重要里程碑。

2.流程插件开源

LLaVA 用低成本对齐打通「视觉编码器 大语言模型」起步，LLaVA‑1.5 以更大更干净的数据与高分辨率输入强化理解，LLaVA‑NeXT 拓展 OCR / 数理与多场景任务；随后分支为 LLaVA‑NeXT‑Video 处理时序视频、多帧推理，及 LLaVA-NeXT-Interleave 支持交替多图文与跨图联推；最终在 LLaVA‑OneVision 汇聚为统一接口，覆盖图像 / 文档 / 图表 / 多图 / 视频，兼顾效果与效率。

3.开源流程管理软件

尽管多模态对齐的接口与架构趋于收敛，真正「可复现」的开源路径仍与「仅开放权重」存在间距Qwen2.5‑VL、InternVL3.5 在 OCR、文档理解、数理与跨图推理上树立高基线，但完整的数据清单、清洗与混合比例，以及对齐 / 采样与训练日程多为部分披露，难以端到端重现。

4.开源流程图软件

Molmo 以更干净的数据流水线与精细化设计，在多项评测与偏好中逼近闭源强基线；Open‑Qwen2VL 则表明在更高效范式下，即便原始多模态 token 占比较低亦能取得强对比性能当前主要鸿沟在于 「配方与工程细节的可复现性」，而非单一的模型架构选择。

5.开源 流程引擎

灵感实验室团队联合 LMMs-Lab 围绕「高性能 — 低成本 — 强复现」三大目标，在 LLaVA-OneVision 体系上推出完整开放的概念均衡 85M 预训练数据集（LLaVA-OV-1.5-Mid-Training-85M）与精筛 22M 指令数据集（LLaVA-OV-1.5-Instruct-22M），并沿用紧凑的三阶段流程（语言–图像对齐 Stage‑1、概念均衡与高质量知识注入 Stage‑1.5、指令微调 Stage‑2），结合离线并行数据打包（最高约 11× padding 压缩）与 Megatron‑LM 分布式优化器，将 8B 规模 VL 模型的 Stage‑1.5 预训练在 128 张 A800 上控制在约 4 天内完成，预算控制在 1.6 万美元。

6.ivr流程开发的工具

在此基础上，我们提出