1.多模态三维医学影像手术计划系统

多模态大模型首次实现像素级推理，指代、分割、推理三大任务一网打尽！AI“看图说话”现在已经so easy，但即使是GPT-5、Gemini 2.5 Pro，也只能“看个大概”，难以进行更精确的目标识别和推理。

2.多模态成像技术

对此，来自香港理工大学和腾讯ARC Lab的研究团队提出了首个统一的像素级多模态大模型——UniPixel。

多模态大模型首次实现像素级推理！3B参数超越72B传统模型，NeurIPS 2025收录（插图

3.多模态图像处理是什么

话不多说，先来康康UniPixel的效果：

多模态大模型首次实现像素级推理！3B参数超越72B传统模型，NeurIPS 2025收录（插图1

4.多模态测评

只需UniPixel一个模型，就能完成目标指代（Referring）、像素级分割（Segmentation）与区域推理（Reasoning）三大任务，兼具灵活性、精确性与可扩展性目前该论文已被NeurIPS 2025接收，而且代码、数据、Demo。

5.多模态成像及其分类和特点

全开源！

多模态大模型首次实现像素级推理！3B参数超越72B传统模型，NeurIPS 2025收录（插图2

6.什么叫多模态成像

下面是更多详细信息UniPixel重新定义视觉推理传统的视觉问答或描述系统，多数基于整体的图像或视频信息进行推理，缺乏对图中“具体区域”或“指定目标”的精确感知这不仅限制了其在医疗诊断、自动驾驶、人机交互等场景中的实际应用，也难以满足用户对“可控性”与“可解释性”的高阶需求。

7.多模态影像的概念

以一个日常任务为例：“请指出图中坐在左侧的人并描述他在做什么”对于人类来说，我们会迅速聚焦至左侧目标，通过视角、行为和上下文进行判断与描述，但对于传统LMM，这样的问题往往因缺乏区域指引与显著性建模而难以作答准确。

8.多模态显像

UniPixel通过引入“对象记忆机制（Object Memory Bank）”与支持三类视觉提示（点、框、掩码）的统一视觉编码方式，实现了对用户提示的“感知—记忆—推理”全过程支持区别于现有的简单分割和区域级理解模型，UniPixel不仅能识别用户所指的目标，还能将该目标作为上下文显式纳入后续对话中，并输出与之强关联的分割结果、语言回答或描述内容。

多模态大模型首次实现像素级推理！3B参数超越72B传统模型，NeurIPS 2025收录（插图3

9.多模态slam

△现有模型与UniPixel的范式对比为实现这一目标，UniPixel 在架构设计上进行了系统性的革新如下图所示，其整体框架基于Qwen2.5-VL模型，支持图像与视频输入，并具备对文本、点、框、掩码等多种提示的感知与处理能力。

10.什么叫多模态影像技术

用户可输入一个图像或视频、一条文本提示，以及若干个可选的视觉提示，模型则输出自然语言回答与可选的时空掩码（spatial-temporal mask），实现基于视觉细节信息的交互。

多模态大模型首次实现像素级推理！3B参数超越72B传统模型，NeurIPS 2025收录（插图4

△UniPixel的整体系统框架为了让这一框架真正具备“像素级推理”的能力，UniPixel 进一步引入了三大关键模块：提示编码器：支持点、框、掩码三种视觉提示；对象记忆体：用于存储用户指定目标并支持多轮引用；

掩码解码器：实现精确的时空掩码生成此外，UniPixel对语言模型词表进行了扩展，增加了、与等特殊Token，用于引导视觉提示的注入、对象记忆的调用与掩码生成过程，从而在语言生成与像素感知之间建立了紧密连接。

具体可包括三大技术亮点：三类视觉提示统一编码为实现最大程度的自由交互，UniPixel设计了Prompt Encoder模块对三类视觉提示进行统一编码无论是点、框，还是掩码，均可被统一编码为同一空间中的高维向量。

。这一编码方式融合了空间坐标、时间位置、提示类型等信息，并借助编码投影层与视觉Token进行对齐。

多模态大模型首次实现像素级推理！3B参数超越72B传统模型，NeurIPS 2025收录（插图5

相比以往模型仅接受文本提示或简化的图像区域，UniPixel可处理更复杂的用户输入，例如：在视频第5s处点击某个目标，并对其前后发生的事件进行提问，而这类场景可以通过点提示 时间标识的组合被准确解析和处理。

对象记忆体机制，赋予模型记住目标的能力UniPixel的最核心设计之一是其对象记忆体（Object Memory Bank）模块，这是一个可动态更新的哈希结构，用于在推理过程中存储与管理用户指定的目标区域，其运行机制如图所示。

多模态大模型首次实现像素级推理！3B参数超越72B传统模型，NeurIPS 2025收录（插图6

具体来说，每当用户在输入中使用如等标记指代某一目标，模型就会自动触发一个“记忆预填充（memory pre-filling）”流程，智能识别并生成对应的时空掩码，然后将其作为对象信息写入记忆体中这一机制允许模型在多轮对话中不断复用这些记忆对象，实现真正意义上的。

“上下文可控推理”后续若用户再次提及某一目标，只需使用之前定义的编号即可自动激活相应区域，通过“记忆植入（memory injection）”机制将其特征插入到prompt中，供LLM进行推理这种机制打破了传统方法中“提示-响应”一次性交互的局限，让模型具备了类似人类的。

“关注-记忆-归纳”能力例如，当用户问“[1]和[2]之间有什么互动？”时，模型可以将两者的行为轨迹通过掩码抽象出来，并从原图片或视频中重新感知以生成合理回答掩码引导推理，将理解与分割进行深度融合除了精准识别目标区域外，UniPixel还将

掩码生成这一过程嵌入到语言模型推理流程中，实现了“语言引导分割，分割反哺理解”的双向闭环具体而言，模型在推理过程中生成

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。