内存直降50%，token需求少56%！用视觉方式处理长文本（

1.内存trs

在处理短文本时，大语言模型（LLM）已经表现出惊人的理解和生成能力但现实世界中的许多任务——如长文档理解、复杂问答、检索增强生成（RAG）等——都需要模型处理成千上万甚至几十万长度的上下文与此同时，模型参数规模也从数十亿一路飙升至万亿级别。

2.内存 tcke

在「上下文长度激增」与「模型参数量膨胀」的双重挑战下，Token压缩不再是优化项，而是必需品若不能有效缩减输入规模，即便最强大的大语言模型，也难以高效处理我们需要它分析的海量信息南京理工大学、中南大学、南京林业大学的研究人员提出。

3.内存ltk

VIST（Vision-centric Token Compression in LLM）框架，正是为了解决这一痛点。

4.内存tt

论文链接：https://arxiv.org/abs/2502.00791研究团队早在一年多以前NeurIPS 2024就开始探索——如何让模型像人类一样，以视觉的方式更高效地理解长文本。

5.内存bottom-slot

论文链接：https://arxiv.org/pdf/2406.02547人类阅读文章时，不会逐字读完每一个词「的」「了」「和」这些功能性高频词，几乎是被大脑自动略过的真正让我们停下来的，是那些承载意义的低频词——名词、动词、数字等。

6.内存tcwl

VIST 的核心思想，就是让大模型也具备这种「选择性阅读」能力它设计了一种模仿人类「快–慢阅读通路（Slow–Fast Reading Circuit）」的视觉化压缩机制，让大模型在理解长文本时，既能快速扫读，又能深入思考：。

7.内存vtt

快路径（Fast Path）：将远处、相对次要的上下文渲染为图像，由一个冻结的轻量级视觉编码器快速提取显著性语义；慢路径（Slow Path）：将关键的近处文本直接输入 LLM，用于深层推理与语言生成这种「视觉 语言」的双通道协作，就像人类的眼睛与大脑——一边扫视全局，一边聚焦要点，深度思考。

8.内存channel

VIST让模型真正具备了「像人一样速读」的能力。

9.内存twrrd

凭借这一设计，在处理相同文本内容时，VIST所需的视觉Token数量仅为传统文本分词所需Token数量的56%，内存减少了50%用「视觉压缩」解锁长文本理解早期的LLM主要通过tokenizer把文本拆分的离散token输入给LLM去处理，这种范式带来了很多好处如高度语义化。

10.内存training

但是已有研究发现，经过大规模图文配对数据预训练，CLIP等视觉编码器能够自发掌握 OCR 能力，这使它们可以直接理解文本图像内容，为长文本的视觉化处理提供了强大工具VIST则借鉴了人类高效阅读的技巧，提出了一种全新的。

快–慢视觉压缩框架，用视觉方式处理长文本，让模型既能快速扫读，又能深度理解快路径（Fast Path）将次要的长距离上下文渲染成图像，由轻量级视觉编码器处理；通过