微软BitDistill将LLM压缩到1.58比特：10倍内存节省、2.65倍CPU推理加速（

1.bitset压缩

大语言模型（LLM）不仅在推动通用自然语言处理方面发挥了关键作用，更重要的是，它们已成为支撑多种下游应用如推荐、分类和检索的核心引擎尽管 LLM 具有广泛的适用性，但在下游任务中高效部署仍面临重大挑战随着模型规模的急剧扩大，这些挑战被进一步放大，尤其是在资源受限的设备上（如智能手机），内存占用和计算开销都变得极其昂贵。

2.bitmap压缩

为应对这些问题，近期研究提出了极低比特（extreme low-bit）LLM，例如使用 1.58 比特（即三值 {-1, 0, 1}）表示的 BitNet这种方法旨在显著降低内存占用并加速推理，从而为 LLM 在下游应用中的高效部署提供一条可行途径。

3.microsoft bits

然而，要让 1.58 比特的 BitNet 在下游任务中达到与高精度模型相媲美的准确率，通常需要从零开始在大规模语料上进行预训练，这会带来巨大的计算和能耗成本如图 1 所示，直接对已有的全精度 LLM 进行 1.58 比特量化感知训练（Quantization-Aware Training, QAT）时，在特定下游任务上的训练过程往往不稳定，难以保持原有的性能，并表现出较差的可扩展性：当模型规模从 0.6B 增大到 4B 时，相对于全精度基线的性能差距从 13.9 扩大到 15.3。

4.bit压缩算法

这一现象凸显出：迫切需要专门为 1.58 比特 BitNet 设计的更有效的量化感知训练方法在本研究中，来自微软的研究者聚焦于将已有的 LLM 微调至 1.58 比特以适配特定下游任务，同时保持与全精度模型相当的性能。

5.bit文件压缩

为此，本文提出了