1.cleaner杀手

至今为止 Transformer 架构依然是 AI 模型的主流架构，自从其确立了统治地位后，号称 Transformer 杀手的各类改进工作就没有停止过在一众挑战者中最具影响力的自然是 2023 年社区爆火的基于结构化的状态空间序列模型（SSM）架构的 Mamba。

2.杀手crossover

Mamba 的爆火可能和名字有关，但硬实力确实强大在当时，Mamba 在语言建模方面可以媲美甚至击败 Transformer而且，它可以随上下文长度的增加实现线性扩展，其性能在实际数据中可提高到百万 token 长度序列，并实现 5 倍的推理吞吐量提升。

3.press enter to play杀手

在 Mamba 问世后，涌现出了超多在不同任务上使用 Mamba 的工作以及一些改进工作，诞生了了 MoE-Mamba、Vision Mamba、VMamba、U-Mamba、MambaByte、MambaOut 等多项工作，被称为「Tra

4.杀手starter pack

nsformer 最有力的继任者」但 Mamba

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。