清华团队：1.5B 模型新基线！用「最笨」的 RL 配方达到顶尖性能（

1.清华模型

如果有人告诉你：不用分阶段做强化学习、不搞课程学习、不动态调参，只用最基础的 RL 配方就能达到小模型数学推理能力 SOTA，你信吗？清华团队用两个 1.5B 模型给出了答案：不仅可行，还特别高效核心发现： 单阶段训练 固定超参数 = SOTA 性能 省一半算力。

2.清华 摸

意外之喜： 训练曲线平滑得像教科书，4000 步没遇到任何 “典型问题”关键启示： 充分 scale 的简单 baseline，可能比我们想象的强大得多

3.清华大学模板

技术博客：https://relieved-cafe-fe1.notion.site/JustRL-Scaling-a-1-5B-LLM-with-a-Simple-RL-Recipe-24f6198b0b6b80e48e74f519bfdaf0a8

4.清华 bim

开源模型：https://huggingface.co/collections/hbx/justrl评测脚本：https://github.com/thunlp/JustRL背景：RL 训练小模型的 “技术军备竞赛”

5.清华mook

2025 年初，DeepSeek-R1 开源后，如何用 RL 训练 1.5B 级别的推理模型成为了热门研究方向短短几个月内，这个领域经历了快速的技术演进：早期的工作尝试超参数调优和长度控制；随后出现了多阶段渐进训练，每个阶段调整数据难度和 RL 超参数；也有方法引入了课程学习，用部分解作为提示精心设计难度梯度；最激进的做法直接将 rollout 数量提升到 512 次，用算力进行暴力探索。

6.清华vtb

近期工作用到的技术对比这些方法都取得了不错的效果，性能在不断刷新 动态采样、KL 重置、自适应惩罚、长度控制…… 各种稳定技术和优化 trick 被逐一引入每个新工作都在前人基础上增加新的模块和机制，整个训练 pipeline 变得越来越复杂。

7.清华lbs

然而，这种复杂度的增长也带来了困惑：这些技术真的都是必要的吗？