1.陈丹琦视频
结合RLHF RLVR，8B小模型就能超越GPT-4o、媲美Claude-3.7-Sonnet。陈丹琦新作来了。
2.陈丹丹百科
他们提出了一个结合RLHF和RLVR优点的方法，RLMT（Reinforcement Learning with Model-rewarded Thinking，基于模型奖励思维的强化学习）它要求模型在回答之前生成CoT，然后使用人类偏好训练的奖励模型来评价输出。
3.陈丹丹个人资料简介
支持在基础模型上直接使用，甚至不需要SFT，可以大幅节省后训练成本。
4.陈丹丹专场图片
网友觉得，这种方法为通用强化学习设定了一个新基线：谁制定了偏好的定义，谁就是后训练时代的“新得分手”。
5.陈丹妮模特
让小模型轻松超越大模型RLVR（通过可验证奖励的强化学习）能够在数学、代码等任务中大幅提升模型的推理能力，但是在更开放的任务（比如写大纲、制定饮食计划）上的泛化能力有限，这些任务是人类日常推理的常见场景。
6.陈丹蕾事件百度百科
本文提出的RLMT就是证明，RLVR范式在可验证领域之外同样有效。它要求模型在生成回答之前输出长思维链（CoT），并利用基于人类偏好的奖励模型（与RLHF中相同）进行在线强化学习。
7.陈丹陈丹
比如对于非数学代码问题，它依旧可以分步骤拆解：回顾→综合→关键主题→核心准则→举例→结构化回答。
8.陈丹琦论文
比如在Wildbench（一个基于真实任务建立的基准）上，优化后的Qwen2.5-7B大幅领先其他模型。
9.陈丹琦博士论文
它的训练流程如下：给定一个用户提示x，模型先生成一个推理轨迹z，在推理基础上生成最终回答y，奖励模型r(x,y)对结果进行打分。数学上，RLMT优化的目标是：
10.陈丹琦父母
然后使用人类偏好奖励模型（论文中用的是Skywork-v2），对生成的回答在流畅性、相关性、逻辑性、创意等维度给出分数在优化算法方面，RLMT使用在线强化学习算法来更新模型参数，主要实验了DPO、PPO、GRPO，结果表明GRPO效果最好。
但即使使用DPO/PPO，RLMT也始终优于RLHF
训练数据来自于真实用户对话，避免像RLVR那样过度偏向数学/代码训练方式有两种：Warm-start（带SFT预热）：先使用少量SFT数据教会模型CoT格式，再用RLMT优化；Zero（无SFT直接训练）：在基础模型上直接加入固定前缀提示，让它学会“思考 回答”结构，通过RLMT强化最终也能超过instruct模型表现。
最终通过RLMT，模型在推理风格上更像人类思考：它自然学会了分组、约束分析、跨部分联系、迭代修正等，从而带来更高质量的对话和写作效果。
研究团队主要测试了Llama3.1-8B和Qwen2.5-7B两个模型的表现效果。结果显示小模型经过RLMT训练可超越大模型，大幅简化后训练成本。
陈丹琦团队出品本项研究一共三位作者：陈丹琦、Adithya Bhaskar、叶曦陈丹琦，普林斯顿大学计算机副教授，普林斯顿NLP小组负责人最近加盟了Thinking Machines Lab她本科就读于清华大学“姚班”，2018年在斯坦福大学获得计算机科学博士学位，导师为Christopher Manning。
曾获得诺奖风向标之称的斯隆奖她的研究方向主要是自然语言理解、知识表示与推理、问答系统、信息抽取、对话代理等。
研究一作为Adithya Bhaskar和叶曦。Adithya Bhaskar现在是普林斯顿大学博三学生，师从陈丹琦。
叶曦是普林斯顿语言与智能研究所博士后。本科毕业于清华大学，在奥斯汀大学获得博士学位。主要研究方向是NLP，重点在提高大语言模型的可解释性和推理能力。
论文地址：https://arxiv.org/abs/2509.20357
评论(0)