NeurIPS25高分论文｜以判别式监督学习强化推理LLM，解决难度偏差和熵崩塌难题（

1.判别式模型有哪些

作者介绍：德州农工大学博士生李港，专注于设计和应用高效算法到大规模机器学习和人工智能任务，包括增强大型基础模型的后训练算法、对抗性鲁棒学习算法和分布鲁棒性学习算法曾发表数篇论文在 NeurIPS、ICML、KDD 等顶会， 并作为主要贡献者之一发布了针对不平衡分类任务的知名软件包 LibAUC。

2.判别分析是有监督还是无监督

DeepSeek-R1 的成功吸引了人们对群体相对策略优化（GRPO）作为大型推理模型（LRM）强化学习方法的广泛关注在本文中，作者分析了二元奖励（binary reward）设置下的 GRPO 优化目标，发现了由其群体相对优势函数引起的问题难度偏差的固有局限性，并且揭示了 GRPO 与传统判别式监督学习方法之间的联系。

3.判别式模型直接预测类别,应用简便,但适应性差

基于这些分析发现，作者提出了一个新颖的判别式约束优化（DisCO）框架来强化大型推理模型该框架基于判别式学习的基本原则：增加正确答案的得分，同时减少错误答案的得分与 GRPO 及其变体相比，DisCO 具有以下优势：。

4.使用判别式定理的条件

它通过采用判别式优化目标完全消除了难度偏差；通过使用非裁剪评分函数和约束优化方法，解决了 GRPO 及其变体的熵不稳定性，得到了长期稳定的训练动态；它允许结合先进的判别式学习技术来解决数据不平衡问题，例如在训练过程中一些问题的错误答案远远多于正确答案。

5.判别式模型包括

在增强大型模型的数学推理能力方面的实验表明，DisCO 大幅优于 GRPO 及其改进版本（如 DAPO），在 1.5B 模型的六个基准任务中，平均增益比 GRPO 高 7%，比 DAPO 高 6%值得注意的是，最大响应长度（max response length）为