快速导航×

结合 RLHF 与 RLVR 的优势，仅需 8B 参数的小模型便能超越 GPT-4o，并媲美 Claude-3.7-Sonnet。

陈丹琦团队最新研究引发广泛关注。

他们提出了一种名为 RLMT（Reinforcement Learning with Model-rewarded Thinking，基于模型奖励思维的强化学习）的新方法。该方法要求模型在输出最终答案前先生成思维链（CoT），并利用基于人类偏好的奖励模型对结果进行评估。

此方法可直接应用于基础模型，无需监督微调（SFT），显著降低了后训练的成本与复杂度。

业界评价认为，RLMT 为通用强化学习设定了新的基准：谁定义了偏好标准，谁就掌握了后训练时代的“话语权”。

让小模型实现对大模型的反超

尽管 RLVR（基于可验证奖励的强化学习）在数学推理和代码生成等任务中表现出色，但在开放性更强的任务（如撰写提纲、设计营养计划）上泛化能力有限。

而 RLMT 正是证明了，RLVR 范式同样适用于非结构化、主观性强的日常推理场景。

它通过引导模型在回答前生成长链推理，并采用与 RLHF 相同的人类偏好奖励模型进行在线强化学习，从而提升整体表现。

即便是面对非代码或非数学问题，模型也能按步骤拆解：回顾背景→综合信息→提炼关键主题→确立核心准则→举例说明→形成结构化输出。

例如，在 Wildbench 这一基于真实用户任务构建的评测基准上，经过 RLMT 优化的 Qwen2.5-7B 显著领先于其他同类模型。

其训练流程如下：

给定用户提示 x，模型首先生成推理路径 z，再基于 z 输出最终回答 y，随后由奖励模型 r(x, y) 对 y 打分。

从数学角度看，RLMT 的优化目标为：

实验中使用的奖励模型为 Skywork-v2，基于人类偏好对回答的流畅性、相关性、逻辑性和创意等多个维度评分。

在优化算法方面，研究测试了 DPO、PPO 和 GRPO 等在线强化学习方法，发现 GRPO 表现最优。即便使用 DPO 或 PPO，RLMT 也始终优于传统 RLHF。

训练数据来源于真实的用户对话，避免了 RLVR 常见的过度拟合数学与编程任务的问题。

训练策略分为两种：

Linfo.ai

Linfo AI 是一款AI驱动的 Chrome 扩展程序，可以将网页文章、行业报告、YouTube 视频和 PDF 文档转换为结构化摘要。

145 查看详情

Warm-start（带 SFT 预热）：先用少量 SFT 数据教会模型输出 CoT 格式，再通过 RLMT 进一步优化；
Zero（无 SFT 训练）：直接在基础模型上添加固定前缀提示，引导其学会“思考+回答”模式，仅靠 RLMT 即可超越标准 instruct 模型。

最终，RLMT 使模型的推理方式更接近人类——自动掌握分组归纳、约束分析、跨模块关联与迭代修正等高级思维技巧，显著提升了对话质量与创作能力。

研究团队主要在 Llama3.1-8B 和 Qwen2.5-7B 两个模型上验证了 RLMT 的效果。

结果表明，小型模型经此方法训练后，性能可超越大型商用模型，同时大幅降低后训练资源消耗。

来自普林斯顿的科研力量

本研究由三位学者共同完成：陈丹琦、Adithya Bhaskar 与叶曦。

陈丹琦现任普林斯顿大学计算机科学系副教授，领导普林斯顿 NLP 团队，近期加入 Thinking Machines Lab。她本科毕业于清华大学“姚班”，2018 年于斯坦福大学获得博士学位，师从 Christopher Manning，曾获被誉为“诺奖风向标”的斯隆奖。

她的研究聚焦于自然语言理解、知识表示与推理、问答系统、信息抽取及对话系统等领域。

论文第一作者为 Adithya Bhaskar 与叶曦。

Adithya Bhaskar 是普林斯顿大学三年级博士生，师从陈丹琦。

叶曦为普林斯顿语言与智能研究所博士后，本科毕业于清华大学，后于奥斯汀大学取得博士学位。其研究方向为 NLP，专注于提升大模型的可解释性与推理能力。

论文地址：
https://www.php.cn/link/244b45ed436c1b580a34ca2770eca240

一键三连「点赞」「转发」「小心心」

欢迎在评论区分享你的看法！

— 完 —

量子位智库 AI100 季度榜单征集中！提名截止至 10 月 10 日。快来推荐 2025 年 Q3 的「AI 100」双榜单产品吧～

一键关注 点亮星标

科技前沿动态每日更新

以上就是陈丹琦新作：大模型强化学习的第三条路，8B 小模型超越 GPT-4o的详细内容，更多请关注其它相关文章！

# 广西省机械设备营销推广  # 结构化  # 斯隆  # 奥斯汀  # 斯坦福大学  # 博士学位  # 一键  # 本科毕业  # 保定推广网站建设联系人  # 戴上  # 螺狮粉营销与推广  # 群关键词十大排名  # 网站建设合同管理笔记app  # 东营高级网站建设价格  # 商场营销活动的推广形式  # 永州seo站内优化公司  # 大足线上推广招聘网站  # 优化网站分享歌曲图片  # ai  # 强化  # 学习  # 超越  # 小模型  # 8b  # 陈丹琦  # 计算机  # mac  # 大模型  # gpt  # gpt-4  # claude  # 2025  # qwe  # 条路  # 普林斯顿 

相关栏目： 【 企业资讯168 】 【 行业动态50218 】 【 媒体报道120512 】

相关推荐： vue中datediff函数怎么用  春运抢票多久能知道成功  广东春运几点抢票  命令行如何运行j*a  单片机是怎么计时的  debian和ubuntu的区别是什么  制冰机power1灯亮是什么意思  路由器power闪红绿灯闪是什么意思  mac 如何启动命令行模式  vs如何输入命令行参数  春运抢票哪个平台好一点  市盈率300是什么意思  vivo怎么投屏到电视看爱奇艺教程  为什么夸克下载不到  苹果16配置参数有哪些  固态硬盘如何判断大小  命令行ftp如何创建目录  j*a中怎么截取数组  如何查看电脑的固态硬盘  春运抢票可以抢几张  如何4k对齐固态硬盘  j*a如何执行cmd命令  如果公司ttm市盈率为负数是什么意思  台机如何安装固态硬盘  丰田type-c接口是什么  typescript中文怎么读  新固态硬盘如何装系统  汽车中控导航机power线是什么意思  如何使用批处理命令编译vc程序  固态硬盘如何外接  春运提前抢票攻略  云笔记本电脑有什么用  ts什么意思  夸克po什么意思  哪个品牌有折叠屏手机卖  如何弄坏固态硬盘  ai文件在线打开工具有哪些  i5 6500怎么装win7  360n7lite怎么设置动态壁纸  33000日元等于多少人民币  hive中datediff函数怎么用 Hive中DATEDIFF函数的使用指南  j*a中如何创建列表数组  三星相机里power是什么意思  typescript如何标记私有方法  推特是什么软件国内可以使用吗  市盈率ttm写的亏损是什么意思  单片机怎么进行排序操作  如何查看固态硬盘速度  mac如何使用vi命令  固态硬盘2m如何修复