当前位置:首页 >独讯 >RL 是推理神器?清华上交大最新研究指出:RL 让大模型更会“套公式”、却不会真推理

RL 是推理神器?清华上交大最新研究指出:RL 让大模型更会“套公式”、却不会真推理

清华和上交的套公式最新论文中,上演了一场“学术打假”的推理戏码。文中研究者们对当前“纯 RL 有利于提升模型推理能力”的神器上交上海师范大学爆料下载主流观点提出了相反的意见。

通过一系列实验,清华他们证明引入强化学习的大最大模模型在某些任务中的表现,竟然不如未使用强化学习的新研型更模型。

论文批判性地探讨了 RLVR 在提升 LLM 推理能力方面的真推作用,尤其是套公式在赋予模型超越自身原有能力方面,效果可能并非像人们普遍认为的推理那样“无懈可击”。

RL 是神器上交推理神器?清华上交大最新研究指出:RL 让大模型更会“套公式”、却不会真推理

消息一出,网友们纷纷下场站队。大最大模

有人认为这篇文章抓住了 RL 自身的新研型更漏洞,虽然提高了采样效率,真推但它似乎在推理方面存在不足,套公式未来我们需要新的方法来释放 LLM 的全部潜力。

RL 是<strong>上海师范大学爆料下载</strong>推理神器?清华上交大最新研究指出:RL 让大模型更会“套公式”、却不会真推理

也有人表示,或许强化学习实际上限制了模型开发新推理行为的能力。真正的推理增强可能需要蒸馏等方法。

RL 是推理神器?清华上交大最新研究指出:RL 让大模型更会“套公式”、却不会真推理

质疑声之外,RL 的追随者也在为“信仰”发声:这种说法是错的,验证远比生成简单的多。

RL 是推理神器?清华上交大最新研究指出:RL 让大模型更会“套公式”、却不会真推理

也有网友表示,这更像是奖励结构的缺陷,而非 RLVR 本身的问题。如果用二元奖励结构,出现这种情况可以理解。但我们可以调整奖励结构来缓解这个问题,甚至还能激励更好的推理。

RL 是推理神器?清华上交大最新研究指出:RL 让大模型更会“套公式”、却不会真推理

强化学习:擅长加速,不擅长开路

实验中,研究人员在三个具有代表性的领域进行了实验,来评估 RLVR 对基础模型和 RLVR 模型的推理能力边界的作用。

在数学任务实验中,研究团队在 GSM8K、MATH500 和 AIME24 等基准上评估了多个大语言模型系列(如 Qwen-2.5 和 LLaMA-3.1)及其经过 RL 训练的变体。他们通过分析 pass@k 曲线,比较了基础模型与 RL 模型的表现,发现虽然 RL 在低 k 值下提升了模型的准确性,但在高 k 情况下却显著降低了问题的覆盖范围。

此外,研究者还手动审查了模型生成的 CoT(Chain of Thought)推理过程,以确认正确答案是推理得出而非纯属运气。最后,他们还研究了采用 Oat-Zero 方法训练的模型,并对信息集进行了过滤,剔除容易猜测的问题,从而聚焦于更具挑战性的样本。

整体结果显示,尽管 RL 能在初始准确率上带来提升,基础模型在推理覆盖率方面仍表现更为稳健。

RL 是推理神器?清华上交大最新研究指出:RL 让大模型更会“套公式”、却不会真推理

在编码任务实验中,研究团队在 LiveCodeBench、HumanEval+ 和 MBPP+ 等基准上评估了源自 Qwen2.5-7B-Instruct-1M 的 RLVR 训练模型 CodeR1-Zero-Qwen2.5-7B。他们通过 pass@k 指标来衡量性能,并根据预定义的测试用例评估模型的正确性。

结果显示,RLVR 提升了单样本 pass@1 的分数,但在较高采样数(k = 128)时,模型的覆盖率有所下降。与此相比,原始模型在较大 k 值下表现出了持续改进的潜力,而 RLVR 的性能则趋于平稳。这表明,尽管 RLVR 提高了模型的确定性准确性,但在探索多样性方面存在一定的限制。

RL 是推理神器?清华上交大最新研究指出:RL 让大模型更会“套公式”、却不会真推理

在视觉推理实验中,研究团队在过滤后的视觉推理基准(MathVista 和 MathVision)上评估了 Qwen-2.5-VL-7B,删除了多项选择题,聚焦于稳健的问题解决能力。RLVR 在视觉推理任务中的表现提升与数学和编码基准中的改进相一致,表明原始模型已能够解决广泛的问题,即便是在多模态任务中也同样如此。

跨领域的一致性表明,RLVR 提升了模型的推理能力,同时并未从根本上改变模型的问题解决策略。

RL 是推理神器?清华上交大最新研究指出:RL 让大模型更会“套公式”、却不会真推理

推理能力的边界

使用单次通过的成功率或平均核采样衡量模型推理能力边界的传统指标存在关键缺陷。如果模型在少数几次尝试后未能解决难题,但却本可以通过更多次的采样获得成功,此时其真实推理潜力可能会被低估。

如果为基础模型投入大量采样资源,它的性能能否与经过强化学习训练的模型相匹配?

为精准评估大语言模型的推理能力边界,研究团队将代码生成领域常用的pass@k指标拓展至所有可验证奖励的任务。针对一个问题,从模型中采样k个输出,若至少一个样本通过验证,该问题的pass@k 值为1,否则为0。信息集上的平均 pass@k 值反映了模型在 k 次试验内可解决的信息集问题比例,能严格评估 LLM 的推理能力覆盖范围。

直接按问题采样k个输出计算pass@k可能导致高方差。他们采用无偏估计法,对评估信息集D中的每个问题生成 n 个样本(n ≥ k),统计正确样本数。对于使用编译器和预定义单元测试用例作为验证器的编码任务,pass@k 值能准确反映模型是否能解决问题。

然而,随着 k 增大,数学问题中“黑客”行为可能凸显,即模型可能生成错误的推理过程,却在多次采样中偶然得出正确答案,这一情况常被以往指标忽视。为此,他们筛选出易被“黑客”攻克的问题,并手动检查部分模型输出的 CoT 正确性。结合这些措施,他们严格评估了 LLM 的推理能力极限。

当强化学习不再“强化”

清华与上交的这篇论文,为当前业界广泛推崇的强化学习范式敲响了警钟。让我们不得不重新思考强化学习在大模型训练流程中的真正角色。

我们也不能将模型的“能力”与“效率”混为一谈。能力,指的是模型是否拥有解决某类问题的潜质与逻辑链条;效率,则是在给定的能力范围内,模型能以多快、多稳、多省资源的方式得出答案。

强化学习或许确实能够提升模型在已有能力基础上的输出表现(比如在低采样次数下更快给出正确答案),但这并不代表它为模型带来了新的推理路径或更复杂问题的解决能力。相反,在高采样场景中,RL 带来的“收敛性”可能牺牲了答案的多样性,从而错失了解决更多难题的机会。

雷峰网(公众号:雷峰网)认为,强化学习更像是一种能力调控器,而非能力创造器。它可以让模型更擅长做已经能做的事,但难以让模型做出“原本不会的事”。正因如此,若将 RL 简单视为提升模型通用智能的万能钥匙,未免过于乐观。接下来的工艺路线,可能需要更多关注基础模型在表示能力、知识组织与推理路径构建等方面的设计,而非过度依赖下游的策略微调。

总的来说,这项研究的意义不在于“RL 无用”的结论,而在于它揭示了在过热预期背后,强化学习真正适用的边界。这或许会促使研究者和企业在制定大模型优化方案时,回归问题本质,用更清晰的标准衡量“能力的提升”究竟意味着什么。

参考链接:

https://arxiv.org/pdf/2504.13837

https://x.com/iScienceLuvr/status/1914171319970848942

https://limit-of-rlvr.github.io/

雷峰网原创文章,未经授权禁止转载。详情见转载须知。

RL 是推理神器?清华上交大最新研究指出:RL 让大模型更会“套公式”、却不会真推理

(责任编辑:风站乐)

    推荐文章
    • 成立“美国党” 马斯克的“第三条道路”走得通吗?

      成立“美国党” 马斯克的“第三条道路”走得通吗?随着美国总统特朗普推出的“大而美”法案正式生效,当地时间7月5日,美国企业家马斯克在社交媒体上高调宣布将成立一个独立于共和、民主两党的新政党——“美国党”。此前,马斯克通过社交媒体多次提出“美国党”有 ...[详细]
    • 商务部:已部署开展打击战略矿产走私出口专项行动

      商务部:已部署开展打击战略矿产走私出口专项行动7月10日,商务部召开例行新闻发布会。有记者提问,有报道称,锑和镓等关键矿产正在通过转运方式运往美国。中国政府是否已采取任何措施打击关键矿产的转运和走私行为?商务部新闻发言人何咏前表示,锑和镓等战略矿 ...[详细]
    • 冯德莱恩对中国提出三项要求,外交部回应

      冯德莱恩对中国提出三项要求,外交部回应【环球时报-环球网报道 记者李萌】在7月9日外交部例行记者会上,有记者提问称,欧盟委员会主席冯德莱恩昨天对中国提出了三项要求,其中包括与俄罗斯的合作。中方对此有何评论?对此,发言人毛宁表示, 中俄之间 ...[详细]
    • 文泰一性侵案一审宣判 获刑3年半

      文泰一性侵案一审宣判 获刑3年半7月10日,据媒体援引韩媒报道,前NCT成员文泰一音译,Moon Tae-il)涉特殊准强奸案今日一审宣判。他被判3年6个月有期徒刑,被当庭拘留。此外,法院要求他完成40小时性暴力治疗课程、公开告知身 ...[详细]
    • 南方电网发布首个「电力大模型」,百度智能云助力「智能电网」

      南方电网发布首个「电力大模型」,百度智能云助力「智能电网」9月26日,南方电网人工智能公司正式发布了电力行业人工智能创新平台及自主可控电力大模型。据悉,电力行业人工智能创新平台提供模型即服务MaaS),支持模型快速迭代开发,支撑电力人工智能资源面向全社会开放 ...[详细]
    • TikTok正开发仅面向美国用户的独立应用?TikTok回应

      TikTok正开发仅面向美国用户的独立应用?TikTok回应当地时间7月9日,TikTok发布公告称,路透社最近发布的一篇基于匿名、不知情信源的“独家”报道与事实不符。上述报道称,TikTok正在开发一款仅面向美国用户的独立应用程序,将“使用与全球版本不同的算 ...[详细]
    • 徽风皖韵绕濠江 经典黄梅戏澳门上演

      徽风皖韵绕濠江 经典黄梅戏澳门上演来源标题:徽风皖韵绕濠江 经典黄梅戏澳门上演新华社澳门5月25日电记者齐菲、刘刚)第五届粤港澳大湾区中国戏剧文化节之澳门—安徽黄梅戏文化周正在此间举行。中国戏剧梅花奖“二度梅& ...[详细]
    • 海陆空全方位重大突破!这些硬核画面看不够

      海陆空全方位重大突破!这些硬核画面看不够在“高质量完成‘十四五’规划”首场发布会上,国家发展改革委主任郑栅洁介绍了我国“十四五”时期经济社会发展成就。“十四五”期间我们站上了一个又一个“大国重器”的创新制高点“第一艘”“第一座”“第一次”海 ...[详细]
    • 特朗普表示最近中美关系有所改善,外交部回应

      特朗普表示最近中美关系有所改善,外交部回应【环球时报-环球网报道 记者李萌】在7月9日外交部例行记者会上,有记者提问称,美国总统特朗普日前表示,最近中美关系有所改善,中国政府在贸易领域一直对美进行一种公平的政策,外交部如何看待这个表态?对此, ...[详细]
    • 2D变3D,电影之城邀你“入画”

      2D变3D,电影之城邀你“入画”来源标题:2D变3D,电影之城邀你“入画”在陆家嘴百丽宫影城的主视觉海报前,一桌二椅皆成实景,影迷可以入内拍照留念,也可在此交谈、小憩。 上海国际电影节供图今年上海国际电影节,影迷不仅能站在主题海报前 ...[详细]
    热点阅读