机器之心报说念迪士尼彩乐园北京赛车
裁剪：佳琪、Panda
最近一段本领，以 DeepSeek-R1 为代表的大型推理模子可谓是「当红炸子鸡」，不外举座来说，这些模子所作念的推理王人属于非形态化推理（informal reasoning）。也便是说，它们主淌若通过当然说话引申推理。
然而，这种推理模式有个瑕玷：难以通过机器来自动考据。也因此，非形态化推理在骨子应用中的可靠性就大打扣头了。这还会让参议者愈加难以进一步对推理模子进行矫正。
贬责决策也很直不雅：形态化推理（formal reasoning）。
近日，普林斯顿大学陈丹琦、Sanjeev Arora 和金驰开发的一个团队开源了一个用于自动定理证据的形态化推理模子Goedel-Prover（哥德尔证据器），况兼该模子在数学问题的自动形态化证据生成任务上达到了 SOTA。代码、模子还有在 Lean Workbook 中发现的新证据王人已开源！
论文标题：Goedel-Prover: A Frontier Model for Open-Source Automated Theorem Proving论文持续：https://arxiv.org/abs/2502.07640v1模样地址：https://github.com/Goedel-LM/Goedel-ProverHugging Face：https://huggingface.co/Goedel-LM/Goedel-Prover-SFT
最初，先简短解释一下什么是形态化推理：简短来说，形态化推理就所以机器可考据的形态进行推理。这一类别中，比较有名的证据助手包括 Lean、Isabelle 和 Coq，它们王人具备各自的形态说话（formal language），能以可被机器考据的形势抒发推理。因此，历练 LLM 用这些形态说话编写证据具有蹙迫兴致。
不外，历练 LLM 用形态化说话进行定理证据还存在一个关键挑战，即清寒形态化数学述说和证据。
关于用形态说话抒发的定理，为其编写证据的条款很高，需要相配多的范畴专科学问。
正因如斯，当今公开的形态说话数据集范畴王人很有限。举例，Lean Workbook 数据集共有 140K 条形态化述说，其中的形态化述说使用了 Lean 来述说问题，但莫得证据。这些述说中，只消 15.7K 条带有形态化证据，这些证据是由 InternLM2.5-StepProver 和 InternLM-Math-Plus 发现的。此外，Open Bootstrapped Theorems 数据集包含 107K 条述说，其证据来自 Mathlib44。
谈到本场比赛的胜利，纳斯说道：“我们终于在搞清楚角色和轮换了，无论是谁在场，谁不在场。球队的组织能力好多了，迪士尼彩乐园就是组织、执行力之类的东西。而且我认为我们的防守肯定变得更具侵略性和强硬了。我们给了自己机会，因为我们防守得确实比以前好多了。”
有关词，该团队不雅察到 Mathlib4 的诀别与一般的问题求解基准（举例平常使用的 miniF2F）的诀别存在显赫各别。举例，miniF2F 中的述说主要来高慢中数学，需要复杂的推理才调才能贬责，而 Mathlib4 中的述说则侧重于对高等数学认识的简短操作。此外，他们还发现将 Mathlib4 数据纳入历练并不成抓续进步模子在 miniF2F 上的性能。
与形态说话的数据稀缺比较，用当然说话书写的数学题却有着海量数据储备，高中生桌子上堆满的「五三」便是一座座富矿。Numina 数据集更是收录了 86 万个高质料的问答对，囊括国表里的中小学数学题、海外奥数竞赛题以及合成数据等等。
为了将这些数据飘浮为可用的形态说话，参议团队历练了两个形态化诊治器。其中一个基于 Lean Workbook 中的非形态 - 形态说话对历练，另一个则采纳 Claude-sonnet-3.5 标注的说话对进行历练。下图展示了这些形态化诊治器的历练经过。
这两个诊治器完成对原始语句的形态化后，团队还用 LLM 加了一齐考据，确保形态化后的语句准确保留了原始内容的含义，胜仗构建了一个含有 164 万个形态语句的数据集。
期骗这个大范畴形态化定理数据集，参议团队采纳了一种轮回矫正的形态，称为巨匠迭代（expert iteration）：先用现存的最佳模子（DeepSeek-Prover-V1.5-RL）去尝试解答大宗数学题目，把解对的谜底汇注起来历练新模子，然后用新模子再去解题，不竭重叠这个经过。经过 8 轮这么的「以老带新」历练后，他们的新模子变得愈加横暴了。下图展示了巨匠迭代的经过。
Goedel-Prover 阐扬何如？
具体有多横暴呢？如下图所示，在 miniF2F 上，新模子的解题正确率比之前的最优模子（DeepSeek-Prover-V1.5-RL）进步了 7.6%。在 Pass@32、64 直至 25600 测试中，王人恒久优于 DeepSeek-Prover-V1.5-RL。
新模子在 Lean Workbook 数学题库中胜仗贬责了 29.7K 说念题目，这个得益差未几是其他顶尖模子（InternLM2.5-StepProver 和 InternLMMath-Plus）的两倍。在 PutnamBench 上，新模子贬责了 7 个问题（Pass@512），位列排名榜第一。
论文共消失作、普林斯顿博士后 Yong Lin 在 上暗示他们当今正在成立这个哥德尔证据器的强化学习版块，况兼还会有一个比之前更纷乱的检查点模子。此外，他们还将在开源这个强化学习版块的同期附带 164 万条形态化述说。
简直让东说念主期待。
