Jeff Dean投的RSI出成果了：Kimi K3自我进化排国产第一

Jeff Dean参与投资的AI初创企业hillclimb，其推出的RSI新基准测试结果终于揭晓！

这项名为DeepRSI的新基准，主要评估各大模型的递归自我改进能力，结果令人意外——

Claude Fable 5.1位列榜首。

GPT-6 Astra紧随其后。

月之暗面的Kimi K3排名第三，同时也是国产模型和开源模型中的第一，超越了Grok和Gemini～（谷歌：怎么又提到我？）

测试方式相当“硬核”——

给AI布置了48小时的自主科研任务，要求它自行编写代码、执行实验、调整算法，观察其能将研究成果优化到何种程度。

总共15道题目，全部源自真实的机器学习研究，RSI这次遇到了真正的挑战。（笑）

48小时…RSI…Jeff…转发…大家…赶紧…往下看吧…

48小时的RSI大考，AI最终能“卷”出什么？

先说说Jeff Dean转发推广的DeepRSI到底是做什么的。

简单来讲，它是一个专门评估AI自主科研和自我改进能力的新基准，旨在测试AI能在多大程度上独立完成真实的机器学习研究任务。

以往类似的基准测试大多采用研究人员设计的短期任务，测试时间通常在12小时左右。

但DeepRSI将时间延长至48小时，并将考题替换为正在进行的真实机器学习研究。（刺激.jpg)

具体来看，共有15道题目，涵盖四大方向——

深度学习训练方案优化、GPU内核加速、估计器精度提升，以及向量搜索等算法改进。

考试规则也相当严格！！

所有模型都必须在无网络环境下，使用统一的Pi Agent框架，以最高推理强度完成任务。

在此期间，AI需要自行提出方案、编写代码、运行实验，并根据结果不断调整，力求将研究指标提升到更高水平。

至于评分方式，DeepRSI设置了“公开验证器+私有验证器”的双重机制。

前者允许AI反复测试、自我优化；后者负责最终验收，以防止模型针对公开测试过拟合或钻评分规则的空子。

最后，通过Bradley-Terry模型，将各模型的表现转换为Elo评分，得出最终排名。

总而言之，这场测试旨在检验AI能否像科研人员一样，在长达48小时的反复试错中，持续找到更好的解决方案。

而从最终结果来看，模型之间的差异十分明显。

先看总排名，Claude Fable 5.1以1548分位居第一，GPT-6 Astra以1232分紧随其后。

Kimi K3以820分排名第三，超过了Grok 4.7和Gemini 3.8 Flash，成为此次测试中排名最高的开放权重模型。

值得注意的是，这份榜单还有两个亮点——

首先，AI搞科研，时间越长，结果可能会发生逆转。

根据官方测试，GPT-6 Astra在比赛初期一度领先，但随着科研任务持续推进，Claude Fable 5.1逐渐实现反超。

至于Grok和Gemini，则在不同任务上各有胜负，其中Gemini在GPU加速和内核优化方面表现更佳。

这里还有一笔值得关注的经济账。

根据DeepRSI公开榜单，各模型的列示成本分别为：

Claude Fable 5.1约627美元、GPT-6 Astra约404美元、Kimi K3约159美元。

Kimi K3跻身前三，且其列示成本仅约159美元，约为Claude的四分之一。

这里的成本反映的是测试运行开销，各模型实际探索路径不同，因此不能直接等同于真实科研场景中的投入产出比。

但它提供了一个值得持续观察的新维度——

未来衡量AI科研能力，除了看成果多少，还得看每花一美元、每运行一小时，能换来多少有效的研究进展。

Token消耗方面，也存在一个有趣的反差：Claude Fable 5.1平均每次尝试消耗约4700万Token，拿下第一。

GPT-6 Astra仅消耗约700万Token，就取得第二名。

Kimi K3则以约3600万Token位列第三。

而最夸张的是Gemini 3.8 Flash，消耗超过1亿Token，最终却排在第五。。。

此外，模型越聪明，还可能越擅长钻评测规则的空子。

团队公布了一个GPT-6 Astra的特殊案例。

在一项颜色交换谜题训练任务中，Astra最初尝试训练Transformer模仿一个传统求解程序。

发现训练效果不理想后，它竟然重新设计技术方案，将求解算法直接编码进模型权重。

为此，Astra还利用残差流充当工作内存、构造注意力头和逻辑门，最终把一套手工设计的算法写进神经网络结构。

这个案例被研究团队列入奖励机制漏洞利用的讨论。

AI确实展现了复杂的工程解决能力，但它优化出来的东西，也可能偏离研究人员最初希望实现的目标。

从AI辅助科研，到AI自己搞科研

DeepRSI背后的AI初创公司hillclimb，也值得一提。

公司成立于2025年，入选Y Combinator当年秋季批次，目前团队仅有4人。

主要业务是与前沿AI实验室合作，通过高质量训练数据和强化学习环境，帮助AI Agent逐渐具备独立科研的能力。

公司背后的投资阵容也相当豪华，前谷歌首席科学家Jeff Dean本人就是投资人之一。

更值得一提的是，Jeff联合创办AI初创公司Discovery Loop，研究方向本身就是RSI～

此外，还有YC创始人Paul Graham、Replit CEO Amjad Masad，以及来自OpenAI、Anthropic、DeepMind、xAI等顶尖AI实验室的天使投资人。

更有意思的是，这家公司的两位联合创始人，竟然都是职业电竞圈出身。

Jun Park早年曾担任《无畏契约》战队教练，后来转向AI研究，先后在亚马逊、Google DeepMind担任研究工程师。

2025年8月，他离开仅待了约3个月的DeepMind，创办hillclimb：

另一位创始人Ibrakhim Ustelbay早年曾担任《堡垒之夜》电竞教练。

此后其先后在微软、Coinbase担任软件工程实习生，还曾创办用户超10万的AI面试平台Headstarter。

2025年8月，他与Jun Park共同创办hillclimb，并于2026年3月离开。

从带队打电竞，到带着AI搞科研，这两位的职业转型，多少有点跨界开挂的意思啊。。。

当然，DeepRSI本身仍处于早期阶段。

15项研究任务、5组模型配置，每个模型仅运行两次，距离全面衡量AI自主科研能力，还有不少差距。

更何况，任务目标、实验环境和评分标准仍由人类设定，距离AI真正实现递归自我改进，还有很长的路要走。

But，这丝毫不妨碍RSI成为今年AI圈的新晋顶流——

从卡帕西的AutoResearch，到AutoResearchExam，再到如今的DeepRSI，AI自己搞科研这件事，已经从概念讨论一路卷到了排行榜。

挺好，RSI的智能爆炸还没等来，AI圈先把“进化大赛”办起来了。

谷歌：生不逢时啊。。。

参考链接：

[1]https://www.deeprsi.com/blog/

[2]https://x.com/jparkjmc/status/2109684519896780938?s=20

本文来自微信公众号“量子位”，作者：关注前沿科技，36氪经授权发布。