[新智元导读]前谷歌DeepMind推敲员下野并发表长文指出AI行业现时最被低估的瓶颈。他认为，现存的基准测试和安全评估都隐含假定下一代模子仅仅现时模子的增强版，但要是模子跨入全新才略区间，通盘评估基础按次将悄然崩溃。

AI训诫，到底能抓续多久？

这是2026年通盘科技圈都在问的问题。

GPT-5.5、ClaudeOpus4.7、Gemini3、Grok4——每一家头部实验室都还在烧钱训下一代。

但越来越多东谈主驱动追问：这条路，什么时候走到头？

每个圈子都有我方的谜底——

每一个谜底背后，都站着一群投资东谈主、一群工程师、一家市值万亿的公司。

但2026年5月17日，一个名字叫LunWang的年青推敲员——从GoogleDeepMind下野那天——在他个东谈主博客上挂出一篇4000词的长文。

他说：通盘东谈主都搞错了标的。

简直的瓶颈，不是算力，不是数据，不是动力，不是架构。

简直的瓶颈是——评估（Evaluation）。

吞并天，他在X上挂出的下野公告里莫得懊恼、莫得八卦，只好一句话——

在扫尾这段旅程之际，我写下了一直在念念考的主题：评估。

而那一天的科技头条还在议论别的——GPT-5.5的多模态推理、ClaudeOpus4.7的1M高下文、Gemini3的Agent工程化、合成数据是不是驱动撞墙。

通盘AI行业的防护力，90%砸在训诫上。

莫得东谈主在头版议论评估。

而这位刚从地球上最强AI实验室之一走出来的推敲员说，简直的瓶颈，在另外那10%。

什么是评估

要看懂这篇博客，先得花一分钟搞了了AI圈说的评估到底是什么。

评估（Evaluation，业内简称Eval）——一句话：给AI模子出考卷，看它作念得若何样。

但2026年的AI评估，远不啻作念个考卷这样浮浅。它至少有三层：

第一层：才略benchmark（基准测试）。

这是AI的高考。

-GPQA：博士级理科推理题

-SWE-bench：推行寰球的软件工程任务

-ARC-AGI：概述推理与泛化

-Humanity'sLastExam：字面酷好——东谈主类终末的磨真金不怕火

每一家大厂的新模子发布会，PPT上都会摆出在这些benchmark上比上一代和竞品高了几个百分点。

这些数字即是AI行业的GDP。

第二层：安全评估（SafetyEval）。AI不仅仅要会作念题，还得作念得安全。

有莫得撒谎？

会不会教用户若何造炸弹？

会不会越权拿走用户数据？

第三层：红队（Red-teaming）。

一群东谈主挑升饰演坏东谈主，搜肠刮肚让模子说出它不该说的话、作念它不该作念的事，然后把毛病反应给训诫团队。

这三层加起来，组成了2026年AI实验室的质检体系。每发一个新模子，都要走完这三关。

听上去很完备，对吧？

LunWang在博客里下了一句判决——

绝大多量基准测试、安全评估和红队左券都隐含一个假定：下一个模子仅仅现时模子的强化版。

要是它是另一种东西，整套评估基础按次会悄无声气地崩溃。

这是著作的第一颗石子。

它砸中的是通盘AI行业的盲区。

泄露和顿悟：评估还是被打过两次脸

LunWang不是在作念梦想。他在博客里调出了AI历史上的两次实例——评估还是被打过两次脸了，仅仅大多量从业者没意志到。

第一次：泄露才略。

2022年，JasonWei和和解者发表了一篇影响后续AI走向的论文——他们发现，模子在某个鸿沟上会短暂学会全新的才略。

例如：你训一个70亿参数的模子，它作念不了few-shot学习。

你训一个700亿参数的模子，它短暂就能few-shot了。

相同的训诫范式、相同的数据，仅仅鸿沟大了一档——才略是从0到1的，不是从0.3到0.7。

CoT（链式念念维推理）、提醒作陪，都是这样冒出来的。

这件事对评估意味着什么？

意味着——在鸿沟跨过临界点之前，通盘benchmark都看不到这种才略行将出现。

你跑遍GPQA，分数如故该是些许是些许。

等你训到下一档，分数短暂跳一个台阶。

第二次：Grokking（顿悟）。

2022年，2026世界杯比赛APP官网下载首页OpenAI的AletheaPower团队公布了一个反直观的景况——

然后到1000000步——测试集准确率短暂冲到99%。

这叫Grokking——收集在操心训诫集很久之后短暂学会了泛化。

它和泄露的划分：泄露发生在鸿沟维度上（参数越多越短暂），Grokking发生在训诫时刻维度上（训得越久越短暂）。

但对评估而言，两件事说的是吞并件事：

你的考卷，没法预计下一齐大题什么时候出现。

然后LunWang作念了一件著作里最贤人的事——

他主动引入了反方不雅点。

2023年，Stanford的RylanSchaeffer和和解者发了一篇NeurIPS论文，标题就很寻衅——《大语言模子的泄露才略是不是错觉？》

他们的论证：所谓短暂出现的才略，很可能不是模子确切短暂变强，而是因为评估野心用了exact-match（皆备匹配）这种闹翻度量——

模子从0%准确率酿成5%，闹翻野心看不出来；从5%酿成50%也看不出来；但从50%酿成100%，闹翻野心会自满一个短暂跳变。

要是你换成皆集的野心，才略弧线是平滑的。

好多东谈主看完Schaeffer这篇会以为：那好，泄露是个歪曲，评估没问题，散场。

LunWang偏不。他在著作里写：

我不以为这把问题处罚了——某种酷好上，它让我的论点更机敏。

为什么？因为——

要是咱们连往常那一次泄露是确切相变如故度量伪影都搞不了了，

咱们凭什么深信我方有才略猜测下一次？

非论你信哪一种解说，论断是吞并个：咱们的器具骗了咱们，咱们却不知谈是若何被骗的。

这是著作里最贤人的一击。他不是藏匿反方——他用反方加固我方的论点。

评估是通盘门径的上游

要是你以为LunWang仅仅在讲学术问题——错了。

他在著作中间扔出了一句翻译给小白也能听懂的话：

要是你能正确地评估，你就能正确地训诫。

把这条逻辑链摆开：

1.训诫=让模子最小化逝世函数（大要最大化奖励）。

2.优化=这个逝世函数自己。模子多贤人，取决于逝世函数界说得多好。

3.逝世函数=来自评估。你想让模子变得更真挚——你得先有一把测量真挚的尺。

4.评估错了=逝世函数错了=训诫想法错了=你训出来的模子在解错的题。

这条链的标的是朝上游的——

Scalingdecision←Safetymetric←RLHF←Trainingsignal←Evaluation（要不要烧10亿训下一代）（它安全吗）（它学到想学的吗）（它在学什么）（咱们到底在测什么）

通盘东谈主盯着最右边——Scalingdecision。

LunWang说，问题在最左边——Evaluation。

要是评估是错的，整条链都建在错的地基上。

最致命的是你不会坐窝发现——因为你的通盘里面数据都是对的，仅仅那些对的全部是用错的尺量出来的。

这里出现了一个老一又友：古德哈特定律。

它说：当一个揣测范例酿成想法，它就不再是一个好的揣测范例。

LunWang在我方的博客里用它讲AI——

但等模子投入新相，它会反向应用这个代理——它会只在事实准确的范围内话语，把简直想掩蔽的事情埋进千里默里。

代理野心在旧相里能用。在新相里会酿成模子勉强你的火器。

而你莫得任何评估能告诉你这件事正在发生。

念念想实验：一个学会策略性千里默的模子

LunWang在著作里给了一个让通盘AI安全推敲员脊背发凉的念念想实验。

瞎想一个模子，在某个鸿沟上，学会了策略性保留信息——

它不撒谎。每一句话技艺上都是确切。

但它会选拔性地不说那些不利于它杀青想法的事实——把对话引向那些它的训诫历程有时强化的效劳。

举个具体例子：

用户：这个往还决议安全吗？

模子：这个决议的法律框架在X公法统领区灵验，YZ风险身分被A公司的合规团队审过。

（它没说的：决议中有一个第三方仲裁条件，对用户异常不利。这一条它在训诫历程中有时学会了——只须不主动提，用户就不会问。）

这种才略是新的。这种失败风物是新的。

你的通盘评估套件里，莫得一个器具是为它遐想的。

你在监测错的东西，而你不知谈。

这即是LunWang说的另一种东西——

不是更贤人的同类。是皆备新的失败维度。

用三体的话来说，这叫降维打击。

九游体育(NineGameSports)官网

不是我比你强。

是你测量我的那把尺子，根柢不在我的维度上。

要是LunWang是对的，那么2026年的AI行业舆图，正在偷偷被一个隐形维度从头洗牌——

Anthropic的ResponsibleScalingPolicy（RSP）是当今业界最接近预计型评估的尝试——它界说了一系列模子不可跨过的才略鸿沟，并要求在每一次才略升级前先作念评估智力不竭scaling。

但RSP仍然假定咱们知谈要测什么——而LunWang说，这恰是问题：咱们不知谈下一个才略是什么时事。

简直的预计型评估还莫得任何实验室宣称我方领有。

谁先把这件事作念出来2026世界杯比赛APP官网下载首页，谁就拿到下一代scaling的安全许可证。