可能又是一次 Bitter Lesson

最近几天看到的几个事情，让我又想起了 The Bitter Lesson。

9 月 8 日，OpenAI 公布了 NS（Navier–Stokes）问题的证明方案：约一万个并发智能体参与探索，在带外力的设定下构造有限时间奇点。实现证明的是内部研究模型，GPT-6 Astra 负责后续的 Lean 形式化与验证。这规模看起来确实有点暴力，里面包含了各种分头搜索、交换发现和验证。

另一边，Astra 已经能在 Blender 里建房子，再放进 Unreal Engine；Robocurve 则让它控制机械臂，把积木放进碗里，20 次成功了 19 次。图像输入和工具调用，让通用模型用上了人类已经造好的工具。当然，拼图嵌入只有 2/20，这些实验还不能证明它全面胜过专用建模模型或 VLA。但原来觉得应该为不同任务单独训练模型的地方，现在好像可以重新想想了，Agentic Gen 可能会更好的利用到通用模型能力的高增速。

Sutton 在 2019 年写下的 Bitter Lesson，大意是：从长期看，能够不断利用更多计算的通用方法，尤其是搜索和学习，往往会超过精心加入人类领域知识的方法。苦涩的地方也很好理解。我们认真分析问题，设计结构，加入经验，做出了提升；然后计算规模增长，一种更通用的方法追了上来。之前的投入变得毫无价值。

把这个判断放到今天，一些我们以为必须专门建模的能力，可能只是通用模型暂时还做不好。 现在它能看图、写代码、调用工具，训练时有更多计算，解决问题时也可以花更多时间尝试。如果进一步的展开训练，进一步的扩展通用能力，或许越来越多的专用模型以及人的能力范畴会被它侵蚀。

这里还能接上 Sara Hooker 的“硬件彩票”。一个研究方向能够胜出，也可能因为它适合当时的硬件和软件。Transformer 原始论文就把更容易并行、减少训练时间当作优势。今天的 LM 也许恰好找到了一条适合现有硬件、容易持续扩大投入的路。算法的能力与基础设施的选择，就这样缠在了一起。

所以我现在更想问的是：今天那些看起来必须精心设计的部分，有多少来自问题本身，又有多少只是当前模型能力留下的空缺？我还答不上来。只是每次看到通用方法又往前走了一点，都觉得这个问题应该重新问一遍。可能又是一次 Bitter Lesson。

参考资料

OpenAI. On the Navier–Stokes Millennium Prize Problem. 2026-09-08，更新于 2026-09-10。
OpenAI. GPT-6 Astra: A new generation of intelligence. 2026-09-03。Blender 与 Unreal Engine 演示。
Robocurve. GPT-6 Astra on robotic manipulation. 2026-09-04。两项机械臂任务的结果与实验限制；比较对象为其他通用模型，未包含 VLA。
Richard Sutton. The Bitter Lesson. 2019-03-13。作者原文的高校存档。
Sara Hooker. The Hardware Lottery. 2020。
Ashish Vaswani et al. Attention Is All You Need. 2017。