上一条发出之后,我和一位好朋友交流下,发现自己可能低估了现在AI的进度。 热力学是等来的状态变量, 蒸汽机造出来七十年,卡诺才写出那篇论文。 卡诺的关键动作是发现效率只依赖温度比,那个把 10²³ 个自由度压缩成两三个宏观量的坐标选择。 热力学之所以可能,前提是 (P, V, T) 这组变量在动力学下是闭合的。知道它们,就能预测它们的演化,不需要回到微观。 所以,亟待解决的门槛问题是: 大模型的状态变量是什么? 目前,我们手里只有 l…

AI 理论研究者 Phoenix Yin(@Phoenixyin13)提出,当前 AI 理论最缺的不是更多模型理论,而是类似热力学里 (P, V, T) 那样的“状态变量坐标系”;Scaling Law 只是一条波义耳定律级别的经验规律,距离解释大模型能力涌现还有关键一步。

一句话看懂:AI 理论研究者 Phoenix Yin(@Phoenixyin13)提出,当前 AI 理论最缺的不是更多模型理论,而是类似热力学里 (P, V, T) 那样的“状态变量坐标系”;Scaling Law 只是一条波义耳定律级别的经验规律,距离解释大模型能力涌现还有关键一步。

事件核心:发生了什么

8 月 8 日,Phoenix Yin 在 X 上发布了一条长推文,讨论当前 AI 理论的瓶颈。他用 19 世纪热力学的诞生过程做类比:蒸汽机被造出来 70 年后,卡诺才发现效率只依赖温度比,进而把 10²³ 个自由度压缩成两个宏观量。热力学能成立,前提是 (P, V, T) 这组变量在动力学下是闭合的——知道它们,就能预测系统演化。

他认为,AI 现在面临同样的问题:大模型有没有属于自己的状态变量?目前研究者手里只有 loss、参数量、数据量和计算量。这几个量确实构成了一条闭合关系,也就是 Scaling Law,但它们对推理、幻觉、上下文学习这些现象并不闭合。“我们现在根本无法从 (N, D, C) 预测某个能力何时出现。”

他给出的判断是:AI 的现状更像 1850 年前后——有了几条经验定律,有了熵的雏形,但还没有玻尔兹曼。Scaling Law 本身是完整的宏观经验定律,可是它还需要一个从微观到宏观的理论框架来支撑。

为什么重要

这篇推文的观点分量很重,因为它把讨论从“怎么训练更好的模型”拉回到“我们能不能先理解模型”。Phoenix Yin 区分了几个容易混为一谈的问题

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

celebrityanime
celebrityanime
文章: 18313

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注