周末不开市, 闲聊下, 聊聊为什么 LLM 模型进步这么快吧. 只是聊一下从投资的角度看的话我们可能需要的一点背景知识, 不一定细节准确. 如果我们去开源模型的发布网站 hugging face 里面下载一个开源的 LLM 大模型, 这个下载的包里面有很多组件, 但是核心的模型组件其实就三个. 第一个是叫 tokenizer 的分词器, 它负责把我们输入的 prompt 切成一个一个的”token”, 所以一个token 并不是一个字…

一位投资视角的 AI 观察者 @NullableX 在周末推文中拆解了 LLM(大语言模型)快速迭代的技术原因:模型进步不靠“架构神话”,而在于开源权重、知识蒸馏和合成数据形成了迭代飞轮,这可能会让后来者用算力补齐算法差距,但增长最终会遇到 Transformer 架构的天花板。








