“Reasoning” 只是行业术语,推理模型不是在像人一样思考。 @sophiamyang & @rasbt 在这场 69m 访谈里拆解了推理模型的工程本质: · RLVR 如何用可验证奖励训练模型 · 蒸馏的伦理边界在哪 · 循环 Transformer 是否真的会隐藏思维链 他们认为:推理模型没有魔法,只有方法。 https://t.co/tTK3govJG0

Sebastian Raschka 与 Sophia Yang 在一场 69 分钟访谈中,把"推理模型"从概念神话拉回工程现实——它只是会写思维链的模型,能力来自 RLVR、蒸馏和推理时扩展这些具体方法。理解这些方法,比争论"模型是否在思考"更有实用价值。

一句话看懂:Sebastian Raschka 与 Sophia Yang 在一场 69 分钟访谈中,把”推理模型”从概念神话拉回工程现实——它只是会写思维链的模型,能力来自 RLVR、蒸馏和推理时扩展这些具体方法。理解这些方法,比争论”模型是否在思考”更有实用价值。

事件核心:发生了什么

2026 年 9 月 9 日,AI Book Club(主持人 Sophia Yang,曾在 Mistral 工作)复办后邀请 Sebastian Raschka 直播对谈,主题围绕他的新书《Build a Reasoning Model (From Scratch)》。Raschka 是《Build a Large Language Model (From Scratch)》作者,新书以前作预训练模型 Qwen3 0.6B 为起点,讲解两大类推理增强路径:推理时扩展(提示词、自我精炼、多数投票)与 RLVR(用数学计算器或代码编译器等可验证奖励训练模型)。他直言”reasoning”只是行业术语,思维链相当于模型的草稿纸——又乱、可能出错、不会交上去,但帮助到达正确答案。

访谈还回应了 The Information 关于 OpenAI 新模型 Astra 采用循环 Transformer、可能”隐藏思维链”的报道。Raschka 反驳:循环层权重共享相当于用更多计算换更少 token,就像大模型 Sol 解决同一任务比 Luna 用更少 token,不是隐藏推理,而是不需要绕路。同时他泼冷水:这是有趣的架构改进,不是根本性突破。

为什么重要

这场对谈的价值在于把行业热词拆成可操作的方法论。第一,RLVR 已经改变了后训练范式——数学任务现在普遍不用 KL 散度约束,Qwen3 等模型明说去掉或设为近零,说明可验证奖励足以让模型自我校正。第二,蒸馏的路线之争有了数据支撑:查阅各家技术报告后,业界主流仍是”离线 + 硬蒸馏”,软蒸馏因 tokenizer 和词表必须兼容,基本只在同族模型间可行,DeepSeek-R1 从自家大模型蒸馏小模型是典型场景。第三,过程奖励(给中间步骤打分)仍属实验性,容易滑向 reward hacking,最终答案正确性才是客观 ground truth。

对用户/开发者/创作者的影响

对开发者,选模型的实用方法是先定成本/速度阈值,再用 Artificial Analysis 找约束内性能最优解;注意不同 harness 消耗 token 差异很大,Claude Code 约为 Codex 的两倍。对做后训练的人,RLVR 除数学和代码外没有”显而易见”的应用场景,放手试即可,但换领域(如音频)可能需要大量调参,可以用另一个 LLM 按量规打分当”熔断器”,发现质量崩坏就停训回滚。对创作者,主观任务(如网页前端)仍是”十亿美元问题”:用户偏好各异,不存在通用奖励,出路是通过上下文引导(如 AGENTS.md)加上人工测试——Raschka 分享了自己预约换机油却因 AI 系统未记录而白跑一趟的经历,说明功能炫酷不等于流程可用。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是软蒸馏的工程约束是否会被工具链缓解,比如出现跨词表的 logits 对齐方案;二是过程奖励建模能否在 DeepSeekMath V2 的”模型解题 + 裁判反馈 + 评估裁判”三级结构上稳定下来,还是继续停留在实验阶段;三是循环 Transformer 如果真的进入 OpenAI Astra 等产品,token 数量下降带来的成本变化是否会被更高的单 token 价格抵消,这直接影响开发者的 API 账单。

来源:@shao__meng

celebrityanime
celebrityanime
文章: 22795

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注