OpenAI首席科学家提议以困惑度作为跨厂商安全比较指标

OpenAI首席科学家Jakub Pachocki在2026年11月22日的官方研究博客中,主张把预训练阶段的困惑度(perplexity)作为跨厂商比较模型能力和建立共享安全标准的通用指标,并首次公开了OpenAI从GPT‑3.5以来的内部困惑度数据。

一句话看懂:OpenAI首席科学家Jakub Pachocki在2026年11月22日的官方研究博客中,主张把预训练阶段的困惑度(perplexity)作为跨厂商比较模型能力和建立共享安全标准的通用指标,并首次公开了OpenAI从GPT‑3.5以来的内部困惑度数据。

事件核心:发生了什么

这篇由OpenAI首席科学家署名的文章提出一个更简化的AI发展框架:先用大规模算力在无结构数据上预训练一个“压缩器”(即预测器),再通过提示、微调、强化学习等手段激发其潜在能力。作者认为,衡量这个“智能底座”的核心指标多年未变,即模型在留出数据集上的困惑度,数值越低代表预测下一个token越准。

文中给出的关键数据点:GPT‑3.5在对数困惑度约0.99,能进行流畅对话,是初代ChatGPT的基础;GPT‑4约0.91,擅长链式推理;当数值降到0.8以下,开始出现网络安全与数学领域的变革性能力;对数困惑度约0.76的模型在数学开放问题上产出了突破性结果。目前公开信息显示,这些数值对应的是OpenAI自家模型和其内部评测集,并非跨厂商统一基准。

为什么重要

对行业而言,这是少见的头部厂商主动公开预训练进展。文章承认,公开数据会让竞争对手更清楚地看到OpenAI的位置,但作者认为建立行业共享安全标准的紧迫性更高。如果困惑度能成为各家共同披露的指标,监管方和研究者就能在模型能力爆发前获得更早的观察窗口,而不是只依赖容易饱和的下游基准测试。这一提议能否被Anthropic、Google等厂商接受,目前尚无公开回应。

对用户/开发者/创作者的影响

普通用户短期内不会感受到产品变化,但这一讨论会间接影响未来模型的发布节奏和能力边界。开发者值得留意:下游benchmark的参考价值衰减很快,GPT‑2时代的评测早已不适用;如果困惑度这类预训练指标被更多厂商公开,API选型和模型对比可能多一个稳定维度。创作者和企业采购方则应关注安全标准的讨论,模型能力的“阈值式涌现”意味着合规审查需要更早介入,但目前仍停留在方法论倡议阶段。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是其他主要模型厂商是否跟进披露预训练困惑度或类似指标;二是OpenAI是否会把共享安全标准推进为具体的行业规范或监管建议;三是文章提到AI参与预训练算法研究可能带来新的加速拐点,这一进程的实际进展值得持续观察。

来源:OpenAI News

celebrityanime
celebrityanime
文章: 36717

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注