3.2万亿Token训练的Bonbon:零样本涌现结合位点识别能力

Hugging Face Papers 收录的一篇论文摘要显示,名为 Bonbon 的分子互作基础模型用约 3.2 万亿 token 的蛋白-配体序列训练后,在未做任务微调的情况下出现作用机制判断、结合位点定位、共价/非共价区分三类能力,值得关注的是这些能力与模型规模之间存在非线性跃迁。

一句话看懂:Hugging Face Papers 收录的一篇论文摘要显示,名为 Bonbon 的分子互作基础模型用约 3.2 万亿 token 的蛋白-配体序列训练后,在未做任务微调的情况下出现作用机制判断、结合位点定位、共价/非共价区分三类能力,值得关注的是这些能力与模型规模之间存在非线性跃迁。

事件核心:发生了什么

根据论文摘要,Bonbon 仅使用配对的蛋白与配体序列进行预训练,不使用结构坐标,也没有针对具体任务做监督标注。研究者在 4200 万到 16 亿参数之间训练了六个规模,发现随着预训练损失平滑下降,上述三项能力在最大规模时才明显跃升,且能泛化到分布外的复合物。摘要还称,冻结的表征在结合与亲和力预测上达到当时的领先水平,速度比共折叠方法快约五个数量级;在覆盖七类蛋白家族、九个疾病靶点的湿实验验证中,新化合物的剂量反应命中率为 61.5%。

为什么重要

这项工作的关键不在于又一个大模型,而在于说明“损失下降”并不能预告零样本能力何时出现。对分子互作这类数据稀疏的领域,模型规模与数据量的配比需要特殊设计——摘要提到采用了 1:2000 的参数-数据比例。如果结论成立,它会把基础模型的竞争焦点从单纯堆参数,引向训练数据结构和能力涌现的可预测性。目前公开信息仅为论文摘要,上述能力尚未经过全文实验与独立复现核验。

对用户/开发者/创作者的影响

对从事 AI 制药、蛋白设计和分子筛选的开发者,值得留意的是“单表征空间覆盖多层级任务”的思路:它可能降低为每个下游任务单独训练模型的成本,推理速度优势也有助于高通量虚拟筛选。但摘要没有披露模型权重、许可证和 API 形态,短期内更可能是研究参考而非可直接调用的产品。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文与代码、权重是否公开,能否复现 61.5% 的湿实验命中率;二是“能力跃迁”是否在其他生物模态上同样出现;三是这种预训练路线与现有共折叠工具在真实研发管线中的成本和精度对比。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 35260

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注