一句话看懂：一项新研究提出“改写缩放定律”，把生成合成改写文本的推理算力计入总预算，据此预测自然文本与改写文本的最优配比。实验显示，最优改写比例会随算力增加而上升。
事件核心：发生了什么
alphaXiv 收录的论文《Rewriting Scaling Laws for Synthetic Data with Compute and Data Constraints》研究了一个实操问题：用大模型把自然文档改写成训练语料时，到底该投入多少算力。作者基于 FineWeb-Edu 数据提出一个损失预测模型，输入包括模型规模、训练 token 数、改写 token 占比和自然数据重复轮数，并同时计入生成改写所消耗的推理算力。在算力受限设定下，最优改写比例从 3×10^18 FLOPs 时的不足 10%，升至 10^22 FLOPs 时的约 32%。研究还用较小规模的实验外推到 10^22 FLOPs 总预算，训练了一个 21.9B 参数、76B token 的模型，最终 Paloma macro BPB 为 0.983，低于纯自然数据训练的同量模型（1.061），实际损失与预测相差约 1.1%。作者还称，该模型在部分网页领域以约十分之一的训练算力取得了优于其改写器的 BPB。需要说明，以上结果来自论文摘要与实验设定，尚未经同行评审确认，也不是已上线的产品或工具。
为什么重要
高质量自然文本正在变稀缺，合成改写已成为预训练语料的常见成分，但“改写要花多少算力”长期缺少可量化的决策依据。这项工作尝试把合成数据的配比纳入缩放定律框架，让“该不该改写、改写多少”变成可预测的工程参数，而不只是经验判断。如果结论在更大规模上成立，模型预训练的数据策略会从“尽量收集自然语料”转向“在自然数据与改写数据之间做算力最优分配”，对预训练成本结构有直接影响。
对用户/开发者/创作者的影响
对训练大模型的团队，这套方法提供了一个可复用的思路：把改写生成算力纳入预算，再搜索最优改写比例，而不是默认改写越多越好。对使用开源模型做领域微调或数据增强的开发者，论文暗示在种子数据有限时，用同规模模型改写自身预训练数据也可能优于纯自然数据训练——不过目前公开信息仅覆盖最高 3B 参数的模型规模，更小规模或不同数据源上是否同样成立仍需验证。对内容创作者而言，这更多是间接影响：训练语料中合成文本占比上升，可能改变模型在特定风格和网页内容上的表现。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是这篇论文的完整实验细节与同行评审进展，尤其是 22B 模型外推结论能否被独立复现；二是改写缩放定律在第三方改写器与自改写两种设定之外是否稳健；三是工业界是否会据此调整预训练数据配方，并公开更多算力与改写比例的实测数据。
来源：alphaXiv
