一句话看懂:智谱创始人唐杰在课程中提到,当年劝杨植麟(后创办Kimi)那批学生学编程,如今课堂上已无人手工写代码;他借此讨论SFT数据来源与模型模仿天花板,强调稀缺的是能给模型带来新信息、能判断对错的人。
事件核心:发生了什么
据社交平台用户@NFT_Chen整理,唐杰在第九讲谈到SFT数据来源时,回忆早年学生常问“最该学什么”,他回答是编程,理由是数学、统计、物理等院系学生可能更强,但编程是拉开差距的地方。如今他在计算机英文班提问“还有谁在手工写代码”,无人举手。他据此表示,大模型发展下来,第一个被冲击的是计算机。素材还提到,过去请人出一道信息赛难度题或数学题要花数千元,现在这类人工数据采集明显减少,SFT数据更多来自人工精选、模型生成、向更强模型学习及生成后验证,人的参与度一路下降。
为什么重要
这些说法触及大模型后训练的一个现实问题:数据从哪来、质量如何保证。素材引用Self-Instruct实验称,指令从175条扩展到5.2万条时,A级回答只从31%升到44.4%,到1.6万条后接近停滞;同样规模改用更强模型重写,可达54.4%。这说明堆数量有上限,改质量更重要。素材还提到,让模型模仿ChatGPT,67%至70%的样本被认为“至少不差”,但主要是语气和排版相似,13B模型在Natural Questions上的准确率反而从20降到15;用模型自生成数据循环替换还可能造成模型坍塌、丢失长尾知识。唐杰的结论是,没有新信息进来,很难超过标数据的人或更强的老师,想超越需要外部反馈。
对用户/开发者/创作者的影响
对开发者而言,会写代码的稀缺性在下降,价值正转向定义问题、构造高质量数据、设计验证与反馈闭环。对使用API和AI应用的企业,这意味着不能只看模型生成是否流畅,还要看是否有外部信号校验输出。对内容创作者,纯风格模仿容易接近,但能力上限受限于老师模型;素材中的数据仅对应特定实验条件,不宜直接外推为所有模型或产品的长期表现。目前公开信息显示,这些是课堂观点与实验引述,并非智谱官方产品公告。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
可观察三点:一是SFT与蒸馏数据管线中人工参与比例是否继续下降,以及验证环节如何补位;二是Self-Instruct类实验的结论能否在更大模型和更多任务上复现;三是“外部反馈”会以何种产品形态落地,例如工具调用、环境交互或人类评审接口。
来源:@NFT_Chen


