Gemma 4: Exploding pre-clip gradient norms during LoRA fine-tuning of `gemma-4-31B-it`

该报错通常出现在使用 LoRA 微调 Gemma 4 31B 模型时,表现为梯度裁剪前的梯度范数异常偏大(可能达到正常值的数十到数百倍)。优先排查 Gemma 4 注意力机制中的 scaling=1.0 设置,这是导致梯度尖峰的主要诱因,而非代码 bug。

该报错通常出现在使用 LoRA 微调 Gemma 4 31B 模型时,表现为梯度裁剪前的梯度范数异常偏大(可能达到正常值的数十到数百倍)。优先排查 Gemma 4 注意力机制中的 scaling=1.0 设置,这是导致梯度尖峰的主要诱因,而非代码 bug。

英伟达正在与开源 AI 平台 Hugging Face 进行深度收购谈判,交易估值超过 130 亿美元。若成行,这将成为英伟达史上最大并购之一,也意味着 AI 算力巨头开始直接掌控模型分发与开发者生态的入口。

据 The Information 报道,英伟达拟以 129 亿美元收购开源 AI 平台 Hugging Face。这笔交易意味着英伟达不再只卖芯片,而是直接掌控开源模型的分发入口,为自家算力争夺开发者生态。

北京朝阳区市场监管局对一名离职员工开出全市首例 AIGC 商业秘密行政处罚,罚款 10 万元。该员工拷贝并破解原公司的 AI 商业软件后另起炉灶接单,监管部门通过电子取证完整还原了复制、破解、跨公司复用的证据链,首次以行政处罚形式确认 AIGC 商业软件可受商业秘密保护。

小鹏汽车于8月27日宣布,搭载第二代VLA大模型的Robotaxi正式开启全无人道路测试,并已在广州获得远程测试资格;自6月员工内测启动以来,已累计完成超2000单内测订单。这意味着小鹏基于大模型的自动驾驶方案正进入真实道路验证阶段。

成都警方近日打掉一个利用 AI 生成虚假男性形象、针对中老年女性实施婚恋诈骗的团伙,抓获 28 名嫌疑人,涉案金额超百万元。这起案件首次将 AI 图像生成技术被用于“精准诈骗”的完整链路公之于众。

英伟达发布2027财年上半年及第二季度财报,半年净利润达1180亿美元,同比增长161%,同时下一代Vera Rubin平台已全面量产,AI算力需求依然处在高速扩张期。

千问办公平台正式上线 Qwen3.8-Flash 大模型及新标准模式,官方测试成绩超过 Claude Opus4.6,同时在单任务生成速度提升约 100%、Token 消耗下降 75% 的前提下,试图打破性能、成本与速度的“不可能三角”。

北京朝阳区市监局开出全国首例AIGC领域商业秘密行政处罚案,一名员工离职前复制并破解前东家自研AI翻译软件,离职后用它承接竞对业务,被罚款10万元。这个案子首次在行政执法层面确认AIGC商业软件可作为商业秘密受法律保护。

山西临汾一处公益广告牌因画面中行人头脚错乱、扫帚从垃圾袋中“钻出”等异常细节引发关注,当地官方确认该广告由合作广告公司使用 AI 生成,目前已被撤下,并启动了对其他户外广告的全面排查。