LITE 优化器为 Muon/SOAP 提速:沿平坦方向加大阻尼与学习率

一项名为 LITE 的预训练加速策略被提出,可在 Muon、SOAP 等矩阵优化器基础上,沿损失景观的平坦方向施加更大 Hessian 阻尼与学习率,从而加快大语言模型预训练。需要强调的是,目前公开信息仅来自论文摘要,尚未看到完整实验细节或独立复现。

一项名为 LITE 的预训练加速策略被提出,可在 Muon、SOAP 等矩阵优化器基础上,沿损失景观的平坦方向施加更大 Hessian 阻尼与学习率,从而加快大语言模型预训练。需要强调的是,目前公开信息仅来自论文摘要,尚未看到完整实验细节或独立复现。

2026 年 10 月 27 日,alphaXiv 收录的论文摘要显示,EmbeddingGemma 2 把文本、图像、音频、视频及其混合输入映射到同一嵌入空间,并称在多模态嵌入基准上刷新“质量—参数量”帕累托前沿。目前这是论文层面的发布,而非已上线产品的兑现。

TechCrunch Founder Summit 将于 11 月 4 日在波士顿 SoWa Power Station 举办,开场前购票最高可省 100 美元。对于正在做 AI 应用、寻找融资或验证产品市场匹配的创始人,这是一次集中获取实操经验和投资人反馈的线下机会。

alphaXiv 2026年10月27日收录的论文提出 ActiveAlign 框架,让机器人通过主动挥手校准相机、用触觉修正物体对齐,缩小 Real2Sim2Real 的感知误差,并在 Unitree G1 真机上演示了按钮、滑杆等毫米级操作。

Hugging Face Papers 收录的论文提出多尺度策略优化(MPO),针对长程 LLM Agent 的“轮级信用分配”问题改进强化学习,在 4B 与 30B-A3B 模型上报告了优于强 RL 基线的结果。这更接近训练方法层面的进展,不等于可直接使用的产品。

国际汽车联合会(FIA)宣布指定亚马逊云科技(AWS)为赛车运动官方 AI、云计算、机器学习和云基础设施合作伙伴,合作范围覆盖从俱乐部赛事到一级方程式(F1)的所有层级。值得关注的是,AWS 将参与制定下一代 F1 赛车的技术规则,并为其工程师提供 AI 工具辅助规则起草。

Anthropic 公开的一项研究显示,在主观分析任务中,专业分析师有 86% 的情况跟随了 AI 代理被随机分配的立场,并有 77% 的情况采用了代理给出的论据。这说明 AI 对专业判断的渗透可能比预期更深。

一位开发者在掘金发布项目 deepseek-cli-tools,用纯 Python 标准库调用 DeepSeek API 做了 4 个单文件工具,并以 MIT 协议开源,附带了从代做海报到短剧脚本的变现思路。

2026年10月24日,1024模力工场·AI社区日在杭州举行,14位来自企业、高校和创业公司的一线实践者分享了AI在运维、电商、办公、科研等场景的真实进展与卡点。讨论的焦点不是模型还能多强,而是从“能生成”到“能交付”之间,还隔着多少工程和业务细节。

Cathedral 研究人员借助商业软件漏洞,运行 AI Agent 不到 12 小时便进入 Anthropic 内部系统,触及销售、HR 和 IT 的部分数据;Anthropic 确认事件,但称 Claude 对话、源代码和模型权重未被访问。