标签: 人工智能

LLM 推理的效率前沿

LLM 推理的效率前沿

Hacker News 上关于 LLM 推理效率的讨论指出,真正大幅提升推理性能的关键不在部署环节的调度优化,而在模型架构设计阶段;同时量化技术正引入一条“锯齿状”的效率边界,硬件格式如 MXFP4 和 NVFP4 可能在几乎不损失模型质量的前提下显著提升服务效率。

构建自主目标循环,切实交付成果

构建自主目标循环,切实交付成果

Hacker News 上一篇题为《构建自主目标循环,切实交付成果》的技术文章引发讨论,核心观点是:AI 智能体不能只停留在“能对话”,而要构建可自主设定目标、执行并验收结果的闭环系统,才能在企业场景中真正产生价值。

PPFormulaNet training-loss bug

PPFormulaNet training-loss bug

该报错发生在 Transformers 库中 PPFormulaNet 模型训练时,原因是 ForCausalLMLoss 默认对 labels 左移一位,但 PPFormulaNet 是 encoder-decoder 架构,logits 与 labels 已对齐,导致训练标签错位、丢失最后一个目