标签: ChatGPT

基于AMD GPU的vLLM中的推测性解码

基于AMD GPU的vLLM中的推测性解码

vLLM 官方发布博客,公布了推测性解码在 AMD Instinct MI300X 和 MI355X GPU 上的实测结果。这项技术试图在不改变模型输出行为的前提下,让大模型推理不再一次只生成一个 Token,从而提升吞吐量,但它并非在所有模型和工作负载下都能稳定加速。

Scientists develop ‘ultrafast magnetic-field pulses’ memory system that could cut AI data center energy use by 100x — and even get close to hitting thermodynamic limits

Scientists develop ‘ultrafast magnetic-field pulses’ memory system that could cut AI data center energy use by 100x — and even get close to hitting thermodynamic limits

爱丁堡大学研究人员提出一种基于“超快磁场脉冲”的新型磁存储切换机制,理论上可将 AI 数据中心存储与内存环节的能耗降低约 100 倍,并有潜力逼近热力学极限。这项研究仍处于理论阶段,但为未来低能耗计算硬件指明了一条可行的技术路径。

AI Cold Showers

AI Cold Showers

一篇在 Hacker News 引发热议的个人长文,作者梳理了多篇“给 AI 降温”的文章,并公开承诺三条个人底线:不用 AI 代写、不用 AI 代读、不把未经消化的 AI 输出转给他人。它提醒我们,当大模型能力快速逼近甚至超越人类时,真正稀缺的可能是人类自己的思考与表达。

AI Cold Showers

AI Cold Showers

Hacker News 上一篇热门讨论指出,AI 正在加剧职场上“为不存在的问题制造解决方案”的伪效率现象,但这并非 AI 带来的新问题,而是原本就存在的组织与角色模糊问题被放大了。