标签: 算力

用于本地LLM的最小边缘AI设备

用于本地LLM的最小边缘AI设备

Tiiny AI 发布了一款面向本地大语言模型运行的最小边缘 AI 设备,主打在无云环境下完成推理任务。它的意义在于把 AI 推理从数据中心推向终端硬件,为隐私敏感与离线场景提供了新的轻量级选择。

Ryzen AI Max+ PRO 495 mini PCs with 192GB RAM emerge — Acemagic, GMKtek, Framework debut ultra-expensive ‘supercomputers’ that can handle 300B-parameter

Ryzen AI Max+ PRO 495 mini PCs with 192GB RAM emerge — Acemagic, GMKtek, Framework debut ultra-expensive 'supercomputers' that can handle 300B-parameter

AMD Ryzen AI Max+ PRO 495 处理器开始进入新一代迷你主机,Acemagic、GMKtec、Framework 先后展示搭载该芯片、最高可选 192GB 统一内存的产品。这类设备的目标是将以往需要云端集群才能运行的 300B 参数级大模型,压缩到桌面级硬件上本地推理。

NEURA与SECO将在欧洲打造机器人计算模块

NEURA与SECO将在欧洲打造机器人计算模块

德国机器人公司 NEURA Robotics 与意大利嵌入式计算厂商 SECO 达成合作,由后者为其认知机器人(含 4NE1 人形机器人)设计并量产计算模块。模块将在欧洲制造,但核心芯片来自美国高通,这暴露了“欧洲物理 AI 主权”的真实边界。

基于AMD GPU的vLLM中的推测性解码

基于AMD GPU的vLLM中的推测性解码

vLLM 官方发布博客,公布了推测性解码在 AMD Instinct MI300X 和 MI355X GPU 上的实测结果。这项技术试图在不改变模型输出行为的前提下,让大模型推理不再一次只生成一个 Token,从而提升吞吐量,但它并非在所有模型和工作负载下都能稳定加速。