celebrityanime

celebrityanime

用于本地LLM的最小边缘AI设备

用于本地LLM的最小边缘AI设备

Tiiny AI 发布了一款面向本地大语言模型运行的最小边缘 AI 设备,主打在无云环境下完成推理任务。它的意义在于把 AI 推理从数据中心推向终端硬件,为隐私敏感与离线场景提供了新的轻量级选择。

迪拜正以两年为限,培训1.4万家公司运行AI agents。

迪拜正以两年为限,培训1.4万家公司运行AI agents。

迪拜商会启动了一项为期两年的 agentic AI(智能体 AI)培训计划,覆盖旗下超过 1.4 万家企业,目标是让迪拜在 2028 年前成为全球商业采用智能体 AI 的领先城市。这是目前政府层面针对 AI agents 最大规模的企业推广行动之一,但技术成熟度与安全性仍是关键变量。

Ryzen AI Max+ PRO 495 mini PCs with 192GB RAM emerge — Acemagic, GMKtek, Framework debut ultra-expensive ‘supercomputers’ that can handle 300B-parameter

Ryzen AI Max+ PRO 495 mini PCs with 192GB RAM emerge — Acemagic, GMKtek, Framework debut ultra-expensive 'supercomputers' that can handle 300B-parameter

AMD Ryzen AI Max+ PRO 495 处理器开始进入新一代迷你主机,Acemagic、GMKtec、Framework 先后展示搭载该芯片、最高可选 192GB 统一内存的产品。这类设备的目标是将以往需要云端集群才能运行的 300B 参数级大模型,压缩到桌面级硬件上本地推理。

Eval bug: SYCL garbage on the second prompt.

Eval bug: SYCL garbage on the second prompt.

该报错在 llama.cpp 的 SYCL 后端下,发送第二个 prompt 时触发,表现为输出乱码。核心诱因是模型权重中包含大量 Q2_K 量化张量,它们在特定 batch 大小下触发了 SYCL 的 reorder 路径缺陷,可优先尝试通过设置环境变量 GGML_SYCL_ENABLE_OPT=

OpenAI 是否在悄悄把 GPT-6 请求转接到 GPT-4o?

OpenAI 是否在悄悄把 GPT-6 请求转接到 GPT-4o?

有开发者反映 OpenAI 的 API 在高峰期可能出现“静默降级”——请求被从 GPT-6 路由到较低版本模型,但响应质量下降的原因尚未被官方证实。这件事之所以值得关注,是因为模型路由的透明性直接影响开发者对 AI 应用的信任与调试成本。