标签: API

用于本地LLM的最小边缘AI设备

用于本地LLM的最小边缘AI设备

Tiiny AI 发布了一款面向本地大语言模型运行的最小边缘 AI 设备,主打在无云环境下完成推理任务。它的意义在于把 AI 推理从数据中心推向终端硬件,为隐私敏感与离线场景提供了新的轻量级选择。

基于AMD GPU的vLLM中的推测性解码

基于AMD GPU的vLLM中的推测性解码

vLLM 官方发布博客,公布了推测性解码在 AMD Instinct MI300X 和 MI355X GPU 上的实测结果。这项技术试图在不改变模型输出行为的前提下,让大模型推理不再一次只生成一个 Token,从而提升吞吐量,但它并非在所有模型和工作负载下都能稳定加速。

6000字故事|带你入门 GPT-6 Astra ,小白直接照着做

6000字故事|带你入门 GPT-6 Astra ,小白直接照着做

一篇以“给长辈做手机使用说明”为案例的 GPT-6 Astra 实操教程在社区流传,核心不是罗列新功能,而是演示如何通过限定场景、提供截图和分步纠错,让小白也能用对大模型。它反映的是模型能力之外,提示词方法和任务拆解正在成为普通用户的关键技能。