标签: Gemini

Kog 深挖 GPU,榨取更多推理性能

Kog 深挖 GPU,榨取更多推理性能

法国初创公司 Kog 正尝试用软件优化从企业现有的 GPU 中榨取更多 AI 推理性能,其演示达到了单请求 3000 tokens/秒的解码速度,但验证模型是仅 20 亿参数的小模型;这套方法能否在大模型上复制,是它下一步的关键考验。