Tiered context length can exhaust VRAM

此报错通常发生在 Ollama 0.15.5 及以上版本,自动根据显存设置默认上下文长度(Tiered context length)后,未考虑并行数( OLLAMA_NUM_PARALLEL ),导致显存溢出、模型被迫使用系统内存/交换分区而性能骤降。优先排查方式是显式通过 OLLAMA_CONT

此报错通常发生在 Ollama 0.15.5 及以上版本,自动根据显存设置默认上下文长度(Tiered context length)后,未考虑并行数( OLLAMA_NUM_PARALLEL ),导致显存溢出、模型被迫使用系统内存/交换分区而性能骤降。优先排查方式是显式通过 OLLAMA_CONT

该问题通常发生在显存(VRAM)较小且内存有限(≤16GB)的消费级硬件上,加载 Granite 4.2 系列模型(8B/3B)时因模型内部固定了 num_ctx 131072 而导致 OOM。优先排查模型是否有固定的 num_ctx 参数,并尝试用 Modelfile 或环境变量显式降低上下文长度

Dan Shipper 在 X 上发布了一条题为 “VIBE CHECK: GPT-6 ASTRA” 的帖子,暗示其对 OpenAI 下一代模型 GPT-6 ASTRA 进行了体验或评估。帖子引发大量关注,评论中对模型表现的评价出现分歧,但截至目前 OpenAI 官方尚未对该模型进行任何正式发布。

云存储公司 Box 的 CEO Aaron Levie 透露,OpenAI 新一代模型 GPT-6 Astra 已在其企业复杂工作流测试中成为史上最佳。该模型目前处于早期预览阶段,尚未广泛开放。

OpenAI 发布了 GPT-6 Astra 的演示视频,展示 AI 助手直接替代人在电脑上完成各种操作。Sam Altman 称这是自己目前最喜欢的 OpenAI 视频,显示新一代模型在“AI 代理”方向上又进一步。

Replit CEO Amjad Masad 在 X 上透露,GPT-6 将在能力上大幅跃升,并能解锁新的应用场景,且很快会登陆 Replit 平台供用户体验。这是 GPT-6 发布前最重要的第三方产品信号之一。

AI 领域知名研究者 Swyx 与 Latent.Space 团队花费超过 200 亿 token,将 OpenAI 的 Astra 智能体投入各类 AI 工程任务,宣称其能以每小时不到 6 美元的成本完成从模型选型到数据标注的完整工作流,标志着 AI 工程正在从“人写代码调用模型”转向“模型自主完成工程任务…

一位开发者用 Claude、ChatGPT Codex 等 AI 工具,将 OpenAI 与 Hugging Face 之间复杂的技术争议改编成一部短片《The Collective》,旨在通过视觉化方式帮助大众理解这场“像科幻小说”的事件。

一位开发者用 Claude 配合语音输入,以不到 20 分钟的主动操作完成了一个项目的开发和落地,展示了“AI 自主编程”正在从演示走向日常真实工作流。

OpenAI 产品负责人 Thibault Sottiaux 宣布,从即日起,付费 ChatGPT 用户如果当天仍无法使用 Astra,将按天累积补偿一次 reset(重置额度)。首批补偿预计约 3 小时后发放,团队正在加速向更多账号开放访问权限。