斯坦福与伯克利发布TokenGate:长上下文预填充提速最高11.3倍

斯坦福大学与加州大学伯克利分校的研究人员发布了 TokenGate,这是一个面向大模型长上下文预填充的可学习 token 剪枝模块,据称能在不损失准确率的情况下把首 token 延迟(TTFT)缩短 1.4 至 11.3 倍。

斯坦福大学与加州大学伯克利分校的研究人员发布了 TokenGate,这是一个面向大模型长上下文预填充的可学习 token 剪枝模块,据称能在不损失准确率的情况下把首 token 延迟(TTFT)缩短 1.4 至 11.3 倍。

Cloudflare 开源的 security-audit-skill(约 3.7 万星)可接入 Claude Code 做自动化安全审计,但全量运行六阶段工作流可能烧穿一人公司的 Token 预算。开发者孟健公开了一套按需裁剪的接入思路:限定审计范围、并发上限与熔断条件,把成本压到可控区间。

该报错通常出现在 Intel XPU 上同时启用 MTP 投机解码与 chunked prefill 时:同一批次中混入了“投机解码 token”和“非投机(普通 prefill)token”,而当前版本的 causal_conv1d XPU kernel 不支持在同一调用中处理这两类 token,

该报错通常出现在 Intel XPU 上同时启用 MTP 投机解码与 chunked prefill 时:同一批次中混入了“投机解码 token”和“非投机(普通 prefill)token”,而当前版本的 causal_conv1d XPU kernel 不支持在同一调用中处理这两类 token,

该报错通常出现在使用 IntelEmbedding 加载 TorchScript 格式模型(如 Intel/bge-small-en-v1.5-rag-int8-static )时。PyTorch 2.6 将 torch.load 的 weights_only 默认值改为 True ,而 Torch

该报错发生在启用 CUDA 后端编译 llama.cpp 的 ggml-cuda 目标时,ggml-cuda.cu 引用了 ggml_cuda_graph 不存在的 instance 成员,通常说明当前源码处于某次引入该问题的提交区间。优先排查源码提交版本,并尝试升级到已修复的主线版本或应用对应修复

报错通常出现在使用 Clang 23.x 配合 ROCm/HIP、针对 RDNA 系列 GPU(如 gfx1151、RDNA 4)编译 llama.cpp 的 HIP 后端时,编译会在 ggml/src/ggml-cuda/mma.cuh 的 WMMA bf16 内置函数调用处失败。优先排查 Cla
![[Feature Request]: Go ingestion: generate TOC chunks for directory-enhanced retrieval](https://www.chat-gpts.plus/wp-content/uploads/2026/10/21031-452646b4-768x403.jpg)
这是 Go 摄取链路缺少 TOC 生成能力的特性请求,不是可复现的报错。检索侧已有 toc_kwd="toc" 读取增强,但新摄入文档不会生成对应目录块;需要确认的是当前 Go 摄取是否选中 TOC 字段以及是否已实现该分支。
![[Bug]: Non-streamed /v1/messages response has no `stop_sequence` key unless a stop sequence fired (hosted_vllm)](https://www.chat-gpts.plus/wp-content/uploads/2026/10/47946-bb918d89-768x403.jpg)
该报错出现在通过 LiteLLM Proxy 调用 POST /v1/messages 、后端路由到 hosted_vllm 的非流式场景中,表现为响应缺少 stop_sequence 或该字段取值异常。优先确认 LiteLLM 版本与代理侧的 callback、guardrail、 general

这个报错通常出现在使用 SYCL 后端编译 llama.cpp 时,源文件内部函数调用参数数量不匹配,属于编译期源码回归。优先确认所用提交是否包含后续修复,而不是去排查 oneAPI 或显卡驱动。