三星 LittleBit 开源：把大模型压到每权重 0.1 比特，推理不换架构

事件核心：发生了什么

GitHub 上出现三星实验室（SamsungLabs）的 LittleBit 项目，收录两篇论文的官方实现：NeurIPS 2025 的《LittleBit: Ultra Low-Bit Quantization via Latent Factorization》和 ICML 2026 的《LittleBit-2: Maximizing the Spectral Energy Gain in Sub-1-Bit LLMs via Latent Geometry Alignment》。

方法上，LittleBit 把每个稠密权重矩阵分解为低秩潜因子，再对因子做二值化，并用轻量学习缩放恢复幅度信息，从而实现“低于 1 比特”的极端压缩。LittleBit-2 针对初始化阶段的潜空间几何错位问题，引入 Internal Latent Rotation 与 Joint-ITQ，让 SVD 得到的因子在量化感知训练（QAT）前对齐二值超立方体。官方强调：LittleBit-2 仅改变初始化，不改变部署时的分解层结构，因此不带来额外推理开销，可通过 --use_itq 选用。

为什么重要

大模型部署长期受显存和算力约束，低比特量化是降低推理成本的主流路线。当前公开实现多集中在 4 比特、2 比特区间，1 比特以下往往伴随明显精度损失。LittleBit 把目标压到 0.1 比特/权重，并声称保持原架构推理，意味着压缩收益可能不需要专用解码算子或重构网络来兑现。对算力紧张的开发者和推理服务商来说，这为在同一硬件上放下更大模型、或降低单次调用成本提供了新的技术选项。支持的模型列表已覆盖 OPT、Llama 2/3、Phi-4、Qwen2.5/QwQ、Gemma 2/3 与 Qwen3，覆盖面比单一模型实验更接近可用工具。

对用户/开发者/创作者的影响

开发者可以按仓库说明，用 PyTorch 2.8 与 CUDA 12.4 环境，通过 QAT 训练脚本把已有模型转为低比特版本；单卡或多卡 DeepSpeed 均可运行，社区可先用小模型验证效果再迁移。如果 0.1 比特设置能在实际任务上稳定工作，边缘设备、消费级显卡和本地部署场景的可用模型规模上限会提高。不过需要注意：论文摘要不等于已上线产品，目前公开信息显示仍是研究实现，是否值得投入取决于具体任务上的精度、训练成本和推理加速比。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

值得关注的后续

一是仓库是否补充完整的精度对比数据，尤其是 0.1 比特下 wikitext2、C4 困惑度与零样本任务的表现；二是主流推理框架是否原生支持这种潜因子分解层，决定其能否从训练代码走入生产；三是三星实验室之外是否有团队复现并公开结果，以及 LittleBit-2 的 Joint-ITQ 初始化能否迁移到其他量化方案。

来源：Hacker News (黑客新闻)