ZeroFS 与 Amazon S3 文件

ZeroFS发布了一篇深度对比文章,详细剖析了它和Amazon S3 Files在技术架构、对象存储布局和性能上的根本差异。这篇文章揭示了两种看似都提供POSIX文件系统的服务,实际上在存储后端的核心设计上截然相反,对于需要在对象存储上搭建文件系统、并权衡S3 API直接访问与性能/压缩/加密需求的用户来说…

ZeroFS 与 Amazon S3 文件

一句话看懂:ZeroFS发布了一篇深度对比文章,详细剖析了它和Amazon S3 Files在技术架构、对象存储布局和性能上的根本差异。这篇文章揭示了两种看似都提供POSIX文件系统的服务,实际上在存储后端的核心设计上截然相反,对于需要在对象存储上搭建文件系统、并权衡S3 API直接访问与性能/压缩/加密需求的用户来说,这是一次关键的技术选型科普。

事件核心:发生了什么

ZeroFS(一款基于对象存储的文件系统)在其官方博客上发布了题为“ZeroFS vs. Amazon S3 Files”的技术文章。文章由Pierre Barre撰写,发布于2026年7月11日,对比了ZeroFS和AWS的Amazon S3 Files。核心事实是:虽然两者都通过挂载方式暴露了一个POSIX文件系统,并都使用对象存储作为最终数据存放地,但它们在存储模型上存在根本对立。S3 Files采用“一一对应”的存储布局,挂载点下的每个文件(如images/cat.jpg)在S3桶中就是一个相同键名的对象,文件系统的更改会异步同步到S3。而ZeroFS则完全放弃了这种对应关系:文件元数据存储在LSM树中,文件内容被分割、压缩、加密后打包成不可变的段对象(Segment Objects)。这样,S3客户端看到的是一个内部布局混乱的存储桶,而不是挂载时的文件目录结构。在写入路径方面,S3 Files在写入后30-60秒内没有新写入才会异步导出到S3,而ZeroFS在fsync调用时就会将数据段和元数据真正持久化到对象存储后才返回成功。

为什么重要

这篇文章的重要性在于它为AI和云计算领域的技术团队提供了一份清晰的“存储选型解码”。当大模型训练、数据处理和推理部署需要大规模扩展的POSIX文件系统时,对象存储(如S3)常被作为底层存储,而S3 Files和ZeroFS是两种典型的封装方案。以前,开发者可能模糊地认为“挂载S3”就是类似的操作,但文章揭示了其本质差异:如果你需要文件系统与S3 API对象之间直接互通,让现有工具(如Parquet扫描工具、数据分析脚本)直接访问和操作S3桶里的对象,S3 Files是明确的选择,尽管会有异步延迟和数据冲突风险(双方同时修改时S3方优先)。相反,如果业务对文件系统性能(压缩、加密、小文件高效打包)要求更高,且整个工作流不需要直接通过S3 API访问文件内容(比如仅仅作为内部持久化层),ZeroFS的设计则更有优势。这对于AI行业处理海量小文件(如图像、文本片段)的场景尤为重要,因为ZeroFS通过打包大幅减少了PUT请求数量和存储成本。此外,两者都明确指出:如果其他应用程序需要在文件系统写入后立即通过S3 API看到最新数据,两者都无法实现——S3 Files有异步延迟,ZeroFS则根本不暴露。

对用户/开发者/创作者的影响

对于使用云存储进行AI训练的开发者或企业架构师而言,这篇文章直接影响了他们的技术决策。如果你正在构建一个需要频繁通过S3 API或Object Lambda来并行处理大量对象的数据管道(如数据湖、ETL任务),选择S3 Files会保持生态兼容性,但需注意首次冷读时的导入延迟和异步出口的同步窗口。如果你更关心文件系统的写入速度和空间利用效率,且你的工作负载可以完全通过文件系统接口访问,ZeroFS提供了更优的写入缓存和压缩/加密开箱即用,但你不能用标准S3客户端读取文件,甚至任何压缩或加密后的段对象都可能因为布局晦涩而无法直接作为Parquet扫描。小文件打包、客户端加密和跨对象存储(支持S3、Azure Blob、Google Cloud Storage)是ZeroFS的独特卖点。对于普通用户,理解这一点意味着在选择服务时,要明确自己的数据访问模式是“文件系统优先”还是“S3 API优先”。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

第一,ZeroFS的冷访问场景中,首次访问和读取的性能表现将是产品落地现实中的关键指标,尤其是跨区域缓存和大量小文件随机读的场景。第二,Amazon S3 Files对异步导出时数据冲突(S3获胜)的处理是否满足合规性要求,需要用户自行评估。第三,ZeroFS的布局对对象存储的桶管理和长远成本控制(尤其是小文件聚合带来的请求成本降低)是否能在生产环境中验证,需要看其并发场景下的稳定性和吞吐量。最后,两者是否会在未来版本中互相取长补短,例如S3 Files是否引入本地缓存或压缩功能,或ZeroFS是否提供可选的“对象直读”能力,都值得长期观察。

来源:Hacker News · 24h最热

celebrityanime
celebrityanime
文章: 12688

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注