一句话看懂:一名顾客在Circle K便利店使用AI自助结账机时,系统错误地识别其捐赠意图并生成了一笔高达85亿美元的慈善捐款账单。这一荒诞事故揭示了当前AI视觉识别与推理模型在零售场景中“幻觉”问题的严重性,也让业界重新审视将大模型直接部署于无人工干预支付环节的风险。
事件核心:发生了什么
根据Reddit用户发帖描述,他在Circle K门店使用一台基于AI视觉识别的自助结账机。当他将商品与一张红十字会慈善卡片同时置于扫描区域后,AI系统未能正确区分商品与卡片,错误地将卡片上的“捐赠”含义解读为支付指令,并在屏幕上生成一笔约85亿美元($8,500,000,000+)的待付金额。用户不得不呼叫店员介入才能终止交易。
目前公开信息显示,涉事设备搭载的AI模型在目标检测与意图分类环节出现严重逻辑错误,将非商品对象的“语义”直接映射为交易金额。Circle K方面尚未对具体模型供应商或算法版本做出回应。
为什么重要
此前行业讨论AI“幻觉”多集中在文本生成与图像创作领域,而此案证明:在缺乏上下文校验的零售支付场景中,多模态AI同样会产生荒谬但具有实质财务意义的错误。传统自助结账机的错误多源于条码读取失败或重量校验不符,有明确的硬件容错边界;而AI视觉模型直接输出“85亿美元”这类量级错误,暴露了当前计算机视觉+大模型推理组合在高精度财务场景中的脆弱性。
这件事对AI零售智能设备商(如“AI自助结账机”方案提供商)是一个直接警告:如果不对模型输出做基于规则的后端校验(如金额上限、商品类别白名单),一旦部署规模扩大,可能引发大规模支付纠纷甚至法律问题。
对用户/开发者/创作者的影响
普通用户:使用AI自助结账时应留意屏幕反馈,发现异常金额不要自行尝试重新扫码,应立刻呼叫人工协助。这类故障目前并非孤例,多家便利店品牌均出现过AI误识别导致的金额偏差。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
AI开发者与产品经理:此事件再次强调“人工兜底”机制的重要性。在支付、门禁、审查等不可逆操作前,必须加入基于人工规则的异常拦截层(如单笔金额上限、金额落差阈值报警)。不要迷信模型推理能力,尤其是视觉模型在开放场景下的泛化表现仍不稳定。
终端设备集成商:选择AI结账方案时应要求供应商提供模型的错误率容错测试报告,特别是针对非标准物体(如卡片、二维码图案、手机屏幕)的误报率数据。建议保留传统条码扫描作为备选,避免纯视觉AI成为唯一支付入口。
值得关注的后续
1. Circle K是否会公开承认AI结账系统的缺陷并调整软件逻辑,或推出带金额上限的硬性拦截规则。
2. 此事故可能推动美国各州或联邦层面出台针对AI自主交易金额上限的监管指引,尤其是零售与餐饮场景。
3. 视频类、图像识别类AI模型厂商(如提供“视觉/多模态推理”的API服务商)是否会更新模型,以降低支付场景中的“意图混淆”类幻觉。
4. 事件在Reddit引发的争议热度,是否正在倒逼便利店行业在AI结账机上增加更明显的“人工干预”提示和暂停按钮。
来源:Reddit (热门)


