思科尝试使用人工智能来编写安全事件报告 – 但事情并没有真正按计划进行

思科尝试使用人工智能来编写安全事件报告 – 但事情并没有真正按计划进行

一句话看懂：思科在一项内部测试中发现，使用大语言模型（LLM）自动生成安全事件报告时，出现了显著的准确性下降、内容不一致和数据丢失问题。虽然AI在减少拼写和语法错误方面表现不错，但生成的内容常带有“异常结论”和不稳定的写作风格，暴露出LLM作为概率模型的固有局限性。

事件核心：发生了什么

根据思科发布的内部报告，该公司尝试用AI（基于LLM）编写安全事件的长篇技术报告。测试显示，LLM因本质上是一个“基于概率预测下一个词的高级自动补全系统”，导致了四个关键问题：每次查询使用的数据不同，难以保证一致性；即使输入相同数据，输出结果也会略有差异；每份新报告的格式和结构不统一；AI会丢弃有价值的数据，从而改变输出结果。

思科还发现，当在同一个AI会话中要求编辑多份报告时，会出现“交叉污染”——第一份报告的内容会错误地混入第二份报告，即使已经删除了第一份报告的参考文档。为解决此问题，研究人员建议每编写一份新报告都要启动一个全新的会话并重新输入提示词。

为什么重要

这次测试是少有的、由一线安全厂商公开披露AI在专业领域写作的失败案例。它提醒行业：LLM在创建需要高度准确、格式统一和技术严谨的“长格式文档”（如安全事件报告、合规文件、审计报告）时，目前还难以完全替代人工。思科虽然承认AI可以提升效率，但强调必须通过“细颗粒度、单一任务的提示词”、固定的源文件以及严格的格式指令来约束AI，否则风险不可控。这一经验对于正在将AI融入企业工作流（尤其是法律、金融、医疗等强监管行业）的组织具有直接警示意义。

对用户/开发者/创作者的影响

对安全团队和IT管理者：不要直接信任AI生成的任何技术分析报告，必须建立人工审核流程。思科在盲测中发现，即使AI生成的报告在语法上优于人工撰写，其结论仍可能“异常”到需要修正。对开发者：在企业应用中，避免让AI在同一会话中处理多个文档，应设计独立的会话隔离机制。同时，建议采用“单一任务”设计，把报告拆分为多个小段分别生成，而非一次性输出全文。对内容创作者：LLM在长文本的结构一致性和跨文档数据隔离方面仍有硬伤，这会影响需要多个版本文档的一致性（如版本更新、修订记录）。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

值得关注的后续

第一，思科是否会基于这次测试优化自己的安全产品（如Cisco SecureX）中的AI写作功能，推出更严格的会话隔离和源文档锁定功能。第二，其他安全厂商（如Palo Alto Networks、CrowdStrike）是否会跟进发布类似测试结果或构建更可靠的AI报告工具。第三，行业标准组织是否可能出台针对AI生成安全事件报告的规范或最佳实践，要求强制标注AI参与程度并保留人工复核记录。目前公开信息显示，思科并未因此完全放弃AI，而是在探索更可控的协作模式。

来源：TechRadar