ImportError: raise Exception(

这个报错通常出现在 LiteLLM 开源版中配置了 llmguard_moderations 回调,但该功能实际要求企业许可。优先确认你是否持有 LiteLLM Enterprise 许可证,或在配置中移除该回调。

快速结论:这个报错通常出现在 LiteLLM 开源版中配置了 llmguard_moderations 回调,但该功能实际要求企业许可。优先确认你是否持有 LiteLLM Enterprise 许可证,或在配置中移除该回调。

适用环境:LiteLLM Proxy;依赖企业包 litellm_enterprise(仅企业版);需要设置 LITELLM_LICENSE 环境变量。Issue 中未提供操作系统、Python/CUDA 版本等细节,故不列出。

最快修复方案:暂无确认的一步修复方案。如果已持有企业许可证,设置 LITELLM_LICENSE 环境变量后重启服务;否则不要启用 llmguard_moderations,改用 OSS 可用的自定义 guardrails 或 Presidio PII masking。

注意事项:该方案基于 Issue 修复后的文档说明,尚未在原始 Issue 中通过代码验证;如果你没有企业许可证,任何尝试调用 llmguard_moderations 的操作都可能触发此错误。

问题场景

用户在 LiteLLM 代理配置文件中,通过 litellm_settings.callbacks 添加了 llmguard_moderations 回调,并尝试在开源版中启动代理。启动时初始化回调失败,应用直接退出。

报错原文

# callback_utils.py 中的相关代码逻辑
elif isinstance(callback, str) and callback == "llmguard_moderations":
    try:
        from litellm_enterprise.enterprise_callbacks.llm_guard import (
            _ENTERPRISE_LLMGuard,
        )
    except ImportError:
        raise Exception(
            "Trying to use Llm Guard"
            + CommonProxyErrors.missing_enterprise_package.value
        )

# 实际运行时输出
Exception: Trying to use Llm GuardYou must be a LiteLLM Enterprise user to use this feature.
If you have a license please set `LITELLM_LICENSE` in your env.
ERROR:    Application startup failed. Exiting.

原因分析

可能原因是 LiteLLM 文档中的功能对比表将 “Guardrails: Always-on / request-based” 标记为开源(OSS)功能,但 llmguard_moderations 这个具体实现实际上需要企业许可证。代码中显式检查了 premium_user 状态,未满足条件时直接抛出异常,导致代理启动失败。

环境排查

  • 确认当前 LiteLLM 版本是否为开源版(OSS),以及对应文档版本。
  • 检查是否已设置 LITELLM_LICENSE 环境变量。
  • 确认是否安装或能导入 litellm_enterprise 包(企业版专用)。
  • 核对 LiteLLM Enterprise 文档中关于 guardrail 的可用范围。

解决步骤

  1. 如果你的使用场景只是内容审核或敏感信息检测,先查看最新官方文档确认哪些 guardrail 实现在 OSS 版可用(例如自定义 guardrails、Presidio PII masking)。
  2. 如果你确实需要 llmguard_moderations,请获取 LiteLLM Enterprise 许可证,并在环境变量中设置 LITELLM_LICENSE,然后重启代理。
  3. 如果暂时没有企业许可证,请从 litellm_settings

    参考来源

    BerriAI/litellm #27072

    GamsGo AI

    AI 工具推荐

    想把多个 AI 模型放在一个入口?

    GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

    了解 GamsGo AI

    推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

    这个方案解决了吗?

celebrityanime
celebrityanime
文章: 18306

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注