[Feature]: Configurable deployment and credential database reload intervals

问题场景

用户在下游部署 LiteLLM v1.85.1 时，发现 litellm/proxy/proxy_server.py 中部署与凭据的定时重载任务使用硬编码的 seconds=30。当数据库查询耗时超过默认间隔时，会造成数据库重载压力，因此希望通过不修改已安装包的方式，将重载频率改为可配置。

报错原文

[Feature]: Configurable deployment and credential database reload intervals

seconds=30,  # increased from 10s to reduce memory pressure

原因分析

该问题并非运行报错，而是配置能力缺失导致的部署困扰：v1.85.1 中相关调度任务使用硬编码的 seconds=30，没有对外暴露可调参数。提问方的下游补丁将两处 seconds=30 改为从 general_settings 读取可配置间隔，并设定了最小 30 秒；但下游自定义设置名 proxy_config_reload_interval_seconds 在当时并不假定为上游支持。后续评论确认上游已经支持同名配置项，并覆盖了提问方补丁触及的两处 seconds=30 位置。

环境排查

• 确认 LiteLLM 版本：该配置项的首个稳定版本为 v1.95.0；v1.93.x / v1.94.x 补丁版本不包含。
• 确认配置位置：应写入 general_settings，而不是其他配置段。
• 确认取值：需要为正整数；非整数或小于等于 0 的值会回退到 30 并输出警告。
• 确认是否重启：该配置只在启动时读取一次，修改后必须重启 Proxy。
• Issue 未提供操作系统、Python、CUDA、PyTorch、显卡或依赖版本信息，无需在这些方面补写排查项。

解决步骤

1. 将 LiteLLM 升级到 v1.95.0 或更高版本，确保包含 #34130 引入的上游配置能力。
2. 在 LiteLLM Proxy 配置的 general_settings 中加入 proxy_config_reload_interval_seconds，例如设置为 120 秒：

   general_settings:
     proxy_config_reload_interval_seconds: 120

3. 如果更倾向于使用环境变量，可设置 PROXY_CONFIG_RELOAD_INTERVAL_SECONDS 作为等效配置方式。
4. 重启 LiteLLM Proxy，使新间隔生效。
5. 升级并验证后，移除原有的下游补丁，避免与上游配置重复或冲突。

验证方法

重启后观察 LiteLLM Proxy 日志，确认模型与凭据重载、search tools 与 MCP 重载任务按新设置的间隔执行，且不再出现硬编码 30 秒带来的数据库重载压力。如设置的是正整数，应看到按该值调度；如设置值非法，日志中可能出现回退到 30 的警告，此时需修正配置并再次重启。

参考来源

BerriAI/litellm #40972

相关文档：LiteLLM Config Settings、LiteLLM Production Best Practices – Tune Config Reload Across Pods

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。