安全公告 — 恶意 litellm 版本 1.82.7 与 1.82.8 已从 PyPI 移除(存在 API 密钥外泄风险)。请卸载、轮换已暴露凭据,并升级至安全版本(如 1.82.9+)。运行 pip show litellm 以确认。 PyPI · README

AI Gateway 缓存运维

Admin Console /admin/cache 写入 enterprise/.runtime/admin/cache-config.json,保存后调用网关 /internal/cache/reload。

AI Gateway 缓存运维

开关

环境变量默认说明
GATEWAY_CACHE_L1onL1 精确缓存
GATEWAY_CACHE_L2offL2 语义缓存
GATEWAY_CACHE_L1_TTL5mL1 TTL
GATEWAY_CACHE_SEMANTIC_THRESHOLD0.92L2 相似度阈值
GATEWAY_CACHE_REPLAY_MODEburst流式回放模式
REDIS_URL配置后 L1 使用 Redis

Admin Console /admin/cache 写入 enterprise/.runtime/admin/cache-config.json,保存后调用网关 /internal/cache/reload

驱逐

bash
1curl -X POST "$GATEWAY/internal/cache/evict" \
2 -H "Authorization: Bearer $GATEWAY_INTERNAL_TOKEN" \
3 -H 'content-type: application/json' \
4 -d '{"prefix":"<key-hash-prefix>"}'

回退

设置 GATEWAY_CACHE_L1=offGATEWAY_CACHE_L2=off 后重启网关,行为与未启用缓存一致。