安全公告 — 恶意 litellm 版本 1.82.7 与 1.82.8 已从 PyPI 移除（存在 API 密钥外泄风险）。请卸载、轮换已暴露凭据，并升级至安全版本（如 1.82.9+）。运行 pip show litellm 以确认。 PyPI · README

Gateway Observability

Prometheus 端点：GET /metrics（GATEWAY_METRICS=off 时返回 404）。

Gateway Observability

Metrics

Prometheus 端点：GET /metrics（GATEWAY_METRICS=off 时返回 404）。

核心指标：

  • agx_gateway_ttft_seconds
  • agx_gateway_tokens_per_second
  • agx_gateway_cache_hits_total
  • agx_gateway_cache_lookups_total
  • agx_gateway_channel_health
  • agx_gateway_active_streams
  • agx_gateway_upstream_error_total

Grafana

导入 enterprise/docs/observability/grafana-ai-gateway.json，数据源指向 Prometheus。