安全公告 — 恶意 litellm 版本 1.82.7 与 1.82.8 已从 PyPI 移除（存在 API 密钥外泄风险）。请卸载、轮换已暴露凭据，并升级至安全版本（如 1.82.9+）。运行 pip show litellm 以确认。 PyPI · README

Gateway 策略引擎

实现：packages/policy-engine/go/（Gateway 内嵌）

Gateway 策略引擎

实现：packages/policy-engine/go/（Gateway 内嵌）

Admin 管理：@agenticx/feature-policy + /policy UI

插件 manifest：plugin-protocol/README.md

三通道评估

通道时机说明
Request收到用户 messages 后、调用上游前block 直接返回，不消耗上游
Response非流式完整响应可对 assistant 内容 block/warn/redact
StreamSSE 分片扫描流式 idle timeout + buffer 上限防挂起

源码入口：apps/gateway/internal/server/server.go 策略调用点。

规则类型（Go 引擎）

kind说明payload / manifest 字段
keyword关键词 Triekeywords[]
regex正则pattern
pii内置 detectorpii_type: email, mobile, id-card, bank-card, api-key

不支持（与 Python 框架差异）：keyword-list 作为独立 kind。

动作

action行为
block中断；Portal 须展示合规拦截 UI（非模型自然语言拒答）
warn记录 hits，继续
redact替换敏感片段后继续

Admin 测试接口：`blocked` 仅 action=block 时为 true。

规则来源合并

11. plugins/moderation-*/manifest.yaml     (部署内置)
22. enterprise_runtime_policy_snapshots    (admin 发布)
33. GATEWAY_POLICY_OVERRIDE_FILE           (本地覆盖，调试)

发布流程：

  • 草稿：`policy_rules.status = draft` — 不进快照
  • 发布：POST /api/policy/publish → snapshot JSON
  • 回滚：POST /api/policy/publishes/:id/rollback

Runbook：runbooks/policy-snapshot-rollback.md

applies_to 范围

规则/规则包可选 JSONB applies_to：

  • departmentIds + departmentRecursive
  • roleCodes
  • userIds / userExcludeIds
  • clientTypes, stages

陷阱：userIds 填占位示例（如 u1,u2）会导致真实 JWT 用户不匹配，规则永不生效。全员规则宜留空。

审计命中结构

Gateway 审计 policies_hit JSONB 含：

  • matched_rule — 规则 id/code
  • severity, action
  • 消息摘要

不是 rule_id / reason 旧字段名（排查历史数据时注意）。

Admin 策略测试

1POST /api/policy/test
  • 合并当前表单预览（未保存 action/payload）与库内已发布规则
  • 避免「界面选拦截仍按库里旧动作计算」

UI 中文展示：拦截/警告/脱敏；关键词/正则/PII。

行业插件包

Packextends场景
moderation-pii-baseline—通用 PII
moderation-financepii-baseline金融
moderation-medicalpii-baseline医疗 PHI warn

客户专属规则：PG 策略中心或 customers/*/rules/，见协作手册。

流式加固

环境变量用途
GATEWAY_STREAM_IDLE_TIMEOUTSSE 空闲切断
GATEWAY_STREAM_SCANNER_MAX_BUFFER_MB单 chunk 缓冲上限

防止恶意/异常流式响应占满内存。

相关文档