使用 Envoy Ratelimit 构建支持 RPM/TPM 的分布式 AI 限流服务器在普通 HTTP API 中，我们通常只需要限制“每分钟请求数”。但对于大模型接口，仅限制请求数量远远不够：一次请求可能只消耗几十个 Token，也可能消耗数万个 Token。 ...