跳到正文

每秒 6,338 个请求,仅用两个核心。

Kaeso 0.7.0 对比 LiteLLM、Bifrost 和 Portkey,使用 ai-gateway-bench——LiteLLM 背后的公司 BerriAI 发布的基准测试。同一台机器,同一个模拟服务商,使用基准测试自带的驱动程序。

BerriAI/ai-gateway-bench,提交 44365ca,2026年11月22日 (在新标签页中打开)
6,338
两个核心上的每秒请求数;LiteLLM Rust 为 3,211
0.54
16 个客户端时中位数附加的毫秒数
314
满载时每个请求的 CPU 微秒数
0
失败请求,覆盖每个网关的每次运行

同样的核心,​近两倍的负载。

每个网关使用相同的两个专用核心、64 个客户端和一个立即应答的模拟服务商,因此瓶颈就是网关本身。

  1. 01Kaeso0.7.06,3386,086–6,355
  2. 02Kaeso0.7.0, 开启请求日志5,3245,085–5,388
  3. 03LiteLLM Rustmain 分支提交 d4e8f96,未发布3,2113,146–3,265
  4. 04Bifrost2.6.02,8062,777–2,819
  5. 05Portkey1.15.2779776–793
  6. 06LiteLLM Python1.110.27474–75

每秒请求数,取 3 轮的中位数;细线从最慢一轮延伸到最快一轮。同一驱动程序直连模拟服务商可达每秒 27,750 个请求,远高于任何网关。

网关每秒请求数延迟 p50 / p99每个请求的 CPU内存峰值
Kaeso0.7.0每秒请求数6,338延迟 p50 / p9910.0 / 15.6 ms每个请求的 CPU314 µs内存峰值101 MB,其数据库另占 271 MB
Kaeso0.7.0, 开启请求日志每秒请求数5,324延迟 p50 / p9911.8 / 20.6 ms每个请求的 CPU373 µs内存峰值450 MB,其数据库另占 1,163 MB
LiteLLM Rustmain 分支提交 d4e8f96,未发布每秒请求数3,211延迟 p50 / p9919.6 / 33.2 ms每个请求的 CPU573 µs内存峰值86 MB,无数据库
Bifrost2.6.0每秒请求数2,806延迟 p50 / p9921.0 / 54.6 ms每个请求的 CPU708 µs内存峰值405 MB,无数据库
Portkey1.15.2每秒请求数779延迟 p50 / p9979.9 / 118.3 ms每个请求的 CPU1,449 µs内存峰值293 MB,无数据库
LiteLLM Python1.110.2每秒请求数74延迟 p50 / p99858.1 / 974.0 ms每个请求的 CPU13,563 µs内存峰值743 MB,无数据库

中位数不到一毫秒。

请求经过网关比直连模拟服务商多花的时间;模拟服务商约 22 ms 应答,与快速的服务商相当。

网关1 个客户端4 个客户端16 个客户端
Kaeso0.7.01 个客户端+0.73 / +1.66p99 1.36 至 2.054 个客户端+0.56 / +1.15p99 1.08 至 2.2816 个客户端+0.54 / +1.47p99 1.44 至 1.57
Kaeso0.7.0, 开启请求日志1 个客户端+0.77 / +2.22p99 2.17 至 2.474 个客户端+0.60 / +1.90p99 1.83 至 1.9716 个客户端+0.62 / +1.45p99 1.23 至 3.07
LiteLLM Rustmain 分支提交 d4e8f96,未发布1 个客户端+0.87 / +0.98p99 0.91 至 1.014 个客户端+0.76 / +1.68p99 1.43 至 1.6916 个客户端+0.69 / +2.26p99 1.59 至 2.82
Bifrost2.6.01 个客户端+1.10 / +1.32p99 1.22 至 1.364 个客户端+0.85 / +2.41p99 1.98 至 2.5116 个客户端+0.71 / +4.08p99 3.01 至 4.16
Portkey1.15.21 个客户端+2.04 / +5.26p99 4.12 至 5.474 个客户端+1.17 / +6.99p99 6.35 至 7.0016 个客户端+3.1 / +20.4p99 20.1 至 22.6
LiteLLM Python1.110.21 个客户端+16.0 / +17.8p99 17.4 至 18.34 个客户端+50.9 / +60.5p99 58.2 至 66.416 个客户端+188 / +216p99 214 至 221

附加延迟(ms),p50 与 p99,取 3 轮的中位数,下方为 p99 的范围。每次运行之前都紧接着进行一次形态相同的直连运行作为对照。

没有 64 个客户端的数据:此时模拟服务商与驱动程序共用两个核心,上限约为每秒 2,900 个请求,减去直连运行会低估每个网关的耗时。这一负载改由容量测试衡量。

流式输出,​原样送达。

16 个客户端下的 200 个流式请求,以及两个编码智能体的录制会话,逐轮回放。

网关首个 token,附加分块间隔,p99Claude Code 会话,附加Codex 会话,附加
Kaeso0.7.0首个 token,附加+0.87 ms分块间隔,p997.8 msClaude Code 会话,附加+41.5 msCodex 会话,附加+34.0 ms
Kaeso0.7.0, 开启请求日志首个 token,附加+0.94 ms分块间隔,p998.1 msClaude Code 会话,附加+66.0 msCodex 会话,附加+65.5 ms
LiteLLM Rustmain 分支提交 d4e8f96,未发布首个 token,附加+0.96 ms分块间隔,p9940.4 msClaude Code 会话,附加+41.0 msCodex 会话,附加+44.2 ms
Bifrost2.6.0首个 token,附加不可比较分块间隔,p9920.5 msClaude Code 会话,附加+126.4 msCodex 会话,附加+91.3 ms
Portkey1.15.2首个 token,附加+27.5 ms分块间隔,p998.6 msClaude Code 会话,附加+91.4 msCodex 会话,附加+104.2 ms
LiteLLM Python1.110.2首个 token,附加+119 ms分块间隔,p9934.0 msClaude Code 会话,附加+502.1 msCodex 会话,附加+507.7 ms

直连模拟服务商时,分块间隔的 p99 为 7.5 ms。一个会话由 30 个录制的轮次依次发送组成;附加时间为经过网关的总时长减去直连的总时长。每个流式会话经过每个网关都给出了有效的工具调用。

Bifrost 在服务商应答之前就发送第一个事件,基准测试将其计为首个 token,因此它的首 token 时间为负数。

其他网关​领先之处。

Kaeso 没有胜出的结果,以及它额外工作的代价。

内存01

LiteLLM Rust 从未超过 86 MB,且无需数据库。Kaeso 最高达到 164 MB,其 PostgreSQL 和 Valkey 另占 271 MB。

单个客户端02

每次只发一个请求时,LiteLLM Rust 的 p99 为 +0.98 ms,Kaeso 为 +1.66 ms,Kaeso 没有任何一轮更接近。

平手03

首个 token 时间(+0.87 对 +0.96 ms)和 Claude Code 会话(+41.5 对 +41.0 ms)都落在彼此的范围之内。

请求日志04

将每个请求记录到 ClickHouse 时,Kaeso 每秒处理 5,324 个请求,少了 16%,其数据库占用 1,163 MB。

每个网关​做了什么。

每个网关都按其项目的发布方式运行,对接使用 Anthropic Messages 格式的模拟服务商。Kaeso 对每个请求检查得最多。

网关版本每个请求检查的内容保存的内容
Kaeso版本发布版 0.7.0每个请求检查的内容项目的 API 密钥,以及项目允许的模型保存的内容用量存入 PostgreSQL;无请求日志
Kaeso开启请求日志版本发布版 0.7.0每个请求检查的内容项目的 API 密钥,以及项目允许的模型保存的内容用量存入 PostgreSQL,每个请求存入 ClickHouse
LiteLLM Rust版本main 分支提交 d4e8f96,未发布每个请求检查的内容配置中的一个主密钥保存的内容不保存:无数据库
Bifrost版本发布版 2.6.0每个请求检查的内容不检查密钥保存的内容不保存:日志与存储均关闭
Portkey版本发布版 1.15.2每个请求检查的内容不检查密钥保存的内容不保存:日志关闭
LiteLLM Python版本发布版 1.110.2每个请求检查的内容配置中的一个主密钥保存的内容不保存:无数据库

测试方法。

核对任何一个数字所需的一切:机器、基准测试、每个版本,以及每次运行如何配对。

01
机器位于阿姆斯特丹的 DigitalOcean CPU-Optimized c-4:4 个专用 vCPU(Intel Xeon Platinum 8358,2.6 GHz),8 GB 内存,Ubuntu 24.04 与 Docker。
02
核心每个网关运行在 Docker 中,使用主机网络,固定在两个核心上。模拟服务商、负载驱动程序和 Kaeso 的数据库运行在另外两个核心上。
03
基准测试BerriAI/ai-gateway-bench,提交 44365ca,模拟服务商与驱动程序均未改动:load-probe 用于请求,run_http_bench.py 用于流式输出,session_runner.py 用于智能体会话。
04
模拟服务商以 Anthropic Messages 格式应答:20 ms 后发出首个 token,随后以 5 ms 的间隔发出 40 个 token。容量测试中立即应答。
05
负载1、4、16 和 64 个客户端,每轮分别发送 1,000、2,000、4,000 和 16,000 个请求;16 个客户端下 200 个流式请求;四个各 30 轮的智能体会话。
06
轮次3 轮,每轮网关顺序重新随机,每个网关都在一次形态相同的直连运行之后立即测量。每个数字都是各轮的中位数,并附范围。
07
CPU 与内存网关容器中的每个进程,每秒读取四次;其数据库同样读取,并列显示。
08
日期2026年11月22日

版本

网关镜像或构建
Kaeso0.7.0ghcr.io/logicplanes/kaeso-gateway:0.7.0sha256:3d32fd7827417e49475b4ac9ad7d25f7daed28f02fa489ef4077ff501faaae1a
LiteLLM Rustd4e8f96github.com/BerriAI/litellm@d4e8f96, litellm-gateway built with rust:1.98.0sha256:b80e284d93b67806511e0371456d80083d6f1d932abd723a1b31c1ed578ae122
Bifrost2.6.0maximhq/bifrost:v2.6.0sha256:5968d007ba4f74ee01bc4ceb071decb9927a0b7bb43dbb9072208f75e2d522e3
Portkey1.15.2portkeyai/gateway:1.15.2sha256:97f094d9c8a764cbfaa2a7138c0017b247ca923bb06db1b4c13b7f8a33b5200d
LiteLLM Python1.110.2ghcr.io/berriai/litellm:v1.110.2sha256:ef798594ca3db8d81bad2e1439f536f49b71fe095ee9f20416f5e149b4e22035

Kaeso 的数据库:postgres:18.6-alpine、valkey/valkey:9.1.3-alpine 和 clickhouse/clickhouse-server:26.3.62.3-alpine。

自己运行。

在一台全新的四核 Linux 机器上以 root 运行。安装脚本会安装 Docker,按相同提交构建基准测试和 LiteLLM Rust,并按摘要拉取每个镜像。

curl -fsSLO https://kaeso.app/benchmarks/2026-11-22/harness.tar.gztar -xzf harness.tar.gzbash kaeso-gateway-bench/setup.shcd /rootai-gateway-bench/.venv/bin/python run.pyai-gateway-bench/.venv/bin/python run_capacity.py

所有网关跑完三轮约需 90 分钟,容量测试另需 30 分钟。绝对数值因机器而异,请比较同一次运行中测得的网关。

在您自己的机器上测一测。

在您现在使用的网关旁安装 Kaeso,用同一个基准测试同时测试两者。