内存01
LiteLLM Rust 从未超过 86 MB,且无需数据库。Kaeso 最高达到 164 MB,其 PostgreSQL 和 Valkey 另占 271 MB。

Kaeso 0.7.0 对比 LiteLLM、Bifrost 和 Portkey,使用 ai-gateway-bench——LiteLLM 背后的公司 BerriAI 发布的基准测试。同一台机器,同一个模拟服务商,使用基准测试自带的驱动程序。
BerriAI/ai-gateway-bench,提交 44365ca,2026年11月22日 (在新标签页中打开)每个网关使用相同的两个专用核心、64 个客户端和一个立即应答的模拟服务商,因此瓶颈就是网关本身。
每秒请求数,取 3 轮的中位数;细线从最慢一轮延伸到最快一轮。同一驱动程序直连模拟服务商可达每秒 27,750 个请求,远高于任何网关。
请求经过网关比直连模拟服务商多花的时间;模拟服务商约 22 ms 应答,与快速的服务商相当。
附加延迟(ms),p50 与 p99,取 3 轮的中位数,下方为 p99 的范围。每次运行之前都紧接着进行一次形态相同的直连运行作为对照。
没有 64 个客户端的数据:此时模拟服务商与驱动程序共用两个核心,上限约为每秒 2,900 个请求,减去直连运行会低估每个网关的耗时。这一负载改由容量测试衡量。
16 个客户端下的 200 个流式请求,以及两个编码智能体的录制会话,逐轮回放。
直连模拟服务商时,分块间隔的 p99 为 7.5 ms。一个会话由 30 个录制的轮次依次发送组成;附加时间为经过网关的总时长减去直连的总时长。每个流式会话经过每个网关都给出了有效的工具调用。
Bifrost 在服务商应答之前就发送第一个事件,基准测试将其计为首个 token,因此它的首 token 时间为负数。
Kaeso 没有胜出的结果,以及它额外工作的代价。
LiteLLM Rust 从未超过 86 MB,且无需数据库。Kaeso 最高达到 164 MB,其 PostgreSQL 和 Valkey 另占 271 MB。
每次只发一个请求时,LiteLLM Rust 的 p99 为 +0.98 ms,Kaeso 为 +1.66 ms,Kaeso 没有任何一轮更接近。
首个 token 时间(+0.87 对 +0.96 ms)和 Claude Code 会话(+41.5 对 +41.0 ms)都落在彼此的范围之内。
将每个请求记录到 ClickHouse 时,Kaeso 每秒处理 5,324 个请求,少了 16%,其数据库占用 1,163 MB。
每个网关都按其项目的发布方式运行,对接使用 Anthropic Messages 格式的模拟服务商。Kaeso 对每个请求检查得最多。
核对任何一个数字所需的一切:机器、基准测试、每个版本,以及每次运行如何配对。
ghcr.io/logicplanes/kaeso-gateway:0.7.0sha256:3d32fd7827417e49475b4ac9ad7d25f7daed28f02fa489ef4077ff501faaae1agithub.com/BerriAI/litellm@d4e8f96, litellm-gateway built with rust:1.98.0sha256:b80e284d93b67806511e0371456d80083d6f1d932abd723a1b31c1ed578ae122maximhq/bifrost:v2.6.0sha256:5968d007ba4f74ee01bc4ceb071decb9927a0b7bb43dbb9072208f75e2d522e3portkeyai/gateway:1.15.2sha256:97f094d9c8a764cbfaa2a7138c0017b247ca923bb06db1b4c13b7f8a33b5200dghcr.io/berriai/litellm:v1.110.2sha256:ef798594ca3db8d81bad2e1439f536f49b71fe095ee9f20416f5e149b4e22035Kaeso 的数据库:postgres:18.6-alpine、valkey/valkey:9.1.3-alpine 和 clickhouse/clickhouse-server:26.3.62.3-alpine。
在一台全新的四核 Linux 机器上以 root 运行。安装脚本会安装 Docker,按相同提交构建基准测试和 LiteLLM Rust,并按摘要拉取每个镜像。
curl -fsSLO https://kaeso.app/benchmarks/2026-11-22/harness.tar.gztar -xzf harness.tar.gzbash kaeso-gateway-bench/setup.shcd /rootai-gateway-bench/.venv/bin/python run.pyai-gateway-bench/.venv/bin/python run_capacity.py所有网关跑完三轮约需 90 分钟,容量测试另需 30 分钟。绝对数值因机器而异,请比较同一次运行中测得的网关。