---
title: "每秒 6,338 个请求，仅用两个核心"
description: Kaeso 0.7.0 对比 LiteLLM、Bifrost 和 Portkey，使用 ai-gateway-bench——LiteLLM 背后的公司 BerriAI 发布的基准测试。同一台机器，同一个模拟服务商，使用基准测试自带的驱动程序。
url: https://kaeso.app/zh-CN/benchmarks
markdown: https://kaeso.app/zh-CN/benchmarks.md
language: zh-CN
alternates:
  en: https://kaeso.app/benchmarks.md
  de: https://kaeso.app/de/benchmarks.md
updated: 2026-11-22
kaeso_version: 0.7.0
index: https://kaeso.app/zh-CN/llms.txt
---

# 每秒 6,338 个请求，仅用两个核心

Kaeso 0.7.0 对比 LiteLLM、Bifrost 和 Portkey，使用 ai-gateway-bench——LiteLLM 背后的公司 BerriAI 发布的基准测试。同一台机器，同一个模拟服务商，使用基准测试自带的驱动程序。

> Kaeso 的所有页面、文章和文档页面都列在 https://kaeso.app/zh-CN/llms.txt 中。

[BerriAI/ai-gateway-bench，提交 44365ca，2026年11月22日](https://github.com/BerriAI/ai-gateway-bench/tree/44365ca99307c2fde47c7ca0aa5e17c1665dcf38)

- **6,338** 两个核心上的每秒请求数；LiteLLM Rust 为 3,211
- **0.54** 16 个客户端时中位数附加的毫秒数
- **314** 满载时每个请求的 CPU 微秒数
- **0** 失败请求，覆盖每个网关的每次运行

## 同样的核心，近两倍的负载

每个网关使用相同的两个专用核心、64 个客户端和一个立即应答的模拟服务商，因此瓶颈就是网关本身。

| 网关 | 每秒请求数 | 延迟 p50 / p99 | 每个请求的 CPU | 内存峰值 |
| --- | ---: | ---: | ---: | ---: |
| Kaeso（0.7.0） | 6,338 (6,086–6,355) | 10.0 / 15.6 ms | 314 µs | 101 MB，其数据库另占 271 MB |
| Kaeso（0.7.0, 开启请求日志） | 5,324 (5,085–5,388) | 11.8 / 20.6 ms | 373 µs | 450 MB，其数据库另占 1,163 MB |
| LiteLLM Rust（main 分支提交 d4e8f96，未发布） | 3,211 (3,146–3,265) | 19.6 / 33.2 ms | 573 µs | 86 MB，无数据库 |
| Bifrost（2.6.0） | 2,806 (2,777–2,819) | 21.0 / 54.6 ms | 708 µs | 405 MB，无数据库 |
| Portkey（1.15.2） | 779 (776–793) | 79.9 / 118.3 ms | 1,449 µs | 293 MB，无数据库 |
| LiteLLM Python（1.110.2） | 74 (74–75) | 858.1 / 974.0 ms | 13,563 µs | 743 MB，无数据库 |

每秒请求数，取 3 轮的中位数；细线从最慢一轮延伸到最快一轮。同一驱动程序直连模拟服务商可达每秒 27,750 个请求，远高于任何网关。

## 中位数不到一毫秒

请求经过网关比直连模拟服务商多花的时间；模拟服务商约 22 ms 应答，与快速的服务商相当。

| 网关 | 1 个客户端 | 4 个客户端 | 16 个客户端 |
| --- | ---: | ---: | ---: |
| Kaeso（0.7.0） | +0.73 / +1.66 (p99 1.36 至 2.05) | +0.56 / +1.15 (p99 1.08 至 2.28) | +0.54 / +1.47 (p99 1.44 至 1.57) |
| Kaeso（0.7.0, 开启请求日志） | +0.77 / +2.22 (p99 2.17 至 2.47) | +0.60 / +1.90 (p99 1.83 至 1.97) | +0.62 / +1.45 (p99 1.23 至 3.07) |
| LiteLLM Rust（main 分支提交 d4e8f96，未发布） | +0.87 / +0.98 (p99 0.91 至 1.01) | +0.76 / +1.68 (p99 1.43 至 1.69) | +0.69 / +2.26 (p99 1.59 至 2.82) |
| Bifrost（2.6.0） | +1.10 / +1.32 (p99 1.22 至 1.36) | +0.85 / +2.41 (p99 1.98 至 2.51) | +0.71 / +4.08 (p99 3.01 至 4.16) |
| Portkey（1.15.2） | +2.04 / +5.26 (p99 4.12 至 5.47) | +1.17 / +6.99 (p99 6.35 至 7.00) | +3.1 / +20.4 (p99 20.1 至 22.6) |
| LiteLLM Python（1.110.2） | +16.0 / +17.8 (p99 17.4 至 18.3) | +50.9 / +60.5 (p99 58.2 至 66.4) | +188 / +216 (p99 214 至 221) |

附加延迟（ms），p50 与 p99，取 3 轮的中位数，下方为 p99 的范围。每次运行之前都紧接着进行一次形态相同的直连运行作为对照。

没有 64 个客户端的数据：此时模拟服务商与驱动程序共用两个核心，上限约为每秒 2,900 个请求，减去直连运行会低估每个网关的耗时。这一负载改由容量测试衡量。

## 流式输出，原样送达

16 个客户端下的 200 个流式请求，以及两个编码智能体的录制会话，逐轮回放。

| 网关 | 首个 token，附加 | 分块间隔，p99 | Claude Code 会话，附加 | Codex 会话，附加 |
| --- | ---: | ---: | ---: | ---: |
| Kaeso（0.7.0） | +0.87 ms | 7.8 ms | +41.5 ms | +34.0 ms |
| Kaeso（0.7.0, 开启请求日志） | +0.94 ms | 8.1 ms | +66.0 ms | +65.5 ms |
| LiteLLM Rust（main 分支提交 d4e8f96，未发布） | +0.96 ms | 40.4 ms | +41.0 ms | +44.2 ms |
| Bifrost（2.6.0） | 不可比较 | 20.5 ms | +126.4 ms | +91.3 ms |
| Portkey（1.15.2） | +27.5 ms | 8.6 ms | +91.4 ms | +104.2 ms |
| LiteLLM Python（1.110.2） | +119 ms | 34.0 ms | +502.1 ms | +507.7 ms |

直连模拟服务商时，分块间隔的 p99 为 7.5 ms。一个会话由 30 个录制的轮次依次发送组成；附加时间为经过网关的总时长减去直连的总时长。每个流式会话经过每个网关都给出了有效的工具调用。

Bifrost 在服务商应答之前就发送第一个事件，基准测试将其计为首个 token，因此它的首 token 时间为负数。

## 其他网关领先之处

Kaeso 没有胜出的结果，以及它额外工作的代价。

- **内存**：LiteLLM Rust 从未超过 86 MB，且无需数据库。Kaeso 最高达到 164 MB，其 PostgreSQL 和 Valkey 另占 271 MB。
- **单个客户端**：每次只发一个请求时，LiteLLM Rust 的 p99 为 +0.98 ms，Kaeso 为 +1.66 ms，Kaeso 没有任何一轮更接近。
- **平手**：首个 token 时间（+0.87 对 +0.96 ms）和 Claude Code 会话（+41.5 对 +41.0 ms）都落在彼此的范围之内。
- **请求日志**：将每个请求记录到 ClickHouse 时，Kaeso 每秒处理 5,324 个请求，少了 16%，其数据库占用 1,163 MB。

## 每个网关做了什么

每个网关都按其项目的发布方式运行，对接使用 Anthropic Messages 格式的模拟服务商。Kaeso 对每个请求检查得最多。

| 网关 | 版本 | 每个请求检查的内容 | 保存的内容 |
| --- | ---: | ---: | ---: |
| Kaeso | 发布版 0.7.0 | 项目的 API 密钥，以及项目允许的模型 | 用量存入 PostgreSQL；无请求日志 |
| Kaeso（开启请求日志） | 发布版 0.7.0 | 项目的 API 密钥，以及项目允许的模型 | 用量存入 PostgreSQL，每个请求存入 ClickHouse |
| LiteLLM Rust | main 分支提交 d4e8f96，未发布 | 配置中的一个主密钥 | 不保存：无数据库 |
| Bifrost | 发布版 2.6.0 | 不检查密钥 | 不保存：日志与存储均关闭 |
| Portkey | 发布版 1.15.2 | 不检查密钥 | 不保存：日志关闭 |
| LiteLLM Python | 发布版 1.110.2 | 配置中的一个主密钥 | 不保存：无数据库 |

## 测试方法

核对任何一个数字所需的一切：机器、基准测试、每个版本，以及每次运行如何配对。

- **机器**：位于阿姆斯特丹的 DigitalOcean CPU-Optimized c-4：4 个专用 vCPU（Intel Xeon Platinum 8358，2.6 GHz），8 GB 内存，Ubuntu 24.04 与 Docker。
- **核心**：每个网关运行在 Docker 中，使用主机网络，固定在两个核心上。模拟服务商、负载驱动程序和 Kaeso 的数据库运行在另外两个核心上。
- **基准测试**：BerriAI/ai-gateway-bench，提交 44365ca，模拟服务商与驱动程序均未改动：load-probe 用于请求，run_http_bench.py 用于流式输出，session_runner.py 用于智能体会话。
- **模拟服务商**：以 Anthropic Messages 格式应答：20 ms 后发出首个 token，随后以 5 ms 的间隔发出 40 个 token。容量测试中立即应答。
- **负载**：1、4、16 和 64 个客户端，每轮分别发送 1,000、2,000、4,000 和 16,000 个请求；16 个客户端下 200 个流式请求；四个各 30 轮的智能体会话。
- **轮次**：3 轮，每轮网关顺序重新随机，每个网关都在一次形态相同的直连运行之后立即测量。每个数字都是各轮的中位数，并附范围。
- **CPU 与内存**：网关容器中的每个进程，每秒读取四次；其数据库同样读取，并列显示。
- **日期**：2026年11月22日

### 版本

- Kaeso 0.7.0：`ghcr.io/logicplanes/kaeso-gateway:0.7.0` `sha256:3d32fd7827417e49475b4ac9ad7d25f7daed28f02fa489ef4077ff501faaae1a`
- LiteLLM Rust d4e8f96：`github.com/BerriAI/litellm@d4e8f96, litellm-gateway built with rust:1.98.0` `sha256:b80e284d93b67806511e0371456d80083d6f1d932abd723a1b31c1ed578ae122`
- Bifrost 2.6.0：`maximhq/bifrost:v2.6.0` `sha256:5968d007ba4f74ee01bc4ceb071decb9927a0b7bb43dbb9072208f75e2d522e3`
- Portkey 1.15.2：`portkeyai/gateway:1.15.2` `sha256:97f094d9c8a764cbfaa2a7138c0017b247ca923bb06db1b4c13b7f8a33b5200d`
- LiteLLM Python 1.110.2：`ghcr.io/berriai/litellm:v1.110.2` `sha256:ef798594ca3db8d81bad2e1439f536f49b71fe095ee9f20416f5e149b4e22035`

Kaeso 的数据库：postgres:18.6-alpine、valkey/valkey:9.1.3-alpine 和 clickhouse/clickhouse-server:26.3.62.3-alpine。

### 由 Kaeso 的作者测试

这次基准测试由开发 Kaeso 的人完成：一台机器，三轮。BerriAI 称其自己公布的结果为单机且由厂商测试，这里同样如此。在依赖这些结果之前，请自行复测。

## 自己运行

在一台全新的四核 Linux 机器上以 root 运行。安装脚本会安装 Docker，按相同提交构建基准测试和 LiteLLM Rust，并按摘要拉取每个镜像。

```bash
curl -fsSLO https://kaeso.app/benchmarks/2026-11-22/harness.tar.gz
tar -xzf harness.tar.gz
bash kaeso-gateway-bench/setup.sh
cd /root
ai-gateway-bench/.venv/bin/python run.py
ai-gateway-bench/.venv/bin/python run_capacity.py
```

所有网关跑完三轮约需 90 分钟，容量测试另需 30 分钟。绝对数值因机器而异，请比较同一次运行中测得的网关。

- [脚本、配置与安装](https://kaeso.app/benchmarks/2026-11-22/harness.tar.gz)
- [全部原始结果与日志](https://kaeso.app/benchmarks/2026-11-22/raw.tar.gz)
- [本页的数据，JSON 格式](https://kaeso.app/benchmarks/2026-11-22/results.json)
- [延迟测试，CSV 格式](https://kaeso.app/benchmarks/2026-11-22/results.csv)
