---
title: Kaeso 在 LiteLLM 自己的基准测试中
description: 我们使用 LiteLLM 背后的公司 BerriAI 发布的 ai-gateway-bench，将 Kaeso 0.7.0 与 LiteLLM、Bifrost 和 Portkey 一同测试。以下是结果，以及每个数字背后的证据。
url: https://kaeso.app/zh-CN/articles/kaeso-on-litellms-benchmark
markdown: https://kaeso.app/zh-CN/articles/kaeso-on-litellms-benchmark.md
language: zh-CN
alternates:
  en: https://kaeso.app/articles/kaeso-on-litellms-benchmark.md
  de: https://kaeso.app/de/articles/kaeso-on-litellms-benchmark.md
published: 2026-11-22
authors:
  - Devin Oldenburg (Logicplanes)
tags:
  - 基准测试
  - 性能
  - litellm
image: https://kaeso.app/articles/kaeso-on-litellms-benchmark/cover.jpg
index: https://kaeso.app/zh-CN/llms.txt
---

# Kaeso 在 LiteLLM 自己的基准测试中

我们使用 LiteLLM 背后的公司 BerriAI 发布的 ai-gateway-bench，将 Kaeso 0.7.0 与 LiteLLM、Bifrost 和 Portkey 一同测试。以下是结果，以及每个数字背后的证据。

> Kaeso 的所有页面、文章和文档页面都列在 https://kaeso.app/zh-CN/llms.txt 中。

- 发布日期：2026年11月22日
- 阅读时间：5 分钟
- 作者：Devin Oldenburg (Logicplanes)

LiteLLM 背后的公司 BerriAI 发布了 [ai-gateway-bench](https://github.com/BerriAI/ai-gateway-bench)，用来测量 AI 网关在模型服务商之上额外增加的开销。我们运行了它的本地测试，并在它所比较的每个网关旁加入了 Kaeso 0.7.0：LiteLLM Rust、LiteLLM Python、Bifrost 和 Portkey。每个网关都使用最新版本，运行在同一台机器上，基准测试自带的模拟服务商和驱动程序均未改动。

在相同的两个核心上，Kaeso 每秒处理 6,338 个请求，LiteLLM Rust 为 3,211 个。

![64 个客户端下的每秒请求数，每个网关两个核心：Kaeso 6,338，开启请求日志的 Kaeso 5,324，LiteLLM Rust 3,211，Bifrost 2,806，Portkey 779，LiteLLM Python 74](https://kaeso.app/articles/kaeso-on-litellms-benchmark/ranking-light.png "64 个客户端对一个立即应答的模拟服务商发起请求时的每秒请求数，取三轮的中位数。细线从最慢一轮延伸到最快一轮。")

## 结果

每个网关都使用相同的两个专用核心。容量测试让 64 个客户端对一个立即应答的模拟服务商发起请求，因此瓶颈就是网关本身。延迟测试使用基准测试默认的模拟服务商，约 22 ms 应答，与快速的服务商相当。每个数字都是三轮的中位数：

| 网关 | 每秒请求数 | 16 个客户端时附加的 p50 / p99 | 每个请求的 CPU |
| --- | --- | --- | --- |
| Kaeso 0.7.0 | 6,338 | +0.54 / +1.47 ms | 314 µs |
| Kaeso 0.7.0，开启请求日志 | 5,324 | +0.62 / +1.45 ms | 373 µs |
| LiteLLM Rust，未发布的 `main` | 3,211 | +0.69 / +2.26 ms | 573 µs |
| Bifrost 2.6.0 | 2,806 | +0.71 / +4.08 ms | 708 µs |
| Portkey 1.15.2 | 779 | +3.13 / +20.40 ms | 1,449 µs |
| LiteLLM Python 1.110.2 | 74 | +188 / +216 ms | 13,563 µs |

流式输出原样送达。Kaeso 的分块间隔 p99 为 7.8 ms，直连模拟服务商为 7.5 ms；LiteLLM Rust 为 40.4 ms。每个流式的 Claude Code 和 Codex 会话经过每个网关都给出了有效的工具调用，任何网关的任何一次运行都没有失败的请求。

## LiteLLM 领先之处

由厂商自己运行的基准测试，应该说明厂商在哪里落后。Kaeso 落后的地方如下：

- **内存。**LiteLLM Rust 从未超过 86 MB，且无需数据库。Kaeso 最高达到 164 MB，其 PostgreSQL 和 Valkey 另占 271 MB。
- **单个客户端。**每次只发一个请求时，LiteLLM Rust 的 p99 为 +0.98 ms，Kaeso 为 +1.66 ms，Kaeso 没有任何一轮更接近。
- **平手。**首个 token 时间（+0.87 对 +0.96 ms）和回放的 Claude Code 会话（+41.5 对 +41.0 ms）都落在彼此的范围之内。
- **请求日志的代价。**将每个请求写入 ClickHouse 时，Kaeso 每秒处理的请求少了 16%。

## Kaeso 对每个请求做得更多

每个网关都按其项目的发布方式运行。Kaeso 检查项目的 API 密钥和该项目允许的模型，并将用量记录到 PostgreSQL。两个 LiteLLM 只比对一个固定的主密钥，Bifrost 和 Portkey 完全不检查密钥。其他网关都不保存任何内容。Kaeso 做了更多工作，却仍处理了更多请求，这正是我们想要验证的结果。

## 证据

厂商网站上的数字，只和它背后的证据一样可信。以下是这些数字背后的证据：

- **基准测试是他们的。**测试使用 `BerriAI/ai-gateway-bench` 的提交 `44365ca`，其模拟服务商和三个驱动程序均未改动：`load-probe`、`run_http_bench.py` 和 `session_runner.py`。我们的脚本只负责启动每个网关、将其固定到核心上、为每次运行配对一次直连模拟服务商的运行，并分轮重复。
- **每个版本都已固定。**每个镜像都按摘要运行，摘要列在[基准测试页面](https://kaeso.app/zh-CN/benchmarks)上。LiteLLM Rust 尚无发布版本，因此标注为 `main` 分支的 `d4e8f96`。该提交的 Dockerfile 无法构建，我们改用 `rust:1.98.0` 编译同一提交。在另一台全新机器上再次构建，得到的二进制文件 sha256 完全相同。
- **每个原始结果都已公开。**每次运行的 JSON 和每个网关的日志都在 [raw.tar.gz](https://kaeso.app/benchmarks/2026-11-22/raw.tar.gz) 中，另有[脚本](https://kaeso.app/benchmarks/2026-11-22/harness.tar.gz)、[JSON 格式的数据](https://kaeso.app/benchmarks/2026-11-22/results.json)和 [CSV 格式的延迟测试](https://kaeso.app/benchmarks/2026-11-22/results.csv)。
- **在全新机器上可以复现。**我们在一台新的 4 vCPU 机器上运行了公开的安装脚本。每个网关都无错误地跑完一轮。这台主机上的数字更低（Kaeso 每秒 5,287 个请求，LiteLLM Rust 2,179 个），Kaeso 依然领先。
- **页面不会与数据脱节。**基准测试页面从公开的结果中读取数字。一旦两者不一致，或“近两倍的负载”这类说法不再符合数字，测试就会失败。
- **已提交到他们的仓库供审阅。**`BerriAI/ai-gateway-bench` 中的[第 7 号拉取请求](https://github.com/BerriAI/ai-gateway-bench/pull/7)将 Kaeso 添加为网关，并附上这次运行的结果，方便其维护者复测。

## 谁做的测试

这次基准测试由 Kaeso 的作者在一台机器上完成。BerriAI 称其自己公布的结果为单机且由厂商测试，这里同样如此。请把这些数字当作需要验证的说法，并亲自验证。第二篇文章[《如何测试 AI 网关而不自欺欺人》](https://kaeso.app/zh-CN/articles/benchmarking-ai-gateways-honestly)介绍了我们在过程中发现的错误。

## 自己运行

在一台全新的四核 Ubuntu 24.04 机器上，以 root 身份运行：

```bash
curl -fsSLO https://kaeso.app/benchmarks/2026-11-22/harness.tar.gz
tar -xzf harness.tar.gz
bash kaeso-gateway-bench/setup.sh
cd /root
ai-gateway-bench/.venv/bin/python run.py
ai-gateway-bench/.venv/bin/python run_capacity.py
```

三轮约需 90 分钟，容量测试另需 30 分钟。绝对数值因机器而异，请比较同一次运行中测得的网关。所有表格、测试方法和每个镜像摘要都在 [kaeso.app/benchmarks](https://kaeso.app/zh-CN/benchmarks) 上。

作者：Devin Oldenburg (Logicplanes)

## 更多文章

- [如何测试 AI 网关而不自欺欺人](https://kaeso.app/zh-CN/articles/benchmarking-ai-gateways-honestly.md)：我们在 BerriAI 的基准测试中将 Kaeso 与 LiteLLM、Bifrost 和 Portkey 对比时犯过并纠正的错误，以及让网关基准测试值得一读的检查方法。
- [Kaeso 0.7：重排序、批处理与决策，新增 23 个服务商，以及防护规则](https://kaeso.app/zh-CN/articles/kaeso-0-7.md)：Kaeso 0.7.0 已发布。应用可经网关做重排序、跑批处理、存储 Responses，并向决策模型提问；新增 23 个内置服务商；组织获得防护规则、SCIM、Webhook 和自己的币种；实例更轻，也能运行在 Kubernetes 上。本文介绍改了什么，以及如何更新。

[查看所有文章](https://kaeso.app/zh-CN/articles.md)

## 网关归您。记录也归您

```bash
curl -fsSL https://kaeso.app/install.sh | sh
```

[安装 Kaeso](https://docs.kaeso.app/zh-CN/self-hosting/installation) · [打开在线演示](https://demo.kaeso.app)
