---
title: 如何测试 AI 网关而不自欺欺人
description: 我们在 BerriAI 的基准测试中将 Kaeso 与 LiteLLM、Bifrost 和 Portkey 对比时犯过并纠正的错误，以及让网关基准测试值得一读的检查方法。
url: https://kaeso.app/zh-CN/articles/benchmarking-ai-gateways-honestly
markdown: https://kaeso.app/zh-CN/articles/benchmarking-ai-gateways-honestly.md
language: zh-CN
alternates:
  en: https://kaeso.app/articles/benchmarking-ai-gateways-honestly.md
  de: https://kaeso.app/de/articles/benchmarking-ai-gateways-honestly.md
published: 2026-11-22
authors:
  - Devin Oldenburg (Logicplanes)
tags:
  - 基准测试
  - 性能
  - 方法
image: https://kaeso.app/articles/benchmarking-ai-gateways-honestly/cover.jpg
index: https://kaeso.app/zh-CN/llms.txt
---

# 如何测试 AI 网关而不自欺欺人

我们在 BerriAI 的基准测试中将 Kaeso 与 LiteLLM、Bifrost 和 Portkey 对比时犯过并纠正的错误，以及让网关基准测试值得一读的检查方法。

> Kaeso 的所有页面、文章和文档页面都列在 https://kaeso.app/zh-CN/llms.txt 中。

- 发布日期：2026年11月22日
- 阅读时间：7 分钟
- 作者：Devin Oldenburg (Logicplanes)

AI 网关位于您的应用和每个模型服务商之间，它增加的任何开销，每个请求都要承担。测量这种开销很容易出错。大多数错误都会让网关看起来更好，而做测试的人往往也希望如此。

我们在 BerriAI 的 ai-gateway-bench 上测试了 [Kaeso 在 LiteLLM 自己的基准测试中](https://kaeso.app/zh-CN/articles/kaeso-on-litellms-benchmark)的表现，与 LiteLLM、Bifrost 和 Portkey 同台。过程中，我们发布过一个不得不收回的结论，还有两个问题直到在新机器上重跑才被发现。以下是我们最终总结出的规则。

## 减去配对的直连运行

网关的开销，是请求经过网关的时间，减去同一请求不经过网关的时间：

```text
overhead = latency(client → gateway → mock) − latency(client → mock)
```

ai-gateway-bench 让每个网关都对接同一个本地模拟服务商，因此模型耗时和网络都被排除在外。但直连运行必须是新鲜的。机器在一小时的测试中会发生漂移，所以我们在每次网关运行之前，都立即进行一次形态相同的直连运行，减去的是这次运行，而不是早上测的一个基线。

## 确保网关才是瓶颈

我们的第一版表格有一列 64 个客户端的数据。其中 Kaeso 的 p99 开销为 +0.65 ms，比单个客户端时的 +1.66 ms 还低。一位审阅者指出了这意味着什么：负载增加时延迟不会变好，所以瓶颈在别处。

瓶颈是测试装置本身。在 64 个客户端下，模拟服务商和负载驱动程序共用两个核心，上限约为每秒 2,900 个请求。每个网关都在它们后面排队，直连运行的尾部延迟也随之上升，减去它就掩盖了网关自身的大部分耗时。我们在这一负载下最醒目的对比，测到的其实是模拟服务商。

我们删掉了这一列，改为构建容量测试。模拟服务商立即应答，64 个客户端尽可能快地发送请求，每一轮都先测量同一驱动程序在没有网关时能跑多快。这个上限约为每秒 28,000 个请求，是最快网关的四倍多，所以网关确实是瓶颈。如果您的测试装置跑不过网关，您测的就是装置。

## 固定核心，并计入网关所需的一切

每个网关都在 Docker 中独占两个核心（`--cpuset-cpus 2,3`），模拟服务商、驱动程序和数据库运行在另外两个核心上。否则网关会与负载生成器争抢 CPU，而生成器越慢，网关看起来就越好。

Kaeso 需要 PostgreSQL 和 Valkey；其他网关运行时没有数据库。因此我们也对这些数据库进行了采样，并与网关并列报告。它们每个请求几乎不占 CPU，但占用了 271 MB 内存，这也是 LiteLLM Rust 在内存对比中胜出的原因。把网关的依赖排除在账单之外，是一种悄无声息的取胜方式。

## 分轮运行，让范围来裁决

一次运行只是个案。我们运行了三轮，每轮网关顺序重新随机，并报告中位数以及最慢和最快的一轮。范围决定了您能声称什么：

- 单个客户端时，LiteLLM Rust 的 p99 在各轮中为 0.91 至 1.01 ms，Kaeso 为 1.36 至 2.05 ms。范围没有重叠，所以 LiteLLM Rust 在这里领先，我们如实说明。
- 首个 token 时间，Kaeso 为 0.68 至 0.94 ms，LiteLLM Rust 为 0.84 至 1.04 ms。范围有重叠，所以这是平手，而不是中位数较低一方的胜利。

我们的初稿还让 Kaeso 跑的轮数比其他网关少。现在每个网关都跑相同的三轮。

## 固定并写明每个版本

“LiteLLM”或“Bifrost”不是版本号。每个镜像都按摘要运行，摘要已公开。LiteLLM Rust 尚无发布版本，所以我们如实标注为 `main` 分支的提交 `d4e8f96`，未发布。该提交的 Dockerfile 无法构建，因为它嵌入了构建上下文之外的文件。我们改用 `rust:1.98.0` 编译同一提交，并说明了这一点。在第二台机器上，构建出的二进制文件 sha256 完全相同，任何人都能核实自己测试的是同一份代码。

## 说明每个网关对每个请求做了什么

网关处理一个请求所做的工作量各不相同：检查密钥、执行限额、写入日志。我们为每个网关都列出了这些。Kaeso 检查项目的 API 密钥和允许的模型，并记录用量。两个 LiteLLM 比对一个固定的主密钥。Bifrost 和 Portkey 不检查也不保存任何内容。我们还让 Kaeso 在将每个请求记录到 ClickHouse 的情况下再跑了一次，这使其容量下降了 16%。一个网关开着日志、另一个关着日志的对比是不公平的，无论偏向哪一方。

## 检查答案，而不只是看时钟

快而错的答案并不算快。ai-gateway-bench 会回放真实的 Claude Code 和 Codex 会话，并检查每个工具调用是否都以有效的 JSON 返回。每个网关都通过了每个会话，没有任何一次运行记录到错误。

也要读懂数字。Bifrost 的首 token 时间是负数：它在服务商应答之前就发送第一个事件，而基准测试把这个事件计为首个 token。我们将其标为不可比较，而不是算作 Bifrost 的胜利。

## 在全新机器上重跑

我们发布了一个从零搭建整个测试的安装脚本，并在宣布完成之前，先在一台新机器上运行了它。它立刻失败了：刚启动的 Ubuntu 会在首次更新期间锁住包管理器。现在脚本会等待。修复之后，每个网关都无错误地跑完了一轮。

这台机器上每个网关的数字都更低：Kaeso 每秒 5,287 个请求，LiteLLM Rust 2,179 个。Kaeso 依然领先，Bifrost 和 LiteLLM Rust 则以 3% 的差距互换了名次。这就是“您的数字会有所不同”的真实幅度。只比较同一次运行中测得的网关，切勿比较来自两台机器的数字。

## 说明是谁做的测试

我们开发 Kaeso，这次测试也是我们做的。BerriAI 对其自己公布的结果也是这样说的：单机且由厂商测试。没有任何方法能消除这一点，所以我们公开了验证我们所需的一切。脚本、每个原始结果和镜像摘要都在 [kaeso.app/benchmarks](https://kaeso.app/zh-CN/benchmarks) 上。Kaeso 的安装方式和这次运行的结果也已提交到 [BerriAI 仓库的一个拉取请求](https://github.com/BerriAI/ai-gateway-bench/pull/7)中，其维护者可以在那里复测。

作者：Devin Oldenburg (Logicplanes)

## 更多文章

- [Kaeso 在 LiteLLM 自己的基准测试中](https://kaeso.app/zh-CN/articles/kaeso-on-litellms-benchmark.md)：我们使用 LiteLLM 背后的公司 BerriAI 发布的 ai-gateway-bench，将 Kaeso 0.7.0 与 LiteLLM、Bifrost 和 Portkey 一同测试。以下是结果，以及每个数字背后的证据。
- [Kaeso 0.7：重排序、批处理与决策，新增 23 个服务商，以及防护规则](https://kaeso.app/zh-CN/articles/kaeso-0-7.md)：Kaeso 0.7.0 已发布。应用可经网关做重排序、跑批处理、存储 Responses，并向决策模型提问；新增 23 个内置服务商；组织获得防护规则、SCIM、Webhook 和自己的币种；实例更轻，也能运行在 Kubernetes 上。本文介绍改了什么，以及如何更新。

[查看所有文章](https://kaeso.app/zh-CN/articles.md)

## 网关归您。记录也归您

```bash
curl -fsSL https://kaeso.app/install.sh | sh
```

[安装 Kaeso](https://docs.kaeso.app/zh-CN/self-hosting/installation) · [打开在线演示](https://demo.kaeso.app)
