如何测试 AI 网关而不自欺欺人
我们在 BerriAI 的基准测试中将 Kaeso 与 LiteLLM、Bifrost 和 Portkey 对比时犯过并纠正的错误,以及让网关基准测试值得一读的检查方法。
- 发布日期
- 阅读时间
- 7 分钟

AI 网关位于您的应用和每个模型服务商之间,它增加的任何开销,每个请求都要承担。测量这种开销很容易出错。大多数错误都会让网关看起来更好,而做测试的人往往也希望如此。
我们在 BerriAI 的 ai-gateway-bench 上测试了 Kaeso 在 LiteLLM 自己的基准测试中的表现,与 LiteLLM、Bifrost 和 Portkey 同台。过程中,我们发布过一个不得不收回的结论,还有两个问题直到在新机器上重跑才被发现。以下是我们最终总结出的规则。
减去配对的直连运行01
网关的开销,是请求经过网关的时间,减去同一请求不经过网关的时间:
overhead = latency(client → gateway → mock) − latency(client → mock)ai-gateway-bench 让每个网关都对接同一个本地模拟服务商,因此模型耗时和网络都被排除在外。但直连运行必须是新鲜的。机器在一小时的测试中会发生漂移,所以我们在每次网关运行之前,都立即进行一次形态相同的直连运行,减去的是这次运行,而不是早上测的一个基线。
确保网关才是瓶颈02
我们的第一版表格有一列 64 个客户端的数据。其中 Kaeso 的 p99 开销为 +0.65 ms,比单个客户端时的 +1.66 ms 还低。一位审阅者指出了这意味着什么:负载增加时延迟不会变好,所以瓶颈在别处。
瓶颈是测试装置本身。在 64 个客户端下,模拟服务商和负载驱动程序共用两个核心,上限约为每秒 2,900 个请求。每个网关都在它们后面排队,直连运行的尾部延迟也随之上升,减去它就掩盖了网关自身的大部分耗时。我们在这一负载下最醒目的对比,测到的其实是模拟服务商。
我们删掉了这一列,改为构建容量测试。模拟服务商立即应答,64 个客户端尽可能快地发送请求,每一轮都先测量同一驱动程序在没有网关时能跑多快。这个上限约为每秒 28,000 个请求,是最快网关的四倍多,所以网关确实是瓶颈。如果您的测试装置跑不过网关,您测的就是装置。
固定核心,并计入网关所需的一切03
每个网关都在 Docker 中独占两个核心(--cpuset-cpus 2,3),模拟服务商、驱动程序和数据库运行在另外两个核心上。否则网关会与负载生成器争抢 CPU,而生成器越慢,网关看起来就越好。
Kaeso 需要 PostgreSQL 和 Valkey;其他网关运行时没有数据库。因此我们也对这些数据库进行了采样,并与网关并列报告。它们每个请求几乎不占 CPU,但占用了 271 MB 内存,这也是 LiteLLM Rust 在内存对比中胜出的原因。把网关的依赖排除在账单之外,是一种悄无声息的取胜方式。
分轮运行,让范围来裁决04
一次运行只是个案。我们运行了三轮,每轮网关顺序重新随机,并报告中位数以及最慢和最快的一轮。范围决定了您能声称什么:
- 单个客户端时,LiteLLM Rust 的 p99 在各轮中为 0.91 至 1.01 ms,Kaeso 为 1.36 至 2.05 ms。范围没有重叠,所以 LiteLLM Rust 在这里领先,我们如实说明。
- 首个 token 时间,Kaeso 为 0.68 至 0.94 ms,LiteLLM Rust 为 0.84 至 1.04 ms。范围有重叠,所以这是平手,而不是中位数较低一方的胜利。
我们的初稿还让 Kaeso 跑的轮数比其他网关少。现在每个网关都跑相同的三轮。
固定并写明每个版本05
“LiteLLM”或“Bifrost”不是版本号。每个镜像都按摘要运行,摘要已公开。LiteLLM Rust 尚无发布版本,所以我们如实标注为 main 分支的提交 d4e8f96,未发布。该提交的 Dockerfile 无法构建,因为它嵌入了构建上下文之外的文件。我们改用 rust:1.98.0 编译同一提交,并说明了这一点。在第二台机器上,构建出的二进制文件 sha256 完全相同,任何人都能核实自己测试的是同一份代码。
说明每个网关对每个请求做了什么06
网关处理一个请求所做的工作量各不相同:检查密钥、执行限额、写入日志。我们为每个网关都列出了这些。Kaeso 检查项目的 API 密钥和允许的模型,并记录用量。两个 LiteLLM 比对一个固定的主密钥。Bifrost 和 Portkey 不检查也不保存任何内容。我们还让 Kaeso 在将每个请求记录到 ClickHouse 的情况下再跑了一次,这使其容量下降了 16%。一个网关开着日志、另一个关着日志的对比是不公平的,无论偏向哪一方。
检查答案,而不只是看时钟07
快而错的答案并不算快。ai-gateway-bench 会回放真实的 Claude Code 和 Codex 会话,并检查每个工具调用是否都以有效的 JSON 返回。每个网关都通过了每个会话,没有任何一次运行记录到错误。
也要读懂数字。Bifrost 的首 token 时间是负数:它在服务商应答之前就发送第一个事件,而基准测试把这个事件计为首个 token。我们将其标为不可比较,而不是算作 Bifrost 的胜利。
在全新机器上重跑08
我们发布了一个从零搭建整个测试的安装脚本,并在宣布完成之前,先在一台新机器上运行了它。它立刻失败了:刚启动的 Ubuntu 会在首次更新期间锁住包管理器。现在脚本会等待。修复之后,每个网关都无错误地跑完了一轮。
这台机器上每个网关的数字都更低:Kaeso 每秒 5,287 个请求,LiteLLM Rust 2,179 个。Kaeso 依然领先,Bifrost 和 LiteLLM Rust 则以 3% 的差距互换了名次。这就是“您的数字会有所不同”的真实幅度。只比较同一次运行中测得的网关,切勿比较来自两台机器的数字。
说明是谁做的测试09
我们开发 Kaeso,这次测试也是我们做的。BerriAI 对其自己公布的结果也是这样说的:单机且由厂商测试。没有任何方法能消除这一点,所以我们公开了验证我们所需的一切。脚本、每个原始结果和镜像摘要都在 kaeso.app/benchmarks 上。Kaeso 的安装方式和这次运行的结果也已提交到 BerriAI 仓库的一个拉取请求(在新标签页中打开)中,其维护者可以在那里复测。


