Zum Inhalt springen

6.338 Anfragen pro Sekunde auf zwei Kernen.

Kaeso 0.7.0 gegen LiteLLM, Bifrost und Portkey in ai-gateway-bench, dem Benchmark von BerriAI, der Firma hinter LiteLLM. Eine Maschine, ein Mock-Anbieter, die Treiber des Benchmarks selbst.

BerriAI/ai-gateway-bench bei 44365ca, 22. November 2026 (öffnet in einem neuen Tab)
6.338
Anfragen pro Sekunde auf zwei Kernen; LiteLLM Rust schaffte 3.211
0,54
ms zusätzlich im Median bei 16 Clients
314
µs CPU pro Anfrage unter Volllast
0
fehlgeschlagene Anfragen, in jedem Lauf jedes Gateways

Fast die doppelte Last auf denselben Kernen.

Jedes Gateway bekam dieselben zwei dedizierten Kerne, 64 Clients und einen Mock-Anbieter, der sofort antwortet. So war das Gateway selbst die Grenze.

  1. 01Kaeso0.7.06.3386.086–6.355
  2. 02Kaeso0.7.0, Request-Logs an5.3245.085–5.388
  3. 03LiteLLM Rustmain bei d4e8f96, unveröffentlicht3.2113.146–3.265
  4. 04Bifrost2.6.02.8062.777–2.819
  5. 05Portkey1.15.2779776–793
  6. 06LiteLLM Python1.110.27474–75

Anfragen pro Sekunde, der Median aus 3 Runden; die feine Linie reicht von der langsamsten bis zur schnellsten Runde. Derselbe Treiber schaffte direkt zum Mock 27.750 pro Sekunde, weit mehr als jedes Gateway.

GatewayAnfragen pro SekundeLatenz p50 / p99CPU pro AnfrageHöchster Speicher
Kaeso0.7.0Anfragen pro Sekunde6.338Latenz p50 / p9910,0 / 15,6 msCPU pro Anfrage314 µsHöchster Speicher101 MB, dazu 271 MB für seine Datenbanken
Kaeso0.7.0, Request-Logs anAnfragen pro Sekunde5.324Latenz p50 / p9911,8 / 20,6 msCPU pro Anfrage373 µsHöchster Speicher450 MB, dazu 1.163 MB für seine Datenbanken
LiteLLM Rustmain bei d4e8f96, unveröffentlichtAnfragen pro Sekunde3.211Latenz p50 / p9919,6 / 33,2 msCPU pro Anfrage573 µsHöchster Speicher86 MB, keine Datenbank
Bifrost2.6.0Anfragen pro Sekunde2.806Latenz p50 / p9921,0 / 54,6 msCPU pro Anfrage708 µsHöchster Speicher405 MB, keine Datenbank
Portkey1.15.2Anfragen pro Sekunde779Latenz p50 / p9979,9 / 118,3 msCPU pro Anfrage1.449 µsHöchster Speicher293 MB, keine Datenbank
LiteLLM Python1.110.2Anfragen pro Sekunde74Latenz p50 / p99858,1 / 974,0 msCPU pro Anfrage13.563 µsHöchster Speicher743 MB, keine Datenbank

Unter einer Millisekunde im Median.

Wie viel länger eine Anfrage durch das Gateway dauert als direkt zum Mock, der wie ein schneller Anbieter in etwa 22 ms antwortet.

Gateway1 Client4 Clients16 Clients
Kaeso0.7.01 Client+0,73 / +1,66p99 1,36 bis 2,054 Clients+0,56 / +1,15p99 1,08 bis 2,2816 Clients+0,54 / +1,47p99 1,44 bis 1,57
Kaeso0.7.0, Request-Logs an1 Client+0,77 / +2,22p99 2,17 bis 2,474 Clients+0,60 / +1,90p99 1,83 bis 1,9716 Clients+0,62 / +1,45p99 1,23 bis 3,07
LiteLLM Rustmain bei d4e8f96, unveröffentlicht1 Client+0,87 / +0,98p99 0,91 bis 1,014 Clients+0,76 / +1,68p99 1,43 bis 1,6916 Clients+0,69 / +2,26p99 1,59 bis 2,82
Bifrost2.6.01 Client+1,10 / +1,32p99 1,22 bis 1,364 Clients+0,85 / +2,41p99 1,98 bis 2,5116 Clients+0,71 / +4,08p99 3,01 bis 4,16
Portkey1.15.21 Client+2,04 / +5,26p99 4,12 bis 5,474 Clients+1,17 / +6,99p99 6,35 bis 7,0016 Clients+3,1 / +20,4p99 20,1 bis 22,6
LiteLLM Python1.110.21 Client+16,0 / +17,8p99 17,4 bis 18,34 Clients+50,9 / +60,5p99 58,2 bis 66,416 Clients+188 / +216p99 214 bis 221

Zusätzliche Latenz in ms, p50 und p99, der Median aus 3 Runden, darunter die Spanne des p99. Jeder Lauf hatte direkt davor einen direkten Lauf derselben Form als Gegenstück.

Keine Zeile für 64 Clients: Dort teilen sich Mock und Treiber zwei Kerne und kommen nicht über etwa 2.900 Anfragen pro Sekunde. Den direkten Lauf abzuziehen, würde die Zeit jedes Gateways zu klein ausweisen. Diese Last misst stattdessen die Kapazität.

Streams kommen an, wie sie gesendet wurden.

200 gestreamte Anfragen bei 16 Clients und zwei aufgezeichnete Sitzungen von Coding-Agents, Turn für Turn abgespielt.

GatewayErstes Token, zusätzlichAbstand zwischen Chunks, p99Claude-Code-Sitzung, zusätzlichCodex-Sitzung, zusätzlich
Kaeso0.7.0Erstes Token, zusätzlich+0,87 msAbstand zwischen Chunks, p997,8 msClaude-Code-Sitzung, zusätzlich+41,5 msCodex-Sitzung, zusätzlich+34,0 ms
Kaeso0.7.0, Request-Logs anErstes Token, zusätzlich+0,94 msAbstand zwischen Chunks, p998,1 msClaude-Code-Sitzung, zusätzlich+66,0 msCodex-Sitzung, zusätzlich+65,5 ms
LiteLLM Rustmain bei d4e8f96, unveröffentlichtErstes Token, zusätzlich+0,96 msAbstand zwischen Chunks, p9940,4 msClaude-Code-Sitzung, zusätzlich+41,0 msCodex-Sitzung, zusätzlich+44,2 ms
Bifrost2.6.0Erstes Token, zusätzlichNicht vergleichbarAbstand zwischen Chunks, p9920,5 msClaude-Code-Sitzung, zusätzlich+126,4 msCodex-Sitzung, zusätzlich+91,3 ms
Portkey1.15.2Erstes Token, zusätzlich+27,5 msAbstand zwischen Chunks, p998,6 msClaude-Code-Sitzung, zusätzlich+91,4 msCodex-Sitzung, zusätzlich+104,2 ms
LiteLLM Python1.110.2Erstes Token, zusätzlich+119 msAbstand zwischen Chunks, p9934,0 msClaude-Code-Sitzung, zusätzlich+502,1 msCodex-Sitzung, zusätzlich+507,7 ms

Direkt zum Mock liegt der Abstand zwischen Chunks bei 7,5 ms im p99. Eine Sitzung besteht aus 30 aufgezeichneten Turns, nacheinander gesendet; zusätzlich ist ihre Gesamtzeit durch das Gateway minus direkt zum Mock. Jede gestreamte Sitzung lieferte durch jedes Gateway gültige Tool-Aufrufe.

Bifrost sendet sein erstes Ereignis, bevor der Anbieter antwortet, und der Benchmark zählt das als erstes Token. Deshalb ist seine Zeit bis zum ersten Token negativ.

Wo andere vorn liegen.

Ergebnisse, die Kaeso nicht gewinnt, und was seine zusätzliche Arbeit kostet.

Speicher01

LiteLLM Rust kam nie über 86 MB und braucht keine Datenbank. Kaeso erreichte 164 MB, und seine PostgreSQL und Valkey belegten weitere 271 MB.

Ein Client02

Mit einer Anfrage zur Zeit lag das p99 von LiteLLM Rust bei +0,98 ms, das von Kaeso bei +1,66 ms, und keine Runde von Kaeso kam näher.

Gleichstand03

Die Zeit bis zum ersten Token (+0,87 gegen +0,96 ms) und die Claude-Code-Sitzung (+41,5 gegen +41,0 ms) liegen in der Spanne des jeweils anderen.

Request-Logs04

Mit jeder Anfrage in ClickHouse geloggt schaffte Kaeso 5.324 Anfragen pro Sekunde, 16 % weniger, und seine Datenbanken belegten 1.163 MB.

Was jedes Gateway tat.

Jedes Gateway lief so, wie sein Projekt es ausliefert, gegen den Mock im Messages-Format von Anthropic. Kaeso prüfte bei jeder Anfrage am meisten.

GatewayVersionBei jeder Anfrage geprüftGespeichert
KaesoVersionRelease 0.7.0Bei jeder Anfrage geprüftDen API-Schlüssel eines Projekts und die Modelle, die das Projekt erlaubtGespeichertNutzung in PostgreSQL; keine Request-Logs
KaesoRequest-Logs anVersionRelease 0.7.0Bei jeder Anfrage geprüftDen API-Schlüssel eines Projekts und die Modelle, die das Projekt erlaubtGespeichertNutzung in PostgreSQL und jede Anfrage in ClickHouse
LiteLLM RustVersionmain bei d4e8f96, unveröffentlichtBei jeder Anfrage geprüftEinen Master-Schlüssel aus seiner KonfigurationGespeichertNichts: keine Datenbank
BifrostVersionRelease 2.6.0Bei jeder Anfrage geprüftKeinen SchlüsselGespeichertNichts: Logging und Stores aus
PortkeyVersionRelease 1.15.2Bei jeder Anfrage geprüftKeinen SchlüsselGespeichertNichts: Logging aus
LiteLLM PythonVersionRelease 1.110.2Bei jeder Anfrage geprüftEinen Master-Schlüssel aus seiner KonfigurationGespeichertNichts: keine Datenbank

Wie es lief.

Alles, um eine Zahl zu prüfen: die Maschine, der Benchmark, jede Version und wie jeder Lauf gepaart war.

01
MaschineEine DigitalOcean CPU-Optimized c-4 in Amsterdam: 4 dedizierte vCPUs (Intel Xeon Platinum 8358, 2,6 GHz), 8 GB Speicher, Ubuntu 24.04 und Docker.
02
KerneJedes Gateway lief in Docker im Host-Netzwerk, fest auf zwei Kernen. Mock, Lasttreiber und Kaesos Datenbanken liefen auf den anderen beiden.
03
BenchmarkBerriAI/ai-gateway-bench bei 44365ca, Mock-Anbieter und Treiber unverändert: load-probe für Anfragen, run_http_bench.py für Streams und session_runner.py für Agent-Sitzungen.
04
Mock-AnbieterAntwortet im Messages-Format von Anthropic: das erste Token nach 20 ms, dann 40 Tokens im Abstand von 5 ms. Im Kapazitätslauf antwortet er sofort.
05
Last1, 4, 16 und 64 Clients mit 1.000, 2.000, 4.000 und 16.000 Anfragen pro Runde, 200 Streams bei 16 Clients und vier Agent-Sitzungen mit je 30 Turns.
06
Runden3 Runden, die Gateways in jeder Runde neu zufällig geordnet, jedes direkt nach einem direkten Lauf derselben Form gemessen. Jede Zahl ist der Median der Runden, mit ihrer Spanne.
07
CPU und SpeicherJeder Prozess im Container des Gateways, viermal pro Sekunde gelesen, und ebenso seine Datenbanken, daneben ausgewiesen.
08
Tag22. November 2026

Versionen

GatewayImage oder Build
Kaeso0.7.0ghcr.io/logicplanes/kaeso-gateway:0.7.0sha256:3d32fd7827417e49475b4ac9ad7d25f7daed28f02fa489ef4077ff501faaae1a
LiteLLM Rustd4e8f96github.com/BerriAI/litellm@d4e8f96, litellm-gateway built with rust:1.98.0sha256:b80e284d93b67806511e0371456d80083d6f1d932abd723a1b31c1ed578ae122
Bifrost2.6.0maximhq/bifrost:v2.6.0sha256:5968d007ba4f74ee01bc4ceb071decb9927a0b7bb43dbb9072208f75e2d522e3
Portkey1.15.2portkeyai/gateway:1.15.2sha256:97f094d9c8a764cbfaa2a7138c0017b247ca923bb06db1b4c13b7f8a33b5200d
LiteLLM Python1.110.2ghcr.io/berriai/litellm:v1.110.2sha256:ef798594ca3db8d81bad2e1439f536f49b71fe095ee9f20416f5e149b4e22035

Kaesos Datenbanken: postgres:18.6-alpine, valkey/valkey:9.1.3-alpine und clickhouse/clickhouse-server:26.3.62.3-alpine.

Selbst messen.

Auf einer frischen Linux-Maschine mit vier Kernen, als root. Das Setup installiert Docker, baut den Benchmark und LiteLLM Rust bei denselben Commits und lädt jedes Image über seinen Digest.

curl -fsSLO https://kaeso.app/benchmarks/2026-11-22/harness.tar.gztar -xzf harness.tar.gzbash kaeso-gateway-bench/setup.shcd /rootai-gateway-bench/.venv/bin/python run.pyai-gateway-bench/.venv/bin/python run_capacity.py

Drei Runden aller Gateways dauern etwa 90 Minuten, der Kapazitätslauf weitere 30. Absolute Zahlen ändern sich von Maschine zu Maschine; vergleichen Sie Gateways aus demselben Lauf.

Messen Sie esauf Ihrer eigenen Maschine.

Installieren Sie Kaeso neben dem Gateway, das Sie heute betreiben, und richten Sie denselben Benchmark auf beide.