Speicher01
LiteLLM Rust kam nie über 86 MB und braucht keine Datenbank. Kaeso erreichte 164 MB, und seine PostgreSQL und Valkey belegten weitere 271 MB.

Kaeso 0.7.0 gegen LiteLLM, Bifrost und Portkey in ai-gateway-bench, dem Benchmark von BerriAI, der Firma hinter LiteLLM. Eine Maschine, ein Mock-Anbieter, die Treiber des Benchmarks selbst.
BerriAI/ai-gateway-bench bei 44365ca, 22. November 2026 (öffnet in einem neuen Tab)Jedes Gateway bekam dieselben zwei dedizierten Kerne, 64 Clients und einen Mock-Anbieter, der sofort antwortet. So war das Gateway selbst die Grenze.
Anfragen pro Sekunde, der Median aus 3 Runden; die feine Linie reicht von der langsamsten bis zur schnellsten Runde. Derselbe Treiber schaffte direkt zum Mock 27.750 pro Sekunde, weit mehr als jedes Gateway.
Wie viel länger eine Anfrage durch das Gateway dauert als direkt zum Mock, der wie ein schneller Anbieter in etwa 22 ms antwortet.
Zusätzliche Latenz in ms, p50 und p99, der Median aus 3 Runden, darunter die Spanne des p99. Jeder Lauf hatte direkt davor einen direkten Lauf derselben Form als Gegenstück.
Keine Zeile für 64 Clients: Dort teilen sich Mock und Treiber zwei Kerne und kommen nicht über etwa 2.900 Anfragen pro Sekunde. Den direkten Lauf abzuziehen, würde die Zeit jedes Gateways zu klein ausweisen. Diese Last misst stattdessen die Kapazität.
200 gestreamte Anfragen bei 16 Clients und zwei aufgezeichnete Sitzungen von Coding-Agents, Turn für Turn abgespielt.
Direkt zum Mock liegt der Abstand zwischen Chunks bei 7,5 ms im p99. Eine Sitzung besteht aus 30 aufgezeichneten Turns, nacheinander gesendet; zusätzlich ist ihre Gesamtzeit durch das Gateway minus direkt zum Mock. Jede gestreamte Sitzung lieferte durch jedes Gateway gültige Tool-Aufrufe.
Bifrost sendet sein erstes Ereignis, bevor der Anbieter antwortet, und der Benchmark zählt das als erstes Token. Deshalb ist seine Zeit bis zum ersten Token negativ.
Ergebnisse, die Kaeso nicht gewinnt, und was seine zusätzliche Arbeit kostet.
LiteLLM Rust kam nie über 86 MB und braucht keine Datenbank. Kaeso erreichte 164 MB, und seine PostgreSQL und Valkey belegten weitere 271 MB.
Mit einer Anfrage zur Zeit lag das p99 von LiteLLM Rust bei +0,98 ms, das von Kaeso bei +1,66 ms, und keine Runde von Kaeso kam näher.
Die Zeit bis zum ersten Token (+0,87 gegen +0,96 ms) und die Claude-Code-Sitzung (+41,5 gegen +41,0 ms) liegen in der Spanne des jeweils anderen.
Mit jeder Anfrage in ClickHouse geloggt schaffte Kaeso 5.324 Anfragen pro Sekunde, 16 % weniger, und seine Datenbanken belegten 1.163 MB.
Jedes Gateway lief so, wie sein Projekt es ausliefert, gegen den Mock im Messages-Format von Anthropic. Kaeso prüfte bei jeder Anfrage am meisten.
Alles, um eine Zahl zu prüfen: die Maschine, der Benchmark, jede Version und wie jeder Lauf gepaart war.
ghcr.io/logicplanes/kaeso-gateway:0.7.0sha256:3d32fd7827417e49475b4ac9ad7d25f7daed28f02fa489ef4077ff501faaae1agithub.com/BerriAI/litellm@d4e8f96, litellm-gateway built with rust:1.98.0sha256:b80e284d93b67806511e0371456d80083d6f1d932abd723a1b31c1ed578ae122maximhq/bifrost:v2.6.0sha256:5968d007ba4f74ee01bc4ceb071decb9927a0b7bb43dbb9072208f75e2d522e3portkeyai/gateway:1.15.2sha256:97f094d9c8a764cbfaa2a7138c0017b247ca923bb06db1b4c13b7f8a33b5200dghcr.io/berriai/litellm:v1.110.2sha256:ef798594ca3db8d81bad2e1439f536f49b71fe095ee9f20416f5e149b4e22035Kaesos Datenbanken: postgres:18.6-alpine, valkey/valkey:9.1.3-alpine und clickhouse/clickhouse-server:26.3.62.3-alpine.
Auf einer frischen Linux-Maschine mit vier Kernen, als root. Das Setup installiert Docker, baut den Benchmark und LiteLLM Rust bei denselben Commits und lädt jedes Image über seinen Digest.
curl -fsSLO https://kaeso.app/benchmarks/2026-11-22/harness.tar.gztar -xzf harness.tar.gzbash kaeso-gateway-bench/setup.shcd /rootai-gateway-bench/.venv/bin/python run.pyai-gateway-bench/.venv/bin/python run_capacity.pyDrei Runden aller Gateways dauern etwa 90 Minuten, der Kapazitätslauf weitere 30. Absolute Zahlen ändern sich von Maschine zu Maschine; vergleichen Sie Gateways aus demselben Lauf.

Installieren Sie Kaeso neben dem Gateway, das Sie heute betreiben, und richten Sie denselben Benchmark auf beide.