Wie man ein AI-Gateway misst, ohne sich selbst zu täuschen
Was wir falsch gemacht und korrigiert haben, als wir Kaeso in BerriAIs Benchmark gegen LiteLLM, Bifrost und Portkey gemessen haben, und welche Prüfungen einen Gateway-Benchmark lesenswert machen.
- Veröffentlicht
- Lesezeit
- 5 Min.

Ein AI-Gateway sitzt zwischen Ihren Apps und jedem Modellanbieter. Was es hinzufügt, zahlt also jede Anfrage. Diese Kosten zu messen, geht leicht schief. Die meisten Fehler schmeicheln dem Gateway, und wer den Test fährt, möchte meist, dass ihm geschmeichelt wird.
Wir haben Kaeso im Benchmark von LiteLLM gemessen, BerriAIs ai-gateway-bench, neben LiteLLM, Bifrost und Portkey. Unterwegs haben wir eine Aussage veröffentlicht, die wir zurücknehmen mussten, und zwei Probleme in unserem Aufbau erst gefunden, als wir ihn auf einer neuen Maschine wiederholt haben. Das sind die Regeln, bei denen wir gelandet sind.
Einen gepaarten direkten Lauf abziehen01
Der Overhead eines Gateways ist die Zeit einer Anfrage durch das Gateway minus die Zeit derselben Anfrage ohne es:
overhead = latency(client → gateway → mock) − latency(client → mock)ai-gateway-bench richtet jedes Gateway auf denselben lokalen Mock-Anbieter, sodass die Zeit des Modells und das Netz herausfallen. Der direkte Lauf muss aber frisch sein. Maschinen driften über eine Stunde Messung, deshalb lief direkt vor jedem Gateway-Lauf ein direkter Lauf derselben Form, und abgezogen wurde dieser, nicht eine Baseline vom Morgen.
Sicherstellen, dass das Gateway der Engpass ist02
Unsere erste Tabelle hatte eine Spalte für 64 Clients. Darin lag Kaesos p99-Overhead bei +0,65 ms, niedriger als die +1,66 ms mit einem einzigen Client. Ein Reviewer hat darauf hingewiesen, was das heißt: Latenz wird unter Last nicht besser, also war etwas anderes die Grenze.
Es war der Messaufbau. Bei 64 Clients teilten sich Mock und Lasttreiber zwei Kerne und kamen nicht über etwa 2.900 Anfragen pro Sekunde. Jedes Gateway stand dahinter an, auch der Ausläufer des direkten Laufs stieg, und ihn abzuziehen, verbarg den größten Teil der eigenen Zeit des Gateways. Unser wichtigster Vergleich bei dieser Last hat den Mock gemessen.
Wir haben die Spalte gestrichen und stattdessen einen Kapazitätslauf gebaut. Der Mock antwortet sofort, 64 Clients senden Anfragen so schnell sie können, und jede Runde misst zuerst, wie schnell derselbe Treiber ohne Gateway ist. Diese Obergrenze lag bei etwa 28.000 Anfragen pro Sekunde, mehr als das Vierfache des schnellsten Gateways, also waren die Gateways wirklich die Grenze. Wenn Ihr Aufbau das Gateway nicht überholen kann, messen Sie den Aufbau.
Kerne festlegen und mitzählen, was das Gateway braucht03
Jedes Gateway lief in Docker auf zwei eigenen Kernen (--cpuset-cpus 2,3), Mock, Treiber und Datenbanken liefen auf den anderen beiden. Ohne das konkurriert das Gateway mit dem Lastgenerator um CPU, und je langsamer der Generator, desto besser sieht das Gateway aus.
Kaeso braucht PostgreSQL und Valkey; die anderen Gateways liefen ohne Datenbank. Also haben wir die Datenbanken mitgemessen und neben dem Gateway ausgewiesen. Sie brauchten pro Anfrage kaum CPU, aber 271 MB Speicher, und deshalb gewinnt LiteLLM Rust den Speichervergleich. Die Abhängigkeiten eines Gateways aus seiner Rechnung zu lassen, ist ein leiser Weg zu gewinnen.
In Runden messen und die Spannen entscheiden lassen04
Ein Lauf ist eine Anekdote. Wir haben drei Runden gemessen, jede mit den Gateways in neuer zufälliger Reihenfolge, und den Median mit der langsamsten und schnellsten Runde angegeben. Die Spannen entscheiden dann, was Sie behaupten dürfen:
- Mit einem Client lag das p99 von LiteLLM Rust über die Runden bei 0,91 bis 1,01 ms, das von Kaeso bei 1,36 bis 2,05 ms. Die Spannen überlappen nicht, also liegt LiteLLM Rust dort vorn, und das sagen wir.
- Die Zeit bis zum ersten Token lag bei Kaeso bei 0,68 bis 0,94 ms, bei LiteLLM Rust bei 0,84 bis 1,04 ms. Die Spannen überlappen, also ist das ein Gleichstand, kein Sieg für den niedrigeren Median.
Unser erster Entwurf gab Kaeso außerdem weniger Runden als den anderen. Jetzt bekommt jedes Gateway dieselben drei.
Jede Version festlegen und benennen05
„LiteLLM“ oder „Bifrost“ ist keine Version. Jedes Image lief über seinen Digest, und die Digests sind veröffentlicht. LiteLLM Rust hat noch kein Release, also heißt es, was es ist: main bei Commit d4e8f96, unveröffentlicht. Sein Dockerfile baut bei diesem Commit nicht, weil es Dateien außerhalb seines Build-Kontexts einbettet. Wir haben denselben Commit stattdessen in rust:1.98.0 kompiliert und sagen das. Auf einer zweiten Maschine ergab der Build ein Binary mit demselben sha256, sodass jeder prüfen kann, dass er denselben Code testet.
Sagen, was jedes Gateway bei jeder Anfrage tat06
Gateways unterscheiden sich darin, wie viel Arbeit eine Anfrage kostet: Schlüssel prüfen, Limits durchsetzen, Logs schreiben. Wir haben es für jedes Gateway aufgeführt. Kaeso prüfte den API-Schlüssel eines Projekts und die erlaubten Modelle und speicherte die Nutzung. Beide LiteLLMs verglichen einen festen Master-Schlüssel. Bifrost und Portkey prüften nichts und speicherten nichts. Außerdem lief Kaeso ein zweites Mal mit jeder Anfrage in ClickHouse geloggt, was 16 % seiner Kapazität kostete. Ein Vergleich, der Logging bei einem Gateway an- und beim anderen ausschaltet, ist schief, in welche Richtung auch immer.
Die Antworten prüfen, nicht nur die Uhr07
Eine schnelle falsche Antwort ist nicht schnell. ai-gateway-bench spielt echte Claude-Code- und Codex-Sitzungen ab und prüft, dass jeder Tool-Aufruf als gültiges JSON zurückkommt. Jedes Gateway hat jede Sitzung bestanden, und kein Lauf verzeichnete einen Fehler.
Lesen Sie auch die Zahlen. Bifrosts Zeit bis zum ersten Token kam negativ heraus: Es sendet sein erstes Ereignis, bevor der Anbieter antwortet, und der Benchmark zählt dieses Ereignis als erstes Token. Wir weisen das als nicht vergleichbar aus statt als Sieg für Bifrost.
Auf einer frischen Maschine wiederholen08
Wir haben ein Setup-Skript veröffentlicht, das den ganzen Test von null aufbaut, und es dann auf einer neuen Maschine ausgeführt, bevor wir es fertig nannten. Es schlug sofort fehl: Ein frisch gestartetes Ubuntu hält die Sperre des Paketmanagers für seine ersten Updates. Das Skript wartet jetzt. Nach dieser Korrektur lief jedes Gateway eine Runde ohne Fehler.
Die Zahlen auf dieser Maschine lagen für jedes Gateway niedriger: Kaeso 5.287 Anfragen pro Sekunde, LiteLLM Rust 2.179. Kaeso lag wieder vorn, und Bifrost und LiteLLM Rust tauschten die Plätze, 3 % auseinander. So groß ist ehrlich gesagt „Ihre Zahlen werden abweichen“. Vergleichen Sie Gateways aus demselben Lauf, nie Zahlen von zwei Maschinen.
Sagen, wer gemessen hat09
Wir bauen Kaeso, und wir haben das gemessen. BerriAI sagt dasselbe über seine eigenen veröffentlichten Ergebnisse: Single-Host und vom Anbieter gemessen. Keine Methode hebt das auf, also haben wir stattdessen alles veröffentlicht, was man braucht, um uns zu prüfen. Die Skripte, jedes Rohergebnis und die Image-Digests liegen auf kaeso.app/benchmarks. Kaesos Setup und die Ergebnisse dieses Laufs liegen außerdem in einem Pull Request im Repository von BerriAI (öffnet in einem neuen Tab), wo die Maintainer sie wiederholen können.
Von Devin Oldenburg (Logicplanes) (öffnet in einem neuen Tab)


