---
title: "Wie man ein AI-Gateway misst, ohne sich selbst zu täuschen"
description: "Was wir falsch gemacht und korrigiert haben, als wir Kaeso in BerriAIs Benchmark gegen LiteLLM, Bifrost und Portkey gemessen haben, und welche Prüfungen einen Gateway-Benchmark lesenswert machen."
url: https://kaeso.app/de/articles/benchmarking-ai-gateways-honestly
markdown: https://kaeso.app/de/articles/benchmarking-ai-gateways-honestly.md
language: de
alternates:
  en: https://kaeso.app/articles/benchmarking-ai-gateways-honestly.md
  zh-CN: https://kaeso.app/zh-CN/articles/benchmarking-ai-gateways-honestly.md
published: 2026-11-22
authors:
  - Devin Oldenburg (Logicplanes)
tags:
  - Benchmark
  - Leistung
  - Methode
image: https://kaeso.app/articles/benchmarking-ai-gateways-honestly/cover.jpg
index: https://kaeso.app/de/llms.txt
---

# Wie man ein AI-Gateway misst, ohne sich selbst zu täuschen

Was wir falsch gemacht und korrigiert haben, als wir Kaeso in BerriAIs Benchmark gegen LiteLLM, Bifrost und Portkey gemessen haben, und welche Prüfungen einen Gateway-Benchmark lesenswert machen.

> Jede Seite, jeder Artikel und jede Seite der Doku von Kaeso steht in https://kaeso.app/de/llms.txt.

- Veröffentlicht: 22. November 2026
- Lesezeit: 5 Min.
- Autor: Devin Oldenburg (Logicplanes)

Ein AI-Gateway sitzt zwischen Ihren Apps und jedem Modellanbieter. Was es hinzufügt, zahlt also jede Anfrage. Diese Kosten zu messen, geht leicht schief. Die meisten Fehler schmeicheln dem Gateway, und wer den Test fährt, möchte meist, dass ihm geschmeichelt wird.

Wir haben [Kaeso im Benchmark von LiteLLM](https://kaeso.app/de/articles/kaeso-on-litellms-benchmark) gemessen, BerriAIs ai-gateway-bench, neben LiteLLM, Bifrost und Portkey. Unterwegs haben wir eine Aussage veröffentlicht, die wir zurücknehmen mussten, und zwei Probleme in unserem Aufbau erst gefunden, als wir ihn auf einer neuen Maschine wiederholt haben. Das sind die Regeln, bei denen wir gelandet sind.

## Einen gepaarten direkten Lauf abziehen

Der Overhead eines Gateways ist die Zeit einer Anfrage durch das Gateway minus die Zeit derselben Anfrage ohne es:

```text
overhead = latency(client → gateway → mock) − latency(client → mock)
```

ai-gateway-bench richtet jedes Gateway auf denselben lokalen Mock-Anbieter, sodass die Zeit des Modells und das Netz herausfallen. Der direkte Lauf muss aber frisch sein. Maschinen driften über eine Stunde Messung, deshalb lief direkt vor jedem Gateway-Lauf ein direkter Lauf derselben Form, und abgezogen wurde dieser, nicht eine Baseline vom Morgen.

## Sicherstellen, dass das Gateway der Engpass ist

Unsere erste Tabelle hatte eine Spalte für 64 Clients. Darin lag Kaesos p99-Overhead bei +0,65 ms, niedriger als die +1,66 ms mit einem einzigen Client. Ein Reviewer hat darauf hingewiesen, was das heißt: Latenz wird unter Last nicht besser, also war etwas anderes die Grenze.

Es war der Messaufbau. Bei 64 Clients teilten sich Mock und Lasttreiber zwei Kerne und kamen nicht über etwa 2.900 Anfragen pro Sekunde. Jedes Gateway stand dahinter an, auch der Ausläufer des direkten Laufs stieg, und ihn abzuziehen, verbarg den größten Teil der eigenen Zeit des Gateways. Unser wichtigster Vergleich bei dieser Last hat den Mock gemessen.

Wir haben die Spalte gestrichen und stattdessen einen Kapazitätslauf gebaut. Der Mock antwortet sofort, 64 Clients senden Anfragen so schnell sie können, und jede Runde misst zuerst, wie schnell derselbe Treiber ohne Gateway ist. Diese Obergrenze lag bei etwa 28.000 Anfragen pro Sekunde, mehr als das Vierfache des schnellsten Gateways, also waren die Gateways wirklich die Grenze. Wenn Ihr Aufbau das Gateway nicht überholen kann, messen Sie den Aufbau.

## Kerne festlegen und mitzählen, was das Gateway braucht

Jedes Gateway lief in Docker auf zwei eigenen Kernen (`--cpuset-cpus 2,3`), Mock, Treiber und Datenbanken liefen auf den anderen beiden. Ohne das konkurriert das Gateway mit dem Lastgenerator um CPU, und je langsamer der Generator, desto besser sieht das Gateway aus.

Kaeso braucht PostgreSQL und Valkey; die anderen Gateways liefen ohne Datenbank. Also haben wir die Datenbanken mitgemessen und neben dem Gateway ausgewiesen. Sie brauchten pro Anfrage kaum CPU, aber 271 MB Speicher, und deshalb gewinnt LiteLLM Rust den Speichervergleich. Die Abhängigkeiten eines Gateways aus seiner Rechnung zu lassen, ist ein leiser Weg zu gewinnen.

## In Runden messen und die Spannen entscheiden lassen

Ein Lauf ist eine Anekdote. Wir haben drei Runden gemessen, jede mit den Gateways in neuer zufälliger Reihenfolge, und den Median mit der langsamsten und schnellsten Runde angegeben. Die Spannen entscheiden dann, was Sie behaupten dürfen:

- Mit einem Client lag das p99 von LiteLLM Rust über die Runden bei 0,91 bis 1,01 ms, das von Kaeso bei 1,36 bis 2,05 ms. Die Spannen überlappen nicht, also liegt LiteLLM Rust dort vorn, und das sagen wir.
- Die Zeit bis zum ersten Token lag bei Kaeso bei 0,68 bis 0,94 ms, bei LiteLLM Rust bei 0,84 bis 1,04 ms. Die Spannen überlappen, also ist das ein Gleichstand, kein Sieg für den niedrigeren Median.

Unser erster Entwurf gab Kaeso außerdem weniger Runden als den anderen. Jetzt bekommt jedes Gateway dieselben drei.

## Jede Version festlegen und benennen

„LiteLLM“ oder „Bifrost“ ist keine Version. Jedes Image lief über seinen Digest, und die Digests sind veröffentlicht. LiteLLM Rust hat noch kein Release, also heißt es, was es ist: `main` bei Commit `d4e8f96`, unveröffentlicht. Sein Dockerfile baut bei diesem Commit nicht, weil es Dateien außerhalb seines Build-Kontexts einbettet. Wir haben denselben Commit stattdessen in `rust:1.98.0` kompiliert und sagen das. Auf einer zweiten Maschine ergab der Build ein Binary mit demselben sha256, sodass jeder prüfen kann, dass er denselben Code testet.

## Sagen, was jedes Gateway bei jeder Anfrage tat

Gateways unterscheiden sich darin, wie viel Arbeit eine Anfrage kostet: Schlüssel prüfen, Limits durchsetzen, Logs schreiben. Wir haben es für jedes Gateway aufgeführt. Kaeso prüfte den API-Schlüssel eines Projekts und die erlaubten Modelle und speicherte die Nutzung. Beide LiteLLMs verglichen einen festen Master-Schlüssel. Bifrost und Portkey prüften nichts und speicherten nichts. Außerdem lief Kaeso ein zweites Mal mit jeder Anfrage in ClickHouse geloggt, was 16 % seiner Kapazität kostete. Ein Vergleich, der Logging bei einem Gateway an- und beim anderen ausschaltet, ist schief, in welche Richtung auch immer.

## Die Antworten prüfen, nicht nur die Uhr

Eine schnelle falsche Antwort ist nicht schnell. ai-gateway-bench spielt echte Claude-Code- und Codex-Sitzungen ab und prüft, dass jeder Tool-Aufruf als gültiges JSON zurückkommt. Jedes Gateway hat jede Sitzung bestanden, und kein Lauf verzeichnete einen Fehler.

Lesen Sie auch die Zahlen. Bifrosts Zeit bis zum ersten Token kam negativ heraus: Es sendet sein erstes Ereignis, bevor der Anbieter antwortet, und der Benchmark zählt dieses Ereignis als erstes Token. Wir weisen das als nicht vergleichbar aus statt als Sieg für Bifrost.

## Auf einer frischen Maschine wiederholen

Wir haben ein Setup-Skript veröffentlicht, das den ganzen Test von null aufbaut, und es dann auf einer neuen Maschine ausgeführt, bevor wir es fertig nannten. Es schlug sofort fehl: Ein frisch gestartetes Ubuntu hält die Sperre des Paketmanagers für seine ersten Updates. Das Skript wartet jetzt. Nach dieser Korrektur lief jedes Gateway eine Runde ohne Fehler.

Die Zahlen auf dieser Maschine lagen für jedes Gateway niedriger: Kaeso 5.287 Anfragen pro Sekunde, LiteLLM Rust 2.179. Kaeso lag wieder vorn, und Bifrost und LiteLLM Rust tauschten die Plätze, 3 % auseinander. So groß ist ehrlich gesagt „Ihre Zahlen werden abweichen“. Vergleichen Sie Gateways aus demselben Lauf, nie Zahlen von zwei Maschinen.

## Sagen, wer gemessen hat

Wir bauen Kaeso, und wir haben das gemessen. BerriAI sagt dasselbe über seine eigenen veröffentlichten Ergebnisse: Single-Host und vom Anbieter gemessen. Keine Methode hebt das auf, also haben wir stattdessen alles veröffentlicht, was man braucht, um uns zu prüfen. Die Skripte, jedes Rohergebnis und die Image-Digests liegen auf [kaeso.app/benchmarks](https://kaeso.app/de/benchmarks). Kaesos Setup und die Ergebnisse dieses Laufs liegen außerdem in [einem Pull Request im Repository von BerriAI](https://github.com/BerriAI/ai-gateway-bench/pull/7), wo die Maintainer sie wiederholen können.

Von Devin Oldenburg (Logicplanes)

## Weitere Artikel

- [Kaeso im Benchmark von LiteLLM](https://kaeso.app/de/articles/kaeso-on-litellms-benchmark.md): Wir haben ai-gateway-bench, den Benchmark von BerriAI, der Firma hinter LiteLLM, mit Kaeso 0.7.0 neben LiteLLM, Bifrost und Portkey laufen lassen. Das sind die Zahlen und die Belege hinter jeder einzelnen.
- [Kaeso 0.7: Rerank, Batches und Entscheidungen, 23 neue Anbieter und Guardrails](https://kaeso.app/de/articles/kaeso-0-7.md): Kaeso 0.7.0 ist erschienen. Apps sortieren mit Rerank neu, schicken Batches, speichern Responses und fragen Entscheidungsmodelle über das Gateway, 23 weitere Anbieter sind eingebaut, Organisationen bekommen Guardrails, SCIM, Webhooks und ihre eigene Währung, und Installationen werden schlanker und laufen auf Kubernetes. Hier steht, was sich geändert hat und wie Sie aktualisieren.

[Alle Artikel ansehen](https://kaeso.app/de/articles.md)

## Ihr Gateway. Ihre Request-Logs

```bash
curl -fsSL https://kaeso.app/install.sh | sh
```

[Kaeso installieren](https://docs.kaeso.app/de/self-hosting/installation) · [Live-Demo öffnen](https://demo.kaeso.app)
