---
title: 6.338 Anfragen pro Sekunde auf zwei Kernen
description: "Kaeso 0.7.0 gegen LiteLLM, Bifrost und Portkey in ai-gateway-bench, dem Benchmark von BerriAI, der Firma hinter LiteLLM. Eine Maschine, ein Mock-Anbieter, die Treiber des Benchmarks selbst."
url: https://kaeso.app/de/benchmarks
markdown: https://kaeso.app/de/benchmarks.md
language: de
alternates:
  en: https://kaeso.app/benchmarks.md
  zh-CN: https://kaeso.app/zh-CN/benchmarks.md
updated: 2026-11-22
kaeso_version: 0.7.0
index: https://kaeso.app/de/llms.txt
---

# 6.338 Anfragen pro Sekunde auf zwei Kernen

Kaeso 0.7.0 gegen LiteLLM, Bifrost und Portkey in ai-gateway-bench, dem Benchmark von BerriAI, der Firma hinter LiteLLM. Eine Maschine, ein Mock-Anbieter, die Treiber des Benchmarks selbst.

> Jede Seite, jeder Artikel und jede Seite der Doku von Kaeso steht in https://kaeso.app/de/llms.txt.

[BerriAI/ai-gateway-bench bei 44365ca, 22. November 2026](https://github.com/BerriAI/ai-gateway-bench/tree/44365ca99307c2fde47c7ca0aa5e17c1665dcf38)

- **6.338** Anfragen pro Sekunde auf zwei Kernen; LiteLLM Rust schaffte 3.211
- **0,54** ms zusätzlich im Median bei 16 Clients
- **314** µs CPU pro Anfrage unter Volllast
- **0** fehlgeschlagene Anfragen, in jedem Lauf jedes Gateways

## Fast die doppelte Last auf denselben Kernen

Jedes Gateway bekam dieselben zwei dedizierten Kerne, 64 Clients und einen Mock-Anbieter, der sofort antwortet. So war das Gateway selbst die Grenze.

| Gateway | Anfragen pro Sekunde | Latenz p50 / p99 | CPU pro Anfrage | Höchster Speicher |
| --- | ---: | ---: | ---: | ---: |
| Kaeso (0.7.0) | 6.338 (6.086–6.355) | 10,0 / 15,6 ms | 314 µs | 101 MB, dazu 271 MB für seine Datenbanken |
| Kaeso (0.7.0, Request-Logs an) | 5.324 (5.085–5.388) | 11,8 / 20,6 ms | 373 µs | 450 MB, dazu 1.163 MB für seine Datenbanken |
| LiteLLM Rust (main bei d4e8f96, unveröffentlicht) | 3.211 (3.146–3.265) | 19,6 / 33,2 ms | 573 µs | 86 MB, keine Datenbank |
| Bifrost (2.6.0) | 2.806 (2.777–2.819) | 21,0 / 54,6 ms | 708 µs | 405 MB, keine Datenbank |
| Portkey (1.15.2) | 779 (776–793) | 79,9 / 118,3 ms | 1.449 µs | 293 MB, keine Datenbank |
| LiteLLM Python (1.110.2) | 74 (74–75) | 858,1 / 974,0 ms | 13.563 µs | 743 MB, keine Datenbank |

Anfragen pro Sekunde, der Median aus 3 Runden; die feine Linie reicht von der langsamsten bis zur schnellsten Runde. Derselbe Treiber schaffte direkt zum Mock 27.750 pro Sekunde, weit mehr als jedes Gateway.

## Unter einer Millisekunde im Median

Wie viel länger eine Anfrage durch das Gateway dauert als direkt zum Mock, der wie ein schneller Anbieter in etwa 22 ms antwortet.

| Gateway | 1 Client | 4 Clients | 16 Clients |
| --- | ---: | ---: | ---: |
| Kaeso (0.7.0) | +0,73 / +1,66 (p99 1,36 bis 2,05) | +0,56 / +1,15 (p99 1,08 bis 2,28) | +0,54 / +1,47 (p99 1,44 bis 1,57) |
| Kaeso (0.7.0, Request-Logs an) | +0,77 / +2,22 (p99 2,17 bis 2,47) | +0,60 / +1,90 (p99 1,83 bis 1,97) | +0,62 / +1,45 (p99 1,23 bis 3,07) |
| LiteLLM Rust (main bei d4e8f96, unveröffentlicht) | +0,87 / +0,98 (p99 0,91 bis 1,01) | +0,76 / +1,68 (p99 1,43 bis 1,69) | +0,69 / +2,26 (p99 1,59 bis 2,82) |
| Bifrost (2.6.0) | +1,10 / +1,32 (p99 1,22 bis 1,36) | +0,85 / +2,41 (p99 1,98 bis 2,51) | +0,71 / +4,08 (p99 3,01 bis 4,16) |
| Portkey (1.15.2) | +2,04 / +5,26 (p99 4,12 bis 5,47) | +1,17 / +6,99 (p99 6,35 bis 7,00) | +3,1 / +20,4 (p99 20,1 bis 22,6) |
| LiteLLM Python (1.110.2) | +16,0 / +17,8 (p99 17,4 bis 18,3) | +50,9 / +60,5 (p99 58,2 bis 66,4) | +188 / +216 (p99 214 bis 221) |

Zusätzliche Latenz in ms, p50 und p99, der Median aus 3 Runden, darunter die Spanne des p99. Jeder Lauf hatte direkt davor einen direkten Lauf derselben Form als Gegenstück.

Keine Zeile für 64 Clients: Dort teilen sich Mock und Treiber zwei Kerne und kommen nicht über etwa 2.900 Anfragen pro Sekunde. Den direkten Lauf abzuziehen, würde die Zeit jedes Gateways zu klein ausweisen. Diese Last misst stattdessen die Kapazität.

## Streams kommen an, wie sie gesendet wurden

200 gestreamte Anfragen bei 16 Clients und zwei aufgezeichnete Sitzungen von Coding-Agents, Turn für Turn abgespielt.

| Gateway | Erstes Token, zusätzlich | Abstand zwischen Chunks, p99 | Claude-Code-Sitzung, zusätzlich | Codex-Sitzung, zusätzlich |
| --- | ---: | ---: | ---: | ---: |
| Kaeso (0.7.0) | +0,87 ms | 7,8 ms | +41,5 ms | +34,0 ms |
| Kaeso (0.7.0, Request-Logs an) | +0,94 ms | 8,1 ms | +66,0 ms | +65,5 ms |
| LiteLLM Rust (main bei d4e8f96, unveröffentlicht) | +0,96 ms | 40,4 ms | +41,0 ms | +44,2 ms |
| Bifrost (2.6.0) | Nicht vergleichbar | 20,5 ms | +126,4 ms | +91,3 ms |
| Portkey (1.15.2) | +27,5 ms | 8,6 ms | +91,4 ms | +104,2 ms |
| LiteLLM Python (1.110.2) | +119 ms | 34,0 ms | +502,1 ms | +507,7 ms |

Direkt zum Mock liegt der Abstand zwischen Chunks bei 7,5 ms im p99. Eine Sitzung besteht aus 30 aufgezeichneten Turns, nacheinander gesendet; zusätzlich ist ihre Gesamtzeit durch das Gateway minus direkt zum Mock. Jede gestreamte Sitzung lieferte durch jedes Gateway gültige Tool-Aufrufe.

Bifrost sendet sein erstes Ereignis, bevor der Anbieter antwortet, und der Benchmark zählt das als erstes Token. Deshalb ist seine Zeit bis zum ersten Token negativ.

## Wo andere vorn liegen

Ergebnisse, die Kaeso nicht gewinnt, und was seine zusätzliche Arbeit kostet.

- **Speicher**: LiteLLM Rust kam nie über 86 MB und braucht keine Datenbank. Kaeso erreichte 164 MB, und seine PostgreSQL und Valkey belegten weitere 271 MB.
- **Ein Client**: Mit einer Anfrage zur Zeit lag das p99 von LiteLLM Rust bei +0,98 ms, das von Kaeso bei +1,66 ms, und keine Runde von Kaeso kam näher.
- **Gleichstand**: Die Zeit bis zum ersten Token (+0,87 gegen +0,96 ms) und die Claude-Code-Sitzung (+41,5 gegen +41,0 ms) liegen in der Spanne des jeweils anderen.
- **Request-Logs**: Mit jeder Anfrage in ClickHouse geloggt schaffte Kaeso 5.324 Anfragen pro Sekunde, 16 % weniger, und seine Datenbanken belegten 1.163 MB.

## Was jedes Gateway tat

Jedes Gateway lief so, wie sein Projekt es ausliefert, gegen den Mock im Messages-Format von Anthropic. Kaeso prüfte bei jeder Anfrage am meisten.

| Gateway | Version | Bei jeder Anfrage geprüft | Gespeichert |
| --- | ---: | ---: | ---: |
| Kaeso | Release 0.7.0 | Den API-Schlüssel eines Projekts und die Modelle, die das Projekt erlaubt | Nutzung in PostgreSQL; keine Request-Logs |
| Kaeso (Request-Logs an) | Release 0.7.0 | Den API-Schlüssel eines Projekts und die Modelle, die das Projekt erlaubt | Nutzung in PostgreSQL und jede Anfrage in ClickHouse |
| LiteLLM Rust | main bei d4e8f96, unveröffentlicht | Einen Master-Schlüssel aus seiner Konfiguration | Nichts: keine Datenbank |
| Bifrost | Release 2.6.0 | Keinen Schlüssel | Nichts: Logging und Stores aus |
| Portkey | Release 1.15.2 | Keinen Schlüssel | Nichts: Logging aus |
| LiteLLM Python | Release 1.110.2 | Einen Master-Schlüssel aus seiner Konfiguration | Nichts: keine Datenbank |

## Wie es lief

Alles, um eine Zahl zu prüfen: die Maschine, der Benchmark, jede Version und wie jeder Lauf gepaart war.

- **Maschine**: Eine DigitalOcean CPU-Optimized c-4 in Amsterdam: 4 dedizierte vCPUs (Intel Xeon Platinum 8358, 2,6 GHz), 8 GB Speicher, Ubuntu 24.04 und Docker.
- **Kerne**: Jedes Gateway lief in Docker im Host-Netzwerk, fest auf zwei Kernen. Mock, Lasttreiber und Kaesos Datenbanken liefen auf den anderen beiden.
- **Benchmark**: BerriAI/ai-gateway-bench bei 44365ca, Mock-Anbieter und Treiber unverändert: load-probe für Anfragen, run_http_bench.py für Streams und session_runner.py für Agent-Sitzungen.
- **Mock-Anbieter**: Antwortet im Messages-Format von Anthropic: das erste Token nach 20 ms, dann 40 Tokens im Abstand von 5 ms. Im Kapazitätslauf antwortet er sofort.
- **Last**: 1, 4, 16 und 64 Clients mit 1.000, 2.000, 4.000 und 16.000 Anfragen pro Runde, 200 Streams bei 16 Clients und vier Agent-Sitzungen mit je 30 Turns.
- **Runden**: 3 Runden, die Gateways in jeder Runde neu zufällig geordnet, jedes direkt nach einem direkten Lauf derselben Form gemessen. Jede Zahl ist der Median der Runden, mit ihrer Spanne.
- **CPU und Speicher**: Jeder Prozess im Container des Gateways, viermal pro Sekunde gelesen, und ebenso seine Datenbanken, daneben ausgewiesen.
- **Tag**: 22. November 2026

### Versionen

- Kaeso 0.7.0: `ghcr.io/logicplanes/kaeso-gateway:0.7.0` `sha256:3d32fd7827417e49475b4ac9ad7d25f7daed28f02fa489ef4077ff501faaae1a`
- LiteLLM Rust d4e8f96: `github.com/BerriAI/litellm@d4e8f96, litellm-gateway built with rust:1.98.0` `sha256:b80e284d93b67806511e0371456d80083d6f1d932abd723a1b31c1ed578ae122`
- Bifrost 2.6.0: `maximhq/bifrost:v2.6.0` `sha256:5968d007ba4f74ee01bc4ceb071decb9927a0b7bb43dbb9072208f75e2d522e3`
- Portkey 1.15.2: `portkeyai/gateway:1.15.2` `sha256:97f094d9c8a764cbfaa2a7138c0017b247ca923bb06db1b4c13b7f8a33b5200d`
- LiteLLM Python 1.110.2: `ghcr.io/berriai/litellm:v1.110.2` `sha256:ef798594ca3db8d81bad2e1439f536f49b71fe095ee9f20416f5e149b4e22035`

Kaesos Datenbanken: postgres:18.6-alpine, valkey/valkey:9.1.3-alpine und clickhouse/clickhouse-server:26.3.62.3-alpine.

### Gemessen vom Autor von Kaeso

Die Person, die Kaeso baut, hat diesen Benchmark gemessen: eine Maschine, drei Runden. BerriAI nennt seine eigenen veröffentlichten Ergebnisse Single-Host und vom Anbieter gemessen; das gilt hier genauso. Messen Sie selbst nach, bevor Sie sich darauf verlassen.

## Selbst messen

Auf einer frischen Linux-Maschine mit vier Kernen, als root. Das Setup installiert Docker, baut den Benchmark und LiteLLM Rust bei denselben Commits und lädt jedes Image über seinen Digest.

```bash
curl -fsSLO https://kaeso.app/benchmarks/2026-11-22/harness.tar.gz
tar -xzf harness.tar.gz
bash kaeso-gateway-bench/setup.sh
cd /root
ai-gateway-bench/.venv/bin/python run.py
ai-gateway-bench/.venv/bin/python run_capacity.py
```

Drei Runden aller Gateways dauern etwa 90 Minuten, der Kapazitätslauf weitere 30. Absolute Zahlen ändern sich von Maschine zu Maschine; vergleichen Sie Gateways aus demselben Lauf.

- [Skripte, Konfiguration und Setup](https://kaeso.app/benchmarks/2026-11-22/harness.tar.gz)
- [Alle Rohdaten und Logs](https://kaeso.app/benchmarks/2026-11-22/raw.tar.gz)
- [Die Zahlen dieser Seite als JSON](https://kaeso.app/benchmarks/2026-11-22/results.json)
- [Die Latenzmessung als CSV](https://kaeso.app/benchmarks/2026-11-22/results.csv)
