Kaeso 0.7: Rerank, Batches und Entscheidungen, 23 neue Anbieter und Guardrails
Kaeso 0.7.0 ist erschienen. Apps sortieren mit Rerank neu, schicken Batches, speichern Responses und fragen Entscheidungsmodelle über das Gateway, 23 weitere Anbieter sind eingebaut, Organisationen bekommen Guardrails, SCIM, Webhooks und ihre eigene Währung, und Installationen werden schlanker und laufen auf Kubernetes. Hier steht, was sich geändert hat und wie Sie aktualisieren.
- Veröffentlicht
- Lesezeit
- 7 Min.
- Autor
- Kaeso Team

Ihre Apps sprechen längst mit mehr als einem Modell. Ein Team ruft OpenAI auf, ein anderes Claude über Bedrock, ein drittes sortiert Suchergebnisse mit Cohere, und jedes hat eigene Schlüssel, eigene Rechnungen und eine eigene Vorstellung davon, was ein Protokoll ist. Kaeso ist das Open-Source-Gateway, das Sie selbst betreiben und das all das hinter eine Adresse stellt: ein Satz Schlüssel, Limits, Protokolle und Kosten, gleich welcher Anbieter antwortet.
Kaeso 0.7.0 ist erschienen, mit fast 300 Pull Requests seit 0.6.0. Es führt Kaeso über Chat und Medien hinaus zu jeder Art von Anfrage, die Apps an Modelle schicken, baut 23 weitere Anbieter ein und ergänzt, was ein ganzes Unternehmen braucht, um ein Gateway für viele Teams zu betreiben. Sehen Sie sich den Film an, 49 Sekunden, und probieren Sie dann jeden Teil selbst in der Live-Demo (öffnet in einem neuen Tab) aus.
Mehr als Chat von Modellen verlangen01
Chat ist nur ein Teil dessen, was Apps schicken. Sie sortieren auch Suchergebnisse, schicken über Nacht Tausende Anfragen und lassen Modelle entscheiden. Mit 0.7 läuft all das über Kaeso, mit denselben Schlüsseln, Limits, Protokollen und Kosten wie jede Chat-Anfrage:
- Entscheidungen. Stellen Sie einem Modell eine typisierte Frage, Ja oder Nein, eine Auswahl, eine Bewertung oder eine Box, und bekommen Sie jede Antwort mit ihrer Wahrscheinlichkeit zurück statt eines Satzes, den Sie erst auswerten müssen. Apps nutzen die Decisions-API von OpenAI, die System-One-API von TypeSafe oder die Decisions-API von Gemini, und Kaeso übersetzt zwischen allen dreien, sodass eine App, die für eine geschrieben ist, auch die Modelle der anderen fragt.
- Rerank unter
/v1/rerankund/v2/rerankim Format von Cohere, beantwortet von den Rerank-5-Modellen von Cohere und von Voyage AI und Jina AI. - Batches über die Batch API von OpenAI, gegen den Schlüssel der App geprüft und zum Batch-Preis berechnet.
- Gespeicherte Antworten: Responses-Apps speichern Antworten bei OpenAI und setzen sie fort, wo Organisation und Projekt es erlauben.

Auch der Playground fragt Entscheidungsmodelle. Stellen Sie zwei nebeneinander, fragen Sie „Mein Paket kam kaputt an; ich will mein Geld zurück“, und sehen Sie auf einen Blick, welches sich sicherer ist, dass es um eine Erstattung geht, und welches Team sie übernehmen sollte.

50 Anbieter, jeder einen Schlüssel entfernt02
Amazon Bedrock, Azure, Cloudflare AI Gateway, Standard Compute, Perplexity, TypeSafe, DeepInfra, Upstage, Volcengine Ark, IONOS AI Model Hub, Novita AI, OVHcloud AI Endpoints, StepFun, Tencent TokenHub, Venice, Baidu Qianfan, Voyage AI, Jina AI, fal, Replicate, Deepgram, Cartesia und AssemblyAI sind jetzt eingebaut, 50 insgesamt. Fügen Sie einen Schlüssel hinzu, und ihre Chat-Modelle antworten in jedem App-Format, die übrigen über die API, die sie anbieten. Ihre Apps ändern sich nicht.
Schlüssel für Bedrock können ein Bedrock-API-Schlüssel, ein AWS-Zugriffsschlüssel oder die eigene AWS-Rolle des Gateways sein und erreichen Claude, Amazon Nova und Meta Llama. Schlüssel für Azure können sich mit einem Dienstprinzipal von Microsoft Entra ID anmelden. fal und Replicate erzeugen Bilder und Videos; Deepgram und Cartesia sprechen und transkribieren, AssemblyAI transkribiert. Die Anbieterseite listet sie alle.

Anfragen, die weiterlaufen03
Das Ratenlimit eines Anbieters, eine abgebrochene Verbindung oder ein Modell, das nächsten Monat abgeschaltet wird, sollten nicht zum Ausfall Ihrer App werden. 0.7 fängt jedes davon im Gateway ab:
- Schlüsselpools. Verteilen Sie ein Projekt nach Gewicht auf mehrere Schlüssel eines Anbieters. Ein Schlüssel, der abgelehnt oder ratenbegrenzt wird, tritt für den nächsten zurück.
- Wiederholungen. Ein Schritt versucht sein Modell nach einer abgebrochenen Verbindung, einem 5xx oder einem überlasteten Anbieter erneut, bevor er scheitert oder zu seinem Fallback wechselt, und ein Stream, der vor jeder Ausgabe scheitert, wechselt zum nächsten Schritt.
- Modelllebenszyklus. Projekte sehen, wann ihre Modelle abgeschaltet werden und wer sie noch aufruft, und wechseln mit einem Klick oder von selbst zum Nachfolger. Modelllinien wie
claude-opus-latestfolgen dem neuesten stabilen Modell eines Anbieters, sodass eine App ohne Deployment aktuell bleibt. - Header für Apps. Apps verkürzen mit
kaeso-timeout, wie lange Kaeso wartet, halten mitkaeso-log-content: offden Inhalt einer Anfrage aus dem Protokoll und markieren Anfragen mitkaeso-tags; wo der Schlüssel sie sehen darf, lesen sie inkaeso-limits, was von ihren Limits und Budgets übrig ist, und inkaeso-cost, was eine nicht gestreamte Antwort gekostet hat.


Bereit für das ganze Unternehmen04
Sobald mehr als ein Team KI nutzt, muss jemand beantworten, welche Daten das Haus verlassen, wer Zugriff hat und wer davon erfährt, wenn ein Budget aufgebraucht ist. 0.7 gibt den Antworten einen Platz in Kaeso:
- Guardrails. Eingebaute Regeln finden Geheimnisse und personenbezogene Daten in Anfragen, einen API-Schlüssel, eine E-Mail-Adresse, eine Bestellnummer, und maskieren, blockieren oder zählen sie und können sie aus dem Anfrageprotokoll heraushalten. Maskierte Werte gehen als Platzhalter an das Modell und kommen ausgefüllt zurück, sodass die App die echte Antwort sieht. Chat-Anfragen und ihre Antworten lassen sich außerdem mit eigenen Diensten prüfen.
- SCIM 2.0 und SSO-Gruppen. Ihr Identitätsanbieter fügt Mitglieder hinzu und entfernt sie, und Single Sign-on setzt ihre Rollen und Projekte aus seinen Gruppen, auch bei Microsoft Entra ID. Wer das Unternehmen verlässt, verlässt auch Kaeso.
- Webhooks. Budgetwarnungen, erreichte Limits, ablaufende Schlüssel und mehr gehen, signiert als Standard Webhooks oder als Slack-Zeile, an die Systeme, die Ihr Team ohnehin beobachtet.
- Ihre Währung. Jede Organisation wählt die Währung, in der Kaeso all ihre Beträge zeigt, Ausgaben, Preise und Budgets, zu den täglichen Referenzkursen der EZB. Darunter speichert und berechnet Kaeso weiterhin alles in US-Dollar.
- Geteilte Links geben Lesezugriff auf Nutzung, die Zahlen eines Mitglieds, die Budgets eines Projekts oder seine Zusammenfassung, für alle, die die Zahlen brauchen, aber kein Konto.



Jede Anfrage finden05


Wenn etwas schiefgeht, führt das Anfrageprotokoll Sie jetzt hin. Filtern Sie nach Alias, Fallback, Endpunkt, Kosten, dem Namen, den die App geschickt hat, Ergebnis, Cache, Dauer, Tag oder Client-App, und finden Sie Fehler an ihrer Meldung, die häufigsten oben. Öffnen Sie eine protokollierte Anfrage im Playground oder kopieren Sie sie als curl-Befehl; jede Antwort im Playground verlinkt ihren Eintrag, und die Befehlspalette öffnet eine eingefügte Anfrage-ID. Gespräche von Agenten brauchen weit weniger Platz: Das Protokoll speichert jede lange Nachricht, die eine Sitzung wiederholt, nur einmal.
Eine Konsole für jeden Bildschirm06


Die Konsole übernimmt das Design von kaeso.app, und jede Seite, von den Analysen eines Projekts bis zu den Einstellungen der Instanz, passt auf ein Telefon, ein Tablet und einen breiten Bildschirm, auf Englisch, Deutsch und Chinesisch. Für Claude im Web, auf dem Desktop und auf dem Telefon hat Konto › Agenten einen Button „Zu Claude hinzufügen“, der Claudes Formular für Connectoren mit der MCP-Adresse Ihrer Installation öffnet, und das Kaeso-Plugin für Claude Code fragt bei der Installation nach dieser Adresse.
Läuft, wo Ihre Dienste laufen07
Eine Installation braucht jetzt weniger Arbeitsspeicher, CPU und Speicherplatz: Das mitgelieferte ClickHouse schreibt nur noch die Diagnosedaten, die ein Betreiber liest, und das Gateway nutzt mimalloc. Anfragen nach einer Pause warten nicht mehr auf die Datenbank, und große Responses-Anfragen von Coding-Agenten werden in etwa drei Vierteln der Zeit dekodiert.
Kaeso lässt sich auf Kubernetes mit einem Helm-Chart installieren, das jedes Release neben den Images veröffentlicht, exportiert OpenTelemetry-Traces von Anfragen an Modelle und Tool-Aufrufen und meldet mehr unter /metrics, etwa laufende Anfragen und wie alt die Modelldaten sind.

Probieren Sie es aus08
Sehen Sie es sich zuerst an: Die Live-Demo (öffnet in einem neuen Tab) läuft mit 0.7.0 und Beispieldaten, mit Entscheidungsmodellen, Guardrails, Schlüsselpools und allem anderen.
Dann betreiben Sie Ihr eigenes. Auf einem Server mit Docker installiert ein Befehl Kaeso und gibt den Link zur Einrichtung aus:
curl -fsSL https://kaeso.app/install.sh | shAuf Kubernetes erledigt das Helm-Chart dasselbe:
helm install kaeso oci://ghcr.io/logicplanes/charts/kaeso --version 0.7.0 \ --namespace kaeso --values values.yaml --waitkubectl --namespace kaeso exec deployment/kaeso-gateway -- kaeso setup-linkWo Sie Kaeso betreiben vergleicht die Orte, an denen es läuft, und die Installationsanleitung (öffnet in einem neuen Tab) hat jede Option. Fügen Sie einen Anbieterschlüssel hinzu, richten Sie die Base-URL einer App auf Ihr Kaeso, und die Anfragen erscheinen im Protokoll. Sagen Sie uns, was Sie damit bauen.
Aktualisieren von 0.609
Die meisten Installationen aktualisieren sich mit einem Klick unter Instanz › Updates: Der Updater installiert 0.7.0 von 0.6.0 aus selbst, und die Datenbankmigrationen laufen von allein.
Eines sollten Sie vorher prüfen. 0.7.0 startet nicht mit drei Einstellungen, die 0.6.0 angenommen hat. Suchen Sie sie in der .env, in compose.override.yaml, in der Datei, die KAESO_CONFIG nennt, oder in den Variablen Ihrer Plattform, und korrigieren Sie jede davon, bevor Sie aktualisieren:
kpmr.interval(KAESO_KPMR_INTERVAL) unter 5 Minuten: Setzen Sie es auf5moder länger, oder entfernen Sie es fürauto.mcp_servers.sync_interval(KAESO_MCP_SERVERS_SYNC_INTERVAL) unter einer Minute: Setzen Sie es auf1moder länger, oder entfernen Sie es.smtp.user(KAESO_SMTP_USER) ohnesmtp.password: Ergänzen SieKAESO_SMTP_PASSWORD, oder entfernen Sie den Benutzer, wenn Ihr Mailserver E-Mails ohne Authentifizierung annimmt.
0.6.0 hat diese Abgleiche ohnehin alle 5 Minuten und jede Minute ausgeführt, und ohne SMTP-Benutzer gehen E-Mails weiter so hinaus wie mit 0.6.0. Sind automatische Updates an, korrigieren Sie die Einstellungen jetzt, bevor das Update kommt.
So endet ein Update, das eine davon noch vorfindet:
- Aus der Konsole oder im Update-Fenster: Es hält an, bevor es etwas umstellt, und 0.6.0 läuft weiter. Das Fortschrittsfenster zeigt Nicht eingespielt mit der Einstellung und ihrer Korrektur. Korrigieren Sie sie, übernehmen Sie sie mit
docker compose up -d --waitund aktualisieren Sie erneut; ein automatisches Update versucht es im nächsten Zeitfenster wieder. - Mit dem Installer: Er prüft die Einstellungen, bevor er das alte Gateway anhält, gibt den Fehler aus und lässt 0.6.0 weiterlaufen.
- Von Hand oder auf einer Plattform: Das neue Gateway hält beim Start an. Korrigieren Sie die Einstellung und führen Sie
docker compose up -d --waitaus, oder deployen Sie erneut.
Upgrade auf 0.7.0 (öffnet in einem neuen Tab) in der Dokumentation hat die Einzelheiten, und das vollständige Änderungsprotokoll listet jede Änderung.
Von Kaeso Team


