Zum Inhalt springen

Kaeso 0.7: Rerank, Batches und Entscheidungen, 23 neue Anbieter und Guardrails

Kaeso 0.7.0 ist erschienen. Apps sortieren mit Rerank neu, schicken Batches, speichern Responses und fragen Entscheidungsmodelle über das Gateway, 23 weitere Anbieter sind eingebaut, Organisationen bekommen Guardrails, SCIM, Webhooks und ihre eigene Währung, und Installationen werden schlanker und laufen auf Kubernetes. Hier steht, was sich geändert hat und wie Sie aktualisieren.

Veröffentlicht
Lesezeit
7 Min.
Autor
Kaeso Team
Ein blasser Verlauf aus Orange und Pfirsich, in sanften waagerechten Falten, mit warmem Licht in einer Ecke

Ihre Apps sprechen längst mit mehr als einem Modell. Ein Team ruft OpenAI auf, ein anderes Claude über Bedrock, ein drittes sortiert Suchergebnisse mit Cohere, und jedes hat eigene Schlüssel, eigene Rechnungen und eine eigene Vorstellung davon, was ein Protokoll ist. Kaeso ist das Open-Source-Gateway, das Sie selbst betreiben und das all das hinter eine Adresse stellt: ein Satz Schlüssel, Limits, Protokolle und Kosten, gleich welcher Anbieter antwortet.

Kaeso 0.7.0 ist erschienen, mit fast 300 Pull Requests seit 0.6.0. Es führt Kaeso über Chat und Medien hinaus zu jeder Art von Anfrage, die Apps an Modelle schicken, baut 23 weitere Anbieter ein und ergänzt, was ein ganzes Unternehmen braucht, um ein Gateway für viele Teams zu betreiben. Sehen Sie sich den Film an, 49 Sekunden, und probieren Sie dann jeden Teil selbst in der Live-Demo (öffnet in einem neuen Tab) aus.

Kaeso 0.7 in 49 Sekunden.

Mehr als Chat von Modellen verlangen

Chat ist nur ein Teil dessen, was Apps schicken. Sie sortieren auch Suchergebnisse, schicken über Nacht Tausende Anfragen und lassen Modelle entscheiden. Mit 0.7 läuft all das über Kaeso, mit denselben Schlüsseln, Limits, Protokollen und Kosten wie jede Chat-Anfrage:

  • Entscheidungen. Stellen Sie einem Modell eine typisierte Frage, Ja oder Nein, eine Auswahl, eine Bewertung oder eine Box, und bekommen Sie jede Antwort mit ihrer Wahrscheinlichkeit zurück statt eines Satzes, den Sie erst auswerten müssen. Apps nutzen die Decisions-API von OpenAI, die System-One-API von TypeSafe oder die Decisions-API von Gemini, und Kaeso übersetzt zwischen allen dreien, sodass eine App, die für eine geschrieben ist, auch die Modelle der anderen fragt.
  • Rerank unter /v1/rerank und /v2/rerank im Format von Cohere, beantwortet von den Rerank-5-Modellen von Cohere und von Voyage AI und Jina AI.
  • Batches über die Batch API von OpenAI, gegen den Schlüssel der App geprüft und zum Batch-Preis berechnet.
  • Gespeicherte Antworten: Responses-Apps speichern Antworten bei OpenAI und setzen sie fort, wo Organisation und Projekt es erlauben.
Der Playground stellt Jev 1.14 und GPT-6 Sol dieselbe Entscheidung: Erstattung ja oder nein, welches Team und wie dringend, jede Antwort mit ihren Wahrscheinlichkeiten
Abb. 01Entscheidungsmodelle im Playground: typisierte Fragen, beantwortet mit Wahrscheinlichkeiten.

Auch der Playground fragt Entscheidungsmodelle. Stellen Sie zwei nebeneinander, fragen Sie „Mein Paket kam kaputt an; ich will mein Geld zurück“, und sehen Sie auf einen Blick, welches sich sicherer ist, dass es um eine Erstattung geht, und welches Team sie übernehmen sollte.

Eine Rerank-Anfrage mit curl an /v1/rerank: eine Frage, drei Dokumente und top_n 2
Abb. 02Rerank im Format von Cohere, neben Batches und dem Helm-Chart.

50 Anbieter, jeder einen Schlüssel entfernt

Amazon Bedrock, Azure, Cloudflare AI Gateway, Standard Compute, Perplexity, TypeSafe, DeepInfra, Upstage, Volcengine Ark, IONOS AI Model Hub, Novita AI, OVHcloud AI Endpoints, StepFun, Tencent TokenHub, Venice, Baidu Qianfan, Voyage AI, Jina AI, fal, Replicate, Deepgram, Cartesia und AssemblyAI sind jetzt eingebaut, 50 insgesamt. Fügen Sie einen Schlüssel hinzu, und ihre Chat-Modelle antworten in jedem App-Format, die übrigen über die API, die sie anbieten. Ihre Apps ändern sich nicht.

Schlüssel für Bedrock können ein Bedrock-API-Schlüssel, ein AWS-Zugriffsschlüssel oder die eigene AWS-Rolle des Gateways sein und erreichen Claude, Amazon Nova und Meta Llama. Schlüssel für Azure können sich mit einem Dienstprinzipal von Microsoft Entra ID anmelden. fal und Replicate erzeugen Bilder und Videos; Deepgram und Cartesia sprechen und transkribieren, AssemblyAI transkribiert. Die Anbieterseite listet sie alle.

Der Dialog Anbieterschlüssel hinzufügen mit eingebauten Anbietern, von Cartesia, Cerebras und Cloudflare AI Gateway bis Mistral
Abb. 03Die neuen eingebauten Anbieter im Dialog Anbieterschlüssel hinzufügen.

Anfragen, die weiterlaufen

Das Ratenlimit eines Anbieters, eine abgebrochene Verbindung oder ein Modell, das nächsten Monat abgeschaltet wird, sollten nicht zum Ausfall Ihrer App werden. 0.7 fängt jedes davon im Gateway ab:

  • Schlüsselpools. Verteilen Sie ein Projekt nach Gewicht auf mehrere Schlüssel eines Anbieters. Ein Schlüssel, der abgelehnt oder ratenbegrenzt wird, tritt für den nächsten zurück.
  • Wiederholungen. Ein Schritt versucht sein Modell nach einer abgebrochenen Verbindung, einem 5xx oder einem überlasteten Anbieter erneut, bevor er scheitert oder zu seinem Fallback wechselt, und ein Stream, der vor jeder Ausgabe scheitert, wechselt zum nächsten Schritt.
  • Modelllebenszyklus. Projekte sehen, wann ihre Modelle abgeschaltet werden und wer sie noch aufruft, und wechseln mit einem Klick oder von selbst zum Nachfolger. Modelllinien wie claude-opus-latest folgen dem neuesten stabilen Modell eines Anbieters, sodass eine App ohne Deployment aktuell bleibt.
  • Header für Apps. Apps verkürzen mit kaeso-timeout, wie lange Kaeso wartet, halten mit kaeso-log-content: off den Inhalt einer Anfrage aus dem Protokoll und markieren Anfragen mit kaeso-tags; wo der Schlüssel sie sehen darf, lesen sie in kaeso-limits, was von ihren Limits und Budgets übrig ist, und in kaeso-cost, was eine nicht gestreamte Antwort gekostet hat.
Der Schlüssel OpenAI · Overflow wird dem Projekt Checkout assistant mit dem Gewicht 30 zugewiesen, neben seinen anderen Schlüsseln
Abb. 04Schlüsselpools: Ein Projekt verteilt sich nach Gewicht auf seine Schlüssel, und ein abgelehnter oder ratenbegrenzter Schlüssel tritt zurück.
gpt-5.5 als veraltet markiert, abgeschaltet in 23 Tagen: seine Daten, sein Nachfolger gpt-6-sol, die Preisänderung und eine Schaltfläche zum Umstellen
Abb. 05Modelllebenszyklus: Ein auslaufendes Modell zeigt, wer es noch aufruft und was es ersetzt.

Bereit für das ganze Unternehmen

Sobald mehr als ein Team KI nutzt, muss jemand beantworten, welche Daten das Haus verlassen, wer Zugriff hat und wer davon erfährt, wenn ein Budget aufgebraucht ist. 0.7 gibt den Antworten einen Platz in Kaeso:

  • Guardrails. Eingebaute Regeln finden Geheimnisse und personenbezogene Daten in Anfragen, einen API-Schlüssel, eine E-Mail-Adresse, eine Bestellnummer, und maskieren, blockieren oder zählen sie und können sie aus dem Anfrageprotokoll heraushalten. Maskierte Werte gehen als Platzhalter an das Modell und kommen ausgefüllt zurück, sodass die App die echte Antwort sieht. Chat-Anfragen und ihre Antworten lassen sich außerdem mit eigenen Diensten prüfen.
  • SCIM 2.0 und SSO-Gruppen. Ihr Identitätsanbieter fügt Mitglieder hinzu und entfernt sie, und Single Sign-on setzt ihre Rollen und Projekte aus seinen Gruppen, auch bei Microsoft Entra ID. Wer das Unternehmen verlässt, verlässt auch Kaeso.
  • Webhooks. Budgetwarnungen, erreichte Limits, ablaufende Schlüssel und mehr gehen, signiert als Standard Webhooks oder als Slack-Zeile, an die Systeme, die Ihr Team ohnehin beobachtet.
  • Ihre Währung. Jede Organisation wählt die Währung, in der Kaeso all ihre Beträge zeigt, Ausgaben, Preise und Budgets, zu den täglichen Referenzkursen der EZB. Darunter speichert und berechnet Kaeso weiterhin alles in US-Dollar.
  • Geteilte Links geben Lesezugriff auf Nutzung, die Zahlen eines Mitglieds, die Budgets eines Projekts oder seine Zusammenfassung, für alle, die die Zahlen brauchen, aber kein Konto.
Guardrail-Regeln an einem Beispieltext ausprobiert: Bestellnummer, E-Mail-Adresse und API-Schlüssel werden durch Platzhalter ersetzt
Abb. 06Guardrails maskieren Geheimnisse und personenbezogene Daten vor dem Modell und setzen sie in der Antwort wieder ein.
Die Bereitstellungseinstellungen der Organisation: die SCIM-Basis-URL, ihr Token und die letzte Anfrage, darunter die Gruppenregeln
Abb. 07SCIM 2.0 und SSO-Gruppen: Der Identitätsanbieter fügt Mitglieder hinzu und setzt ihre Rollen und Projekte.
Ein Webhook namens On-call mit URL, Format und Ereignissen und seinen letzten Zustellungen, jede mit 204 zugestellt
Abb. 08Webhooks: Budgetwarnungen, erreichte Limits, ablaufende Schlüssel und mehr, signiert oder als Slack-Zeile.

Jede Anfrage finden

Das Anfrageprotokoll des Projekts Checkout assistant in der Demo, gefiltert auf fehlgeschlagene Anfragen: über der Liste die häufigsten Fehler mit der Zahl der Anfragen, an denen jeder gescheitert ist, etwa ein Client, der die Verbindung geschlossen hat, und ein überlasteter AnbieterDas Anfrageprotokoll des Projekts Checkout assistant in der Demo, gefiltert auf fehlgeschlagene Anfragen: über der Liste die häufigsten Fehler mit der Zahl der Anfragen, an denen jeder gescheitert ist, etwa ein Client, der die Verbindung geschlossen hat, und ein überlasteter Anbieter
Abb. 09Das Anfrageprotokoll, gefiltert auf fehlgeschlagene Anfragen, mit den häufigsten Fehlern zuerst.

Wenn etwas schiefgeht, führt das Anfrageprotokoll Sie jetzt hin. Filtern Sie nach Alias, Fallback, Endpunkt, Kosten, dem Namen, den die App geschickt hat, Ergebnis, Cache, Dauer, Tag oder Client-App, und finden Sie Fehler an ihrer Meldung, die häufigsten oben. Öffnen Sie eine protokollierte Anfrage im Playground oder kopieren Sie sie als curl-Befehl; jede Antwort im Playground verlinkt ihren Eintrag, und die Befehlspalette öffnet eine eingefügte Anfrage-ID. Gespräche von Agenten brauchen weit weniger Platz: Das Protokoll speichert jede lange Nachricht, die eine Sitzung wiederholt, nur einmal.

Eine Konsole für jeden Bildschirm

Die Übersicht der Demo-Organisation: das laufende Kaeso 0.7.0 mit seinem Release-Artwork, ein Hinweis, dass zwei Projekte auslaufende Modelle nutzen, und die Aktivität der letzten 14 TageDie Übersicht der Demo-Organisation: das laufende Kaeso 0.7.0 mit seinem Release-Artwork, ein Hinweis, dass zwei Projekte auslaufende Modelle nutzen, und die Aktivität der letzten 14 Tage
Abb. 10Die Übersicht der Organisation unter 0.7.0, mit den Projekten, deren Modelle auslaufen.

Die Konsole übernimmt das Design von kaeso.app, und jede Seite, von den Analysen eines Projekts bis zu den Einstellungen der Instanz, passt auf ein Telefon, ein Tablet und einen breiten Bildschirm, auf Englisch, Deutsch und Chinesisch. Für Claude im Web, auf dem Desktop und auf dem Telefon hat Konto › Agenten einen Button „Zu Claude hinzufügen“, der Claudes Formular für Connectoren mit der MCP-Adresse Ihrer Installation öffnet, und das Kaeso-Plugin für Claude Code fragt bei der Installation nach dieser Adresse.

Läuft, wo Ihre Dienste laufen

Eine Installation braucht jetzt weniger Arbeitsspeicher, CPU und Speicherplatz: Das mitgelieferte ClickHouse schreibt nur noch die Diagnosedaten, die ein Betreiber liest, und das Gateway nutzt mimalloc. Anfragen nach einer Pause warten nicht mehr auf die Datenbank, und große Responses-Anfragen von Coding-Agenten werden in etwa drei Vierteln der Zeit dekodiert.

Kaeso lässt sich auf Kubernetes mit einem Helm-Chart installieren, das jedes Release neben den Images veröffentlicht, exportiert OpenTelemetry-Traces von Anfragen an Modelle und Tool-Aufrufen und meldet mehr unter /metrics, etwa laufende Anfragen und wie alt die Modelldaten sind.

Kaeso wird mit helm install aus dem Chart auf ghcr.io in Version 0.7.0 installiert, danach führt kubectl exec kaeso setup-link aus
Abb. 11Kaeso auf Kubernetes mit dem Helm-Chart.

Probieren Sie es aus

Sehen Sie es sich zuerst an: Die Live-Demo (öffnet in einem neuen Tab) läuft mit 0.7.0 und Beispieldaten, mit Entscheidungsmodellen, Guardrails, Schlüsselpools und allem anderen.

Dann betreiben Sie Ihr eigenes. Auf einem Server mit Docker installiert ein Befehl Kaeso und gibt den Link zur Einrichtung aus:

curl -fsSL https://kaeso.app/install.sh | sh

Auf Kubernetes erledigt das Helm-Chart dasselbe:

helm install kaeso oci://ghcr.io/logicplanes/charts/kaeso --version 0.7.0 \  --namespace kaeso --values values.yaml --waitkubectl --namespace kaeso exec deployment/kaeso-gateway -- kaeso setup-link

Wo Sie Kaeso betreiben vergleicht die Orte, an denen es läuft, und die Installationsanleitung (öffnet in einem neuen Tab) hat jede Option. Fügen Sie einen Anbieterschlüssel hinzu, richten Sie die Base-URL einer App auf Ihr Kaeso, und die Anfragen erscheinen im Protokoll. Sagen Sie uns, was Sie damit bauen.

Aktualisieren von 0.6

Die meisten Installationen aktualisieren sich mit einem Klick unter Instanz › Updates: Der Updater installiert 0.7.0 von 0.6.0 aus selbst, und die Datenbankmigrationen laufen von allein.

Eines sollten Sie vorher prüfen. 0.7.0 startet nicht mit drei Einstellungen, die 0.6.0 angenommen hat. Suchen Sie sie in der .env, in compose.override.yaml, in der Datei, die KAESO_CONFIG nennt, oder in den Variablen Ihrer Plattform, und korrigieren Sie jede davon, bevor Sie aktualisieren:

  • kpmr.interval (KAESO_KPMR_INTERVAL) unter 5 Minuten: Setzen Sie es auf 5m oder länger, oder entfernen Sie es für auto.
  • mcp_servers.sync_interval (KAESO_MCP_SERVERS_SYNC_INTERVAL) unter einer Minute: Setzen Sie es auf 1m oder länger, oder entfernen Sie es.
  • smtp.user (KAESO_SMTP_USER) ohne smtp.password: Ergänzen Sie KAESO_SMTP_PASSWORD, oder entfernen Sie den Benutzer, wenn Ihr Mailserver E-Mails ohne Authentifizierung annimmt.

0.6.0 hat diese Abgleiche ohnehin alle 5 Minuten und jede Minute ausgeführt, und ohne SMTP-Benutzer gehen E-Mails weiter so hinaus wie mit 0.6.0. Sind automatische Updates an, korrigieren Sie die Einstellungen jetzt, bevor das Update kommt.

So endet ein Update, das eine davon noch vorfindet:

  • Aus der Konsole oder im Update-Fenster: Es hält an, bevor es etwas umstellt, und 0.6.0 läuft weiter. Das Fortschrittsfenster zeigt Nicht eingespielt mit der Einstellung und ihrer Korrektur. Korrigieren Sie sie, übernehmen Sie sie mit docker compose up -d --wait und aktualisieren Sie erneut; ein automatisches Update versucht es im nächsten Zeitfenster wieder.
  • Mit dem Installer: Er prüft die Einstellungen, bevor er das alte Gateway anhält, gibt den Fehler aus und lässt 0.6.0 weiterlaufen.
  • Von Hand oder auf einer Plattform: Das neue Gateway hält beim Start an. Korrigieren Sie die Einstellung und führen Sie docker compose up -d --wait aus, oder deployen Sie erneut.

Upgrade auf 0.7.0 (öffnet in einem neuen Tab) in der Dokumentation hat die Einzelheiten, und das vollständige Änderungsprotokoll listet jede Änderung.

Von Kaeso Team

Auf dieser Seite

Ihr Gateway.Ihre Request-Logs.

curl -fsSLhttps://kaeso.app/install.sh | sh