Zum Inhalt springen

Fallbacks, Bedingungen und Aufteilungen mit Alias-Routen

In Kaeso 0.6.0 hält ein Alias eine Route. Weichen Sie auf ein anderes Modell aus, wenn eines scheitert, schicken Sie Enterprise-Verkehr oder lange Prompts woandershin, und testen Sie zwei Modelle per A/B-Test nach Aufrufer, alles ohne eine Zeile in Ihrer App zu ändern.

Veröffentlicht
Lesezeit
4 Min.
Autor
Kaeso Team
Ein heller Verlauf aus Orange und Gelb, diagonal abfallend gefaltet, mit warmem Licht in einer Ecke

Eine App nennt in jeder Anfrage ein Modell, und dieser Name bleibt oft im Code, lange nachdem sich das Modell dahinter hätte ändern sollen. Die Aliasse von Kaeso haben dabei schon immer geholfen: Die App sendet support, und das Projekt entscheidet, welches Modell antwortet.

In 0.6.0 hält ein Alias eine ganze Route. Er kann auf ein anderes Modell ausweichen, wenn eines scheitert, einige Anfragen in eine Richtung schicken und den Rest in eine andere, und den Verkehr nach Gewicht auf Modelle aufteilen. Die App sendet weiterhin nur "model": "support".

Drei Arten von Schritten

Eine Route ist ein Baum aus Schritten. Eine Route aus einem Modell ist der Alias, wie er immer war.

SchrittWas er tut
ModellRuft ein Modell aus dem Katalog des Projekts auf. Sein Fallback, ein Schritt beliebiger Art, übernimmt, wenn das Modell aus einem Grund scheitert, den der Schritt nennt
BedingungNimmt then, wenn ihre Regeln für die Anfrage gelten, sonst else
AufteilungSchickt jede Anfrage in einen von 2 bis 8 Zweigen, nach Gewichten, die zusammen 100 ergeben

Eine Route hat höchstens 32 Schritte und ist höchstens 12 Schritte tief, und jedes Modell, das sie nennt, muss im Katalog des Projekts sein.

Fallbacks

Scheitert ein Modellschritt, wechselt Kaeso zu seinem Fallback, wenn fall_back_on des Schritts den Grund nennt:

GrundFehler
unavailableDer Anbieter ist nicht erreichbar, antwortet nicht rechtzeitig, ist überlastet oder antwortet mit 5xx; er lehnt den Schlüssel des Projekts ab oder bedient das Modell nicht
limitedDas Ratenlimit oder Kontingent des Anbieters, oder ein Kaeso-Limit oder -Budget für das Modell des Schritts
unsupportedDas Modell kann etwas nicht annehmen, das die Anfrage nutzt, etwa Bilder, PDFs, Tools oder ein JSON-Schema. Kaeso weiß das aus dem Katalog, bevor es etwas sendet
rejectedDer Anbieter lehnt die Anfrage selbst ab, etwa wegen eines zu langen Kontexts

Ein Schritt weicht bei den ersten drei aus, wenn er keine anderen nennt. Nehmen Sie rejected nur für einen Fallback auf, der annehmen kann, was das erste Modell ablehnte, etwa ein Modell mit längerem Kontext. timeout_seconds eines Schritts legt fest, wie lange Kaeso auf das erste Byte wartet, bevor es weitergeht.

Sobald der Anbieter zu antworten begonnen hat, weicht nichts mehr aus: Ein Stream, der später abbricht, endet mit einem Fehlerereignis, wie ohne Route.

Fehler, die anhalten, werden übersprungen

Ein abgelehnter Schlüssel, ein leeres Guthaben oder ein Ratenlimit behebt sich nicht in der nächsten Sekunde. Scheitert ein Schritt aus einem Grund, der anhält, überspringen spätere Anfragen ihn eine Weile und gehen direkt zum nächsten Schritt: 5 Minuten bei einem abgelehnten Schlüssel oder einem leeren Guthaben, so lange, wie Retry-After sagt, bei einem Ratenlimit, 30 Sekunden bei einer Zeitüberschreitung oder einer 5xx-Antwort. Eine Antwort des Modells beendet das Warten. Alle Gateways einer Installation teilen dies über Valkey, sodass einen Schritt, den ein Gateway scheitern sah, alle überspringen.

Bedingungen

Eine Bedingung liest Angaben über die Anfrage, mit 1 bis 10 Regeln, verknüpft durch all oder any:

  • Ein Header ist gleich einem Wert, enthält ihn, ist vorhanden oder fehlt. Senden Sie x-plan: enterprise aus Ihrer App, und leiten Sie zahlende Kunden an ein größeres Modell.
  • Das Format der App, etwa anthropic_messages oder gemini.
  • Eine Funktion, die die Anfrage nutzt: Bilder, PDFs, Tools, Reasoning, strukturierte Ausgabe oder Streaming.
  • Eingabe-Tokens, mindestens oder unter einer Zahl, um lange Prompts an ein Modell mit längerem Kontext zu schicken.
  • Der Aufrufer: der API-Schlüssel, das Mitglied oder das Dienstkonto, das sie sendete.

Routen lesen nie Header, die Zugangsdaten tragen, etwa authorization oder x-api-key.

Aufteilungen

Eine Aufteilung zieht für jede Anfrage eine Zahl und nimmt den Zweig, dessen Gewicht sie abdeckt. Wie sie zieht, entscheidet, wofür die Aufteilung gut ist:

  • by: request zieht jedes Mal neu, um Last zu verteilen.
  • by: caller hält jeden API-Schlüssel, jedes Mitglied und jedes Dienstkonto auf einem Zweig. Nutzen Sie das für A/B-Tests, damit eine App ein Modell sieht. Eine spätere Änderung der Gewichte verschiebt nur die Aufrufer, deren Zahl eine neue Grenze überschreitet.
  • by: header hält jeden Wert eines Headers auf einem Zweig, etwa von x-user-id, sodass jeder Ihrer Nutzer hinter einem einzigen API-Schlüssel ein Modell sieht.

Eine Route, von oben nach unten gelesen

Die Live-Demo (öffnet in einem neuen Tab) hat einen Alias support, der alle drei in einer Route zeigt. Anfragen mit x-plan: enterprise oder mit mindestens 100.000 Eingabe-Tokens gehen an Claude Sonnet 5.5, mit GPT-6 Sol als Fallback. Jede andere Anfrage wird nach Aufrufer aufgeteilt: Etwa vier von fünf bekommen Claude Haiku 5.5 mit GPT-5.4 mini als Fallback, die übrigen GPT-5.4 mini.

Die Route des Alias support im Editor: Eine Bedingung auf x-plan schickt Enterprise-Anfragen an Claude Sonnet 5.5 mit GPT-6 Sol als Fallback, eine Aufteilung nach Aufrufer schickt die übrigen an Claude Haiku 5.5 oder GPT-5.4 miniDie Route des Alias support im Editor: Eine Bedingung auf x-plan schickt Enterprise-Anfragen an Claude Sonnet 5.5 mit GPT-6 Sol als Fallback, eine Aufteilung nach Aufrufer schickt die übrigen an Claude Haiku 5.5 oder GPT-5.4 mini
Abb. 01Der Alias support in der Demo: eine Bedingung, eine Aufteilung nach Aufrufer und Fallbacks.

In der Konsole bauen und testen

Öffnen Sie in einem Projekt Modelle › Aliasse und erstellen Sie einen Alias, oder öffnen Sie einen. Der Routen-Editor ist eine ganze Seite: Beginnen Sie mit einer seiner Vorlagen, oder bauen Sie den Baum Schritt für Schritt. Sein Tab Testen schickt eine Anfrage durch den Entwurf, bevor Sie ihn speichern, und färbt jeden Schritt nach seiner Antwort. Ein Probelauf zeigt jede Bedingung mit den Regeln, die zutrafen, die Zahl, die jede Aufteilung zog, und den Zweig, den sie nahm, und jedes Modell, das die Anfrage der Reihe nach versuchen würde.

Derselbe Probelauf steht in der Plattform-API, sodass ein Skript oder ein CI-Job eine Route prüfen kann, bevor sie live geht, und Agenten bekommen ihn als lesendes Tool über MCP.

Was Apps und Protokolle sehen

  • kaeso-model und kaeso-provider nennen den Schritt, der antwortete.
  • kaeso-route nennt jeden Schritt, den die Anfrage erreichte, der Reihe nach, mit Modell, Status und Zeit: "route";model="anthropic/claude-sonnet-5-5";status=529;dur=1204, "route.fallback";model="openai/gpt-6-sol";status=200.
  • Das Anfrageprotokoll hält den Alias als angefragtes Modell fest und listet jeden versuchten oder übersprungenen Schritt mit Status und Fehler.
  • Nutzung und Kosten sind die des antwortenden Schritts. Gescheiterte Schritte kosten in Kaeso nichts, und ein Schritt, der scheitert, gibt zurück, was er von einem Budget hielt, bevor der nächste fragt.
  • kaeso_alias_fallbacks_total{provider, reason} zählt Fallbacks und übersprungene Schritte für Ihre Dashboards.

Ein Schlüssel, der das Modell eines Schritts nicht nutzen darf, überspringt den Schritt, ohne den Namen des Modells zu erfahren, sodass ein eingeschränkter Schlüssel nichts über die Route erfährt.

Nächste Schritte

Von Kaeso Team

Auf dieser Seite

Ihr Gateway.Ihre Request-Logs.

curl -fsSLhttps://kaeso.app/install.sh | sh