Zum Inhalt springen

Bilder, Sprache und Video über dasselbe Gateway wie Chat

Mit Kaeso 0.6.0 erzeugen Apps Bilder, Sprache, Transkripte, Video, Musik und Soundeffekte über die SDKs von OpenAI und ElevenLabs, die sie bereits nutzen, mit den Schlüsseln, Limits, Protokollen und Kosten von Kaeso. Was funktioniert, bei welchen Anbietern, und wie es im Code aussieht.

Veröffentlicht
Lesezeit
3 Min.
Autor
Kaeso Team
Ein tiefer Verlauf aus Koralle und Rosa, diagonal ansteigend gefaltet

Die meisten Teams, die ein Gateway vor ihre Sprachmodelle stellen, schicken alles andere noch daran vorbei. Bildgenerierung geht direkt an einen Anbieter, Sprache an einen anderen, Transkription an einen dritten, jeder mit seinem eigenen Schlüssel in der Umgebung der App, seiner eigenen Rechnung und ohne gemeinsames Limit. Wenn ein Schlüssel durchsickert oder ein Budget ausgeht, sieht es niemand an einer Stelle.

Kaeso 0.6.0 holt diesen Verkehr ins Gateway. Apps erzeugen Bilder, Sprache, Transkripte, Video, Musik und Soundeffekte über Kaeso, mit den offiziellen SDKs, und jede Anfrage bekommt dieselben Schlüssel, Aliasse, Limits, Budgets, Protokolle und Kosten wie eine Chat-Completion.

Dieselbe Basis-URL, derselbe Schlüssel

Nichts Neues zu lernen: Richten Sie das OpenAI-SDK auf Kaeso, wie für Chat, und rufen Sie seine Medienmethoden auf.

import base64, osfrom openai import OpenAI client = OpenAI(base_url="https://kaeso.example.com/v1", api_key=os.environ["KAESO_API_KEY"]) image = client.images.generate(    model="gpt-image-2",    prompt="A lighthouse at dusk, watercolor",    size="1024x1024",)with open("lighthouse.png", "wb") as f:    f.write(base64.b64decode(image.data[0].b64_json))

Kaeso sendet die Anfrage in der eigenen Form des Anbieters an den Anbieter des Modells, und die Antwort kommt in der Form von OpenAI zurück. Das Modell muss nur im Katalog des Projekts sein; jeder Modellname und jeder Alias funktioniert, wie bei jedem anderen Endpunkt.

Was Apps erzeugen können

  • Bilder
    API
    OpenAI Images: Generierungen, Bearbeitungen, gestreamte Teilbilder
    Anbieter
    OpenAI, SpaceX, Google, OpenRouter, Vercel, Together AI, QwenCloud, Zhipu AI, MiniMax, ElevenLabs
  • Sprache
    API
    OpenAI Audio: Sprache, auf Wunsch als Ereignisse gestreamt
    Anbieter
    Jeder eingebaute Anbieter, der sie anbietet
  • Transkripte und Übersetzungen
    API
    OpenAI Audio: Transkriptionen, Übersetzungen
    Anbieter
    Jeder eingebaute Anbieter, der sie anbietet
  • Video
    API
    OpenAI Videos: erstellen, abfragen, herunterladen, remixen
    Anbieter
    SpaceX, Google AI Studio, Gemini Enterprise Agent Platform, MiniMax, Zhipu AI, OpenRouter, Together AI, QwenCloud, ElevenLabs
  • Musik, Soundeffekte, Stimmwechsel
    API
    Die eigenen SDKs von ElevenLabs
    Anbieter
    ElevenLabs, und für Soundeffekte Qwen-Audio-TTS-Next von QwenCloud

Die Seite APIs nach Anbieter (öffnet in einem neuen Tab) in den Docs zeigt genau, welche API welchen Anbieter erreicht, und sagt, warum, wo eine abgelehnt wird. Eine Anfrage, die ein Anbieter nicht annehmen kann, wird abgelehnt, bevor etwas gesendet wird.

Sprache und Transkripte

with client.audio.speech.with_streaming_response.create(    model="gpt-4o-mini-tts",    voice="coral",    input="Your order shipped today.",) as response:    response.stream_to_file("speech.mp3") with open("meeting.mp3", "rb") as audio:    transcript = client.audio.transcriptions.create(model="whisper-1", file=audio)print(transcript.text)

Sprache wird an die App gesendet, während sie entsteht. Transkripte und der Stimmwechsel von ElevenLabs werden nach der Länge abgerechnet, die ihre Datei angibt, wenn der Anbieter keine meldet, sodass ein Transkript nie versehentlich als kostenlos erscheint.

Video-Aufträge

Videogenerierung dauert Minuten, also läuft sie als Auftrag. Kaeso startet den Auftrag beim Anbieter, verfolgt ihn unter einer eigenen ID, fragt den Anbieter, solange er läuft, streamt die fertige Datei und rechnet den Auftrag einmal ab, wenn er endet.

video = client.videos.create_and_poll(    model="grok-imagine-video-1.5",    prompt="A lighthouse at dusk, waves rolling in",    seconds="8",    size="1280x720",)if video.status == "completed":    client.videos.download_content(video.id).write_to_file("lighthouse.mp4")

Ein Schlüssel, der auf einige Modelle beschränkt ist, sieht nur die Videos und Bilder, die mit diesen Modellen erzeugt wurden, und Video-Abfragen zählen gegen seine Ratenlimits.

Apps für ElevenLabs

Apps, die mit den offiziellen elevenlabs-SDKs geschrieben sind, behalten ihren Code und ändern zwei Werte: die Basis-URL und den Schlüssel.

from elevenlabs import ElevenLabs client = ElevenLabs(base_url="https://kaeso.example.com", api_key=os.environ["KAESO_API_KEY"])audio = client.text_to_speech.convert(    voice_id="21m00Tcm4TlvDq8ikWAM",    text="Your order shipped today.",    model_id="eleven_flash_v2_5",)

Sprache, Stimmwechsel, Soundeffekte, Musik, Transkription und Bilder funktionieren, ebenso die Echtzeitsitzungen von ElevenLabs für Sprache und Transkription über WebSocket. Weil Kaeso jede Anfrage an den Anbieter des Modells sendet, kann eine ElevenLabs-App auch die Sprach- und Transkriptionsmodelle anderer Anbieter erreichen. Wenn Sie Kaeso hinter einem eigenen Proxy betreiben, leiten Sie /v2/ an das Gateway und lassen Sie WebSocket-Upgrades durch.

Medien im Chat

Auch Chat-Anfragen tragen Medien. Apps senden Audio und Video an jeden Anbieter, der sie annimmt, aus jedem API-Format. Chat-Completions- und Gemini-Apps bekommen Audioantworten von den Modellen der jeweils anderen, und Bilder, die Gemini-Modelle erzeugen, erreichen Gemini-Apps. Ein Format oder Anbieter, der für etwas keinen Platz hat, lehnt ab, bevor etwas gesendet wird, statt es still fallen zu lassen.

Kosten, die Sie lesen können

Jede Medienanfrage landet im Anfrageprotokoll mit dem, was sie erzeugt hat: einem Bild und seiner Größe, den gesprochenen Zeichen, den Sekunden Audio oder Video. Nutzung und Kosten zählen sie neben Chat. Kosten, die Kaeso nicht bepreisen kann, erscheinen als Unbekannt, nie als 0 $, sodass ein fehlender Preis keine Ausgaben verbirgt. Budgets und Ratenlimits gelten für Medienanfragen genau wie für Chat.

Standardmäßig halten Anfrageprotokolle Typ und Größe von Bildern, Audio und Dateien fest, nicht die Dateien selbst. Schalten Sie Medien aufbewahren für eine Organisation oder ein Projekt ein, und die Protokolle bewahren sie ebenfalls auf, bis zu 10 MiB pro Anfrage, und der Log-Inspektor zeigt sie, spielt sie ab und lädt sie herunter. Die Einstellung der Organisation ist die Obergrenze für ihre Projekte.

Jedes Modell im Playground ausprobieren

Der Playground der Konsole probiert jede Art von Modell nebeneinander mit einem Prompt aus: Chat, Bilder, Sprache, Soundeffekte, Musik, Transkription mit aufgenommenem oder angehängtem Audio, und Video mit Fortschritt und Abbrechen. So vergleichen Sie am schnellsten zwei Bildmodelle oder zwei Stimmen, bevor Sie Code schreiben. Die Live-Demo (öffnet in einem neuen Tab) zeigt den Playground mit Beispieldaten.

Medien sind eine der größeren Neuerungen von Kaeso 0.6. Die Docs zur Bilder- (öffnet in einem neuen Tab), Audio- (öffnet in einem neuen Tab), Videos- (öffnet in einem neuen Tab) und ElevenLabs-API (öffnet in einem neuen Tab) haben jeden Endpunkt und jeden Parameter.

Von Kaeso Team

Auf dieser Seite

Ihr Gateway.Ihre Request-Logs.

curl -fsSLhttps://kaeso.app/install.sh | sh