Bilder, Sprache und Video über dasselbe Gateway wie Chat
Mit Kaeso 0.6.0 erzeugen Apps Bilder, Sprache, Transkripte, Video, Musik und Soundeffekte über die SDKs von OpenAI und ElevenLabs, die sie bereits nutzen, mit den Schlüsseln, Limits, Protokollen und Kosten von Kaeso. Was funktioniert, bei welchen Anbietern, und wie es im Code aussieht.
- Veröffentlicht
- Lesezeit
- 3 Min.
- Autor
- Kaeso Team

Die meisten Teams, die ein Gateway vor ihre Sprachmodelle stellen, schicken alles andere noch daran vorbei. Bildgenerierung geht direkt an einen Anbieter, Sprache an einen anderen, Transkription an einen dritten, jeder mit seinem eigenen Schlüssel in der Umgebung der App, seiner eigenen Rechnung und ohne gemeinsames Limit. Wenn ein Schlüssel durchsickert oder ein Budget ausgeht, sieht es niemand an einer Stelle.
Kaeso 0.6.0 holt diesen Verkehr ins Gateway. Apps erzeugen Bilder, Sprache, Transkripte, Video, Musik und Soundeffekte über Kaeso, mit den offiziellen SDKs, und jede Anfrage bekommt dieselben Schlüssel, Aliasse, Limits, Budgets, Protokolle und Kosten wie eine Chat-Completion.
Dieselbe Basis-URL, derselbe Schlüssel01
Nichts Neues zu lernen: Richten Sie das OpenAI-SDK auf Kaeso, wie für Chat, und rufen Sie seine Medienmethoden auf.
import base64, osfrom openai import OpenAI client = OpenAI(base_url="https://kaeso.example.com/v1", api_key=os.environ["KAESO_API_KEY"]) image = client.images.generate( model="gpt-image-2", prompt="A lighthouse at dusk, watercolor", size="1024x1024",)with open("lighthouse.png", "wb") as f: f.write(base64.b64decode(image.data[0].b64_json))Kaeso sendet die Anfrage in der eigenen Form des Anbieters an den Anbieter des Modells, und die Antwort kommt in der Form von OpenAI zurück. Das Modell muss nur im Katalog des Projekts sein; jeder Modellname und jeder Alias funktioniert, wie bei jedem anderen Endpunkt.
Was Apps erzeugen können02
- Bilder
- API
- OpenAI Images: Generierungen, Bearbeitungen, gestreamte Teilbilder
- Anbieter
- OpenAI, SpaceX, Google, OpenRouter, Vercel, Together AI, QwenCloud, Zhipu AI, MiniMax, ElevenLabs
- Sprache
- API
- OpenAI Audio: Sprache, auf Wunsch als Ereignisse gestreamt
- Anbieter
- Jeder eingebaute Anbieter, der sie anbietet
- Transkripte und Übersetzungen
- API
- OpenAI Audio: Transkriptionen, Übersetzungen
- Anbieter
- Jeder eingebaute Anbieter, der sie anbietet
- Video
- API
- OpenAI Videos: erstellen, abfragen, herunterladen, remixen
- Anbieter
- SpaceX, Google AI Studio, Gemini Enterprise Agent Platform, MiniMax, Zhipu AI, OpenRouter, Together AI, QwenCloud, ElevenLabs
- Musik, Soundeffekte, Stimmwechsel
- API
- Die eigenen SDKs von ElevenLabs
- Anbieter
- ElevenLabs, und für Soundeffekte Qwen-Audio-TTS-Next von QwenCloud
| Art | API | Anbieter |
|---|---|---|
| Bilder | OpenAI Images: Generierungen, Bearbeitungen, gestreamte Teilbilder | OpenAI, SpaceX, Google, OpenRouter, Vercel, Together AI, QwenCloud, Zhipu AI, MiniMax, ElevenLabs |
| Sprache | OpenAI Audio: Sprache, auf Wunsch als Ereignisse gestreamt | Jeder eingebaute Anbieter, der sie anbietet |
| Transkripte und Übersetzungen | OpenAI Audio: Transkriptionen, Übersetzungen | Jeder eingebaute Anbieter, der sie anbietet |
| Video | OpenAI Videos: erstellen, abfragen, herunterladen, remixen | SpaceX, Google AI Studio, Gemini Enterprise Agent Platform, MiniMax, Zhipu AI, OpenRouter, Together AI, QwenCloud, ElevenLabs |
| Musik, Soundeffekte, Stimmwechsel | Die eigenen SDKs von ElevenLabs | ElevenLabs, und für Soundeffekte Qwen-Audio-TTS-Next von QwenCloud |
Die Seite APIs nach Anbieter (öffnet in einem neuen Tab) in den Docs zeigt genau, welche API welchen Anbieter erreicht, und sagt, warum, wo eine abgelehnt wird. Eine Anfrage, die ein Anbieter nicht annehmen kann, wird abgelehnt, bevor etwas gesendet wird.
Sprache und Transkripte03
with client.audio.speech.with_streaming_response.create( model="gpt-4o-mini-tts", voice="coral", input="Your order shipped today.",) as response: response.stream_to_file("speech.mp3") with open("meeting.mp3", "rb") as audio: transcript = client.audio.transcriptions.create(model="whisper-1", file=audio)print(transcript.text)Sprache wird an die App gesendet, während sie entsteht. Transkripte und der Stimmwechsel von ElevenLabs werden nach der Länge abgerechnet, die ihre Datei angibt, wenn der Anbieter keine meldet, sodass ein Transkript nie versehentlich als kostenlos erscheint.
Video-Aufträge04
Videogenerierung dauert Minuten, also läuft sie als Auftrag. Kaeso startet den Auftrag beim Anbieter, verfolgt ihn unter einer eigenen ID, fragt den Anbieter, solange er läuft, streamt die fertige Datei und rechnet den Auftrag einmal ab, wenn er endet.
video = client.videos.create_and_poll( model="grok-imagine-video-1.5", prompt="A lighthouse at dusk, waves rolling in", seconds="8", size="1280x720",)if video.status == "completed": client.videos.download_content(video.id).write_to_file("lighthouse.mp4")Ein Schlüssel, der auf einige Modelle beschränkt ist, sieht nur die Videos und Bilder, die mit diesen Modellen erzeugt wurden, und Video-Abfragen zählen gegen seine Ratenlimits.
Apps für ElevenLabs05
Apps, die mit den offiziellen elevenlabs-SDKs geschrieben sind, behalten ihren Code und ändern zwei Werte: die Basis-URL und den Schlüssel.
from elevenlabs import ElevenLabs client = ElevenLabs(base_url="https://kaeso.example.com", api_key=os.environ["KAESO_API_KEY"])audio = client.text_to_speech.convert( voice_id="21m00Tcm4TlvDq8ikWAM", text="Your order shipped today.", model_id="eleven_flash_v2_5",)Sprache, Stimmwechsel, Soundeffekte, Musik, Transkription und Bilder funktionieren, ebenso die Echtzeitsitzungen von ElevenLabs für Sprache und Transkription über WebSocket. Weil Kaeso jede Anfrage an den Anbieter des Modells sendet, kann eine ElevenLabs-App auch die Sprach- und Transkriptionsmodelle anderer Anbieter erreichen. Wenn Sie Kaeso hinter einem eigenen Proxy betreiben, leiten Sie /v2/ an das Gateway und lassen Sie WebSocket-Upgrades durch.
Medien im Chat06
Auch Chat-Anfragen tragen Medien. Apps senden Audio und Video an jeden Anbieter, der sie annimmt, aus jedem API-Format. Chat-Completions- und Gemini-Apps bekommen Audioantworten von den Modellen der jeweils anderen, und Bilder, die Gemini-Modelle erzeugen, erreichen Gemini-Apps. Ein Format oder Anbieter, der für etwas keinen Platz hat, lehnt ab, bevor etwas gesendet wird, statt es still fallen zu lassen.
Kosten, die Sie lesen können07
Jede Medienanfrage landet im Anfrageprotokoll mit dem, was sie erzeugt hat: einem Bild und seiner Größe, den gesprochenen Zeichen, den Sekunden Audio oder Video. Nutzung und Kosten zählen sie neben Chat. Kosten, die Kaeso nicht bepreisen kann, erscheinen als Unbekannt, nie als 0 $, sodass ein fehlender Preis keine Ausgaben verbirgt. Budgets und Ratenlimits gelten für Medienanfragen genau wie für Chat.
Standardmäßig halten Anfrageprotokolle Typ und Größe von Bildern, Audio und Dateien fest, nicht die Dateien selbst. Schalten Sie Medien aufbewahren für eine Organisation oder ein Projekt ein, und die Protokolle bewahren sie ebenfalls auf, bis zu 10 MiB pro Anfrage, und der Log-Inspektor zeigt sie, spielt sie ab und lädt sie herunter. Die Einstellung der Organisation ist die Obergrenze für ihre Projekte.
Jedes Modell im Playground ausprobieren08
Der Playground der Konsole probiert jede Art von Modell nebeneinander mit einem Prompt aus: Chat, Bilder, Sprache, Soundeffekte, Musik, Transkription mit aufgenommenem oder angehängtem Audio, und Video mit Fortschritt und Abbrechen. So vergleichen Sie am schnellsten zwei Bildmodelle oder zwei Stimmen, bevor Sie Code schreiben. Die Live-Demo (öffnet in einem neuen Tab) zeigt den Playground mit Beispieldaten.
Medien sind eine der größeren Neuerungen von Kaeso 0.6. Die Docs zur Bilder- (öffnet in einem neuen Tab), Audio- (öffnet in einem neuen Tab), Videos- (öffnet in einem neuen Tab) und ElevenLabs-API (öffnet in einem neuen Tab) haben jeden Endpunkt und jeden Parameter.
Von Kaeso Team


