跳到正文

图片、语音和视频,与聊天走同一网关

在 Kaeso 0.6.0 中,应用通过已有的 SDK(OpenAI、ElevenLabs),生成图片、语音、转写、视频、音乐和音效,并使用 Kaeso 的密钥、限额、日志和费用。本文介绍哪些可用、支持哪些服务商,以及代码怎么写。

发布日期
阅读时间
5 分钟
作者
Kaeso Team
浓郁的珊瑚色与粉色渐变,沿对角线向上折叠

大多数在语言模型前面放了网关的团队,仍然让其他流量绕开网关。图片生成直接发给一个服务商,语音发给另一个,转写又发给第三个,每个都在应用环境里放着自己的密钥,有自己的账单,也没有共同的限额。密钥泄露或预算用完时,没有一个地方能看到。

Kaeso 0.6.0 把这些流量纳入网关。应用通过 Kaeso、用官方 SDK 生成图片、语音、转写、视频、音乐和音效,每个请求都和聊天补全一样,使用相同的密钥、别名、限额、预算、日志和费用。

同样的基础 URL,同样的密钥

不用学任何新东西:像聊天时那样把 OpenAI SDK 指向 Kaeso,然后调用它的媒体方法。

import base64, osfrom openai import OpenAI client = OpenAI(base_url="https://kaeso.example.com/v1", api_key=os.environ["KAESO_API_KEY"]) image = client.images.generate(    model="gpt-image-2",    prompt="A lighthouse at dusk, watercolor",    size="1024x1024",)with open("lighthouse.png", "wb") as f:    f.write(base64.b64decode(image.data[0].b64_json))

Kaeso 以模型所属服务商自己的格式把请求发给它,回答则以 OpenAI 的格式返回。模型只需在项目的目录中;与其他所有端点一样,任何模型名或别名都可以使用。

应用可以生成什么

  • 图片
    API
    OpenAI Images:生成、编辑、流式的部分图片
    服务商
    OpenAI、SpaceX、Google、OpenRouter、Vercel、Together AI、QwenCloud、Zhipu AI、MiniMax、ElevenLabs
  • 语音
    API
    OpenAI Audio:语音,需要时以事件形式流式返回
    服务商
    所有提供该功能的内置服务商
  • 转写和翻译
    API
    OpenAI Audio:转写、翻译
    服务商
    所有提供该功能的内置服务商
  • 视频
    API
    OpenAI Videos:创建、轮询、下载、混剪
    服务商
    SpaceX、Google AI Studio、Gemini Enterprise Agent Platform、MiniMax、Zhipu AI、OpenRouter、Together AI、QwenCloud、ElevenLabs
  • 音乐、音效、变声
    API
    ElevenLabs 自己的 SDK
    服务商
    ElevenLabs,音效还可用 QwenCloud 的 Qwen-Audio-TTS-Next

文档中的各服务商的 API(在新标签页中打开) 页面准确列出了哪个 API 能到达哪个服务商,并说明了被拒绝的原因。服务商无法接受的请求,会在发送任何内容之前被拒绝。

语音和转写

with client.audio.speech.with_streaming_response.create(    model="gpt-4o-mini-tts",    voice="coral",    input="Your order shipped today.",) as response:    response.stream_to_file("speech.mp3") with open("meeting.mp3", "rb") as audio:    transcript = client.audio.transcriptions.create(model="whisper-1", file=audio)print(transcript.text)

语音边生成边发给应用。服务商不报告时长时,转写和 ElevenLabs 的变声会按文件标明的时长计费,因此转写绝不会意外地显示为免费。

视频任务

视频生成需要几分钟,所以以任务的形式运行。Kaeso 在服务商处启动任务,用自己的 ID 跟踪它,在运行期间向服务商查询,流式传回生成的文件,并在任务结束时计费一次。

video = client.videos.create_and_poll(    model="grok-imagine-video-1.5",    prompt="A lighthouse at dusk, waves rolling in",    seconds="8",    size="1280x720",)if video.status == "completed":    client.videos.download_content(video.id).write_to_file("lighthouse.mp4")

仅限部分模型的密钥,只能看到用这些模型生成的视频和图片;查询视频也计入它的速率限制。

为 ElevenLabs 编写的应用

用官方 elevenlabs SDK 编写的应用保留原有代码,只改两个值:基础 URL 和密钥。

from elevenlabs import ElevenLabs client = ElevenLabs(base_url="https://kaeso.example.com", api_key=os.environ["KAESO_API_KEY"])audio = client.text_to_speech.convert(    voice_id="21m00Tcm4TlvDq8ikWAM",    text="Your order shipped today.",    model_id="eleven_flash_v2_5",)

语音、变声、音效、音乐、转写和图片都能使用,ElevenLabs 基于 WebSocket 的实时语音和转写会话也一样。由于 Kaeso 会把每个请求发给模型所属的服务商,ElevenLabs 应用也能访问其他服务商的语音和转写模型。如果您在自己的代理后面运行 Kaeso,请把 /v2/ 路由到网关,并放行 WebSocket 升级。

聊天中的媒体

聊天请求同样可以携带媒体。应用可以从任何 API 格式,把音频和视频发给所有接受它们的服务商。Chat Completions 应用和 Gemini 应用可以收到对方模型的音频回复,Gemini 模型生成的图片也能到达 Gemini 应用。某种格式或服务商无处容纳某项内容时,会在发送前拒绝,而不是悄悄丢掉。

看得懂的费用

每个媒体请求都会连同它生成的内容一起进入请求日志:一张图片及其尺寸、朗读的字符数、音频或视频的秒数。用量和费用把它与聊天并列统计。Kaeso 无法计价的费用显示为“未知”,绝不显示为 0 美元,因此缺少价格也不会掩盖支出。预算和速率限制对媒体请求的作用与聊天完全相同。

默认情况下,请求日志只保留图片、音频和文件的类型和大小,不保留文件本身。为组织或项目开启保留媒体后,日志也会保留这些文件,每个请求最多 10 MiB,日志查看器可以显示、播放和下载它们。组织的设置是其项目的上限。

在试验场中试用每个模型

控制台的试验场用一个提示词并排试用各类模型:聊天、图片、语音、音效、音乐、用录音或附加音频进行的转写,以及带进度和取消功能的视频。在写任何代码之前,这是比较两个图片模型或两种声音最快的方式。在线演示(在新标签页中打开)用示例数据展示了试验场。

媒体是 Kaeso 0.6 较大的新增功能之一。图片(在新标签页中打开)、音频(在新标签页中打开)、视频(在新标签页中打开)和 ElevenLabs(在新标签页中打开) API 的文档列出了每个端点和参数。

作者:Kaeso Team

本页内容

网关归您。记录也归您。

curl -fsSLhttps://kaeso.app/install.sh | sh