跳到正文

Kaeso 0.7:重排序、批处理与决策,新增 23 个服务商,以及防护规则

Kaeso 0.7.0 已发布。应用可经网关做重排序、跑批处理、存储 Responses,并向决策模型提问;新增 23 个内置服务商;组织获得防护规则、SCIM、Webhook 和自己的币种;实例更轻,也能运行在 Kubernetes 上。本文介绍改了什么,以及如何更新。

发布日期
阅读时间
10 分钟
作者
Kaeso Team
淡雅的橙色与桃色渐变,呈柔和的水平褶皱,一角透着暖光

您的应用早已不只调用一个模型。一个团队调用 OpenAI,另一个通过 Bedrock 调用 Claude,第三个用 Cohere 给搜索结果排序;每个团队都有自己的密钥、自己的账单,对日志也各有各的理解。Kaeso 是您自己运行的开源网关,把这一切放到同一个地址之后:同一套密钥、限额、日志和费用,无论由哪个服务商作答。

Kaeso 0.7.0 已发布,自 0.6.0 以来合并了近 300 个拉取请求。它让 Kaeso 从聊天和媒体扩展到应用发给模型的每一种请求,新增 23 个内置服务商,并补上了整个公司为许多团队运行同一个网关所需的功能。先看这部 49 秒的短片,再到在线演示(在新标签页中打开)中亲自试试每一项。

49 秒看懂 Kaeso 0.7。

不止让模型聊天

聊天只是应用请求的一部分。应用还要给搜索结果排序、在夜里跑成千上万个请求,并让模型做判断。在 0.7 中,这些都经过 Kaeso,使用与每个聊天请求相同的密钥、限额、日志和费用:

  • **决策。**向模型提出类型化的问题,包括是/否、选择、评分或边界框,拿回的是每个答案及其概率,而不是一句还要再解析的话。应用可以使用 OpenAI 的 Decisions API、TypeSafe 的 System One API 或 Gemini 的 Decisions API,Kaeso 在三者之间互相转换,所以为其中一种编写的应用也能询问其他两种的模型。
  • 重排序:在 /v1/rerank 和 /v2/rerank 使用 Cohere 的格式,由 Cohere 的 Rerank 5 模型以及 Voyage AI 和 Jina AI 作答。
  • 批处理:通过 OpenAI 的 Batch API,按应用的密钥检查,并按批处理价格计费。
  • 存储的响应:在组织和项目允许时,Responses 应用可以在 OpenAI 存储并继续响应。
试验场向 Jev 1.14 和 GPT-6 Sol 提出同一个决策:是否退款、交给哪个团队、有多紧急,每个答案都附有概率
图 01试验场中的决策模型:类型化的问题,以概率作答。

试验场也能询问决策模型。把两个模型并排放好,问一句“我的包裹到货时坏了,我要退款”,一眼就能看出哪一个更确定这是退款,以及应该交给哪个团队。

用 curl 向 /v1/rerank 发送重排序请求:一个查询、三篇文档,top_n 为 2
图 02Cohere 格式的重排序,以及批处理和 Helm chart。

50 个服务商,添加密钥即可使用

Amazon Bedrock、Azure、Cloudflare AI Gateway、Standard Compute、Perplexity、TypeSafe、DeepInfra、Upstage、Volcengine Ark、IONOS AI Model Hub、Novita AI、OVHcloud AI Endpoints、StepFun、Tencent TokenHub、Venice、Baidu Qianfan、Voyage AI、Jina AI、fal、Replicate、Deepgram、Cartesia 和 AssemblyAI 现已内置,共 50 个。添加密钥后,它们的聊天模型就能以每种应用格式作答,其他模型则通过各自提供的 API 作答。您的应用无需改动。

Bedrock 的密钥可以是 Bedrock API 密钥、AWS 访问密钥或网关自身的 AWS 角色,可调用 Claude、Amazon Nova 和 Meta Llama。Azure 的密钥可以用 Microsoft Entra ID 服务主体登录。fal 和 Replicate 生成图片和视频;Deepgram 和 Cartesia 负责语音合成和转写,AssemblyAI 负责转写。服务商页面列出了全部服务商。

“添加服务商密钥”对话框中的内置服务商,从 Cartesia、Cerebras 和 Cloudflare AI Gateway 到 Mistral
图 03“添加服务商密钥”对话框中的新内置服务商。

请求不会轻易中断

服务商的速率限制、断开的连接,或下个月就要停用的模型,都不该变成您应用的故障。0.7 在网关中处理这些情况:

  • **密钥池。**把一个项目按权重分配到同一服务商的多个密钥上。被拒绝或被限流的密钥会让位给下一个。
  • **重试。**一个步骤会在连接中断、返回 5xx 或服务商过载后再次尝试其模型,然后才失败或回退;在任何输出之前就失败的流会回退到下一个步骤。
  • 模型生命周期。项目能看到模型何时停用、还有谁在调用它们,并一键或自动迁移到替代模型。claude-opus-latest 这样的模型系列会跟随服务商最新的稳定模型,应用无需重新部署就能保持最新。
  • **供应用使用的请求头。**应用可以用 kaeso-timeout 缩短 Kaeso 的等待时间,用 kaeso-log-content: off 让请求内容不进入日志,用 kaeso-tags 给请求打标签,并在密钥有权查看时,在 kaeso-limits 中读取剩余的限额和预算,在 kaeso-cost 中读取一次非流式响应的费用。
把密钥 OpenAI · Overflow 分配给 Checkout assistant 项目,权重为 30,与它的其他密钥并用
图 04密钥池:项目按权重使用多个密钥,被拒绝或被限流的密钥会让位。
gpt-5.5 标记为已弃用,23 天后停用:它的日期、替代模型 gpt-6-sol、价格变化,以及“迁移到替代模型”按钮
图 05模型生命周期:即将停用的模型会显示谁还在调用它,以及由什么替代。

为整个公司做好准备

一旦不止一个团队在用 AI,就得有人回答:哪些数据会离开公司,谁有访问权限,预算用完时谁会收到通知。0.7 在 Kaeso 中为这些答案留出了位置:

  • **防护规则。**内置规则会在请求中找出机密和个人数据,例如 API 密钥、电子邮件地址、订单号,并遮盖、拦截或统计它们,也可以让它们不进入请求日志。被遮盖的值以占位符发给模型,回复时再填回原值,应用看到的是真实的回复。聊天请求及其回复还可以交给您自己的服务检查。
  • **SCIM 2.0 与 SSO 组。**身份提供商负责添加和移除成员,单点登录根据它的组设置成员的角色和项目,Microsoft Entra ID 也包括在内。有人离开公司,也就离开了 Kaeso。
  • **Webhook。**预算提醒、达到限额、即将过期的密钥等通知,会以 Standard Webhooks 签名或作为一条 Slack 消息,发送到您团队本来就在关注的系统。
  • **您的币种。**每个组织可以选择 Kaeso 显示其全部金额所用的币种,包括支出、价格和预算,按欧洲央行的每日参考汇率换算。Kaeso 底层仍以美元存储和计算一切费用。
  • 共享链接为需要看数字但不需要账户的人,提供对用量、成员统计、项目预算或项目摘要的只读访问。
在示例文本上试用防护规则:订单号、电子邮件地址和 API 密钥被改写为占位符
图 06防护规则在发给模型之前遮盖机密和个人数据,并在回复中还原。
组织的成员预配设置:SCIM 基础 URL、令牌和最近一次请求,下方是组规则
图 07SCIM 2.0 与 SSO 组:身份提供商添加成员,并设置他们的角色和项目。
名为 On-call 的 Webhook,包括 URL、格式和事件,以及最近的投递记录,每条都以 204 投递成功
图 08Webhook:预算提醒、达到限额、即将过期的密钥等,可签名发送,也可作为一条 Slack 消息。

找到任何一个请求

演示中 Checkout assistant 项目的请求日志,筛选为失败的请求:列表上方是最常见的错误,以及每种错误导致失败的请求数,例如客户端关闭了连接、服务商过载演示中 Checkout assistant 项目的请求日志,筛选为失败的请求:列表上方是最常见的错误,以及每种错误导致失败的请求数,例如客户端关闭了连接、服务商过载
图 09请求日志,筛选为失败的请求,最常见的错误排在最前。

出问题时,请求日志现在会带您找到它。可以按别名、回退、端点、费用、应用发送的名称、结果、缓存、耗时、标签或客户端应用筛选,并按错误消息查找失败的请求,最常见的错误排在最前。已记录的请求可以在试验场中打开,或复制为 curl 命令;试验场的每个回复都链接到其日志条目;命令面板可以打开粘贴进来的请求 ID。智能体对话占用的空间大大减少:会话中重复的每条长消息,日志只存储一次。

适合每块屏幕的控制台

演示组织的概览:正在运行的 Kaeso 0.7.0 及其版本插图,提示有两个项目在使用即将停用的模型,以及最近 14 天的活动演示组织的概览:正在运行的 Kaeso 0.7.0 及其版本插图,提示有两个项目在使用即将停用的模型,以及最近 14 天的活动
图 100.7.0 下组织的概览,列出模型即将停用的项目。

控制台采用了 kaeso.app 的设计,从项目的分析到实例设置,每个页面都能在手机、平板和宽屏上,以英文、德文和中文正常显示。在网页版、桌面版和移动版 Claude 中,账户 › 智能体有一个添加到 Claude 按钮,它会打开 Claude 的连接器表单,并填好您实例的 MCP 地址;适用于 Claude Code 的 Kaeso 插件会在安装时询问这个地址。

在您运行服务的地方运行

实例现在占用的内存、CPU 和磁盘更少:内置的 ClickHouse 只写入运维人员会读取的诊断数据,网关使用 mimalloc 分配内存。暂停之后的请求不再等待数据库,编码智能体发来的大型 Responses 请求,解码时间约为原来的四分之三。

Kaeso 可以用 Helm chart 安装到 Kubernetes 上,每个版本都会在镜像旁边发布这个 chart;Kaeso 还能导出模型请求和工具调用的 OpenTelemetry 追踪,并在 /metrics 中报告更多指标,例如进行中的请求数,以及模型数据的新旧程度。

用 helm install 从 ghcr.io 上的 chart 安装 0.7.0 版 Kaeso,然后用 kubectl exec 运行 kaeso setup-link
图 11用 Helm chart 在 Kubernetes 上运行 Kaeso。

试试看

先看一看:在线演示(在新标签页中打开)运行 0.7.0,带有示例数据,决策模型、防护规则、密钥池等一应俱全。

然后运行您自己的实例。在装有 Docker 的服务器上,一条命令就能安装 Kaeso,并打印设置链接:

curl -fsSL https://kaeso.app/install.sh | sh

在 Kubernetes 上,Helm chart 做同样的事:

helm install kaeso oci://ghcr.io/logicplanes/charts/kaeso --version 0.7.0 \  --namespace kaeso --values values.yaml --waitkubectl --namespace kaeso exec deployment/kaeso-gateway -- kaeso setup-link

在哪里运行 Kaeso 比较了可以运行它的地方,安装指南(在新标签页中打开)列出了全部选项。添加一个服务商密钥,把应用的 base URL 指向您的 Kaeso,请求就会出现在日志里。欢迎告诉我们您用它做了什么。

从 0.6 更新

大多数实例在实例 › 更新中一键即可更新:更新器会自行把 0.6.0 更新到 0.7.0,数据库迁移也会自动运行。

有一件事要先检查。0.7.0 在三项 0.6.0 接受的设置下会拒绝启动。请在 .env、compose.override.yaml、KAESO_CONFIG 指定的文件或您平台的变量中查找它们,并在更新前逐一修正:

  • kpmr.interval(KAESO_KPMR_INTERVAL)小于 5 分钟:把它设为 5m 或更长,或者删除它以使用 auto。
  • mcp_servers.sync_interval(KAESO_MCP_SERVERS_SYNC_INTERVAL)小于 1 分钟:把它设为 1m 或更长,或者删除它。
  • 设置了 smtp.user(KAESO_SMTP_USER)却没有 smtp.password:添加 KAESO_SMTP_PASSWORD;如果您的邮件服务器不需要认证就接收邮件,则删除该用户。

0.6.0 实际上本来就每 5 分钟和每分钟运行这些同步;删除 SMTP 用户后,邮件仍会像在 0.6.0 中那样发送。如果开启了自动更新,请现在就修正,赶在更新到来之前。

仍发现其中一项设置的更新会这样结束:

  • 从控制台或更新窗口更新:更新会在切换任何内容之前停止,0.6.0 继续运行。进度窗口会显示未安装,并给出该设置及其修正方法。修正设置,用 docker compose up -d --wait 使其生效,然后再次更新;自动更新会在下一个时段再次尝试。
  • 使用安装程序:它会在停止旧网关之前检查设置,打印错误,并让 0.6.0 继续运行。
  • 手动更新或在平台上更新:新网关会在启动时停止。修正设置后运行 docker compose up -d --wait,或重新部署。

文档中的升级到 0.7.0(在新标签页中打开)有详细说明,完整的更新日志列出了每一项变更。

作者:Kaeso Team

本页内容

网关归您。记录也归您。

curl -fsSLhttps://kaeso.app/install.sh | sh