Kaeso 0.7:重排序、批处理与决策,新增 23 个服务商,以及防护规则
Kaeso 0.7.0 已发布。应用可经网关做重排序、跑批处理、存储 Responses,并向决策模型提问;新增 23 个内置服务商;组织获得防护规则、SCIM、Webhook 和自己的币种;实例更轻,也能运行在 Kubernetes 上。本文介绍改了什么,以及如何更新。
- 发布日期
- 阅读时间
- 10 分钟
- 作者
- Kaeso Team

您的应用早已不只调用一个模型。一个团队调用 OpenAI,另一个通过 Bedrock 调用 Claude,第三个用 Cohere 给搜索结果排序;每个团队都有自己的密钥、自己的账单,对日志也各有各的理解。Kaeso 是您自己运行的开源网关,把这一切放到同一个地址之后:同一套密钥、限额、日志和费用,无论由哪个服务商作答。
Kaeso 0.7.0 已发布,自 0.6.0 以来合并了近 300 个拉取请求。它让 Kaeso 从聊天和媒体扩展到应用发给模型的每一种请求,新增 23 个内置服务商,并补上了整个公司为许多团队运行同一个网关所需的功能。先看这部 49 秒的短片,再到在线演示(在新标签页中打开)中亲自试试每一项。
不止让模型聊天01
聊天只是应用请求的一部分。应用还要给搜索结果排序、在夜里跑成千上万个请求,并让模型做判断。在 0.7 中,这些都经过 Kaeso,使用与每个聊天请求相同的密钥、限额、日志和费用:
- **决策。**向模型提出类型化的问题,包括是/否、选择、评分或边界框,拿回的是每个答案及其概率,而不是一句还要再解析的话。应用可以使用 OpenAI 的 Decisions API、TypeSafe 的 System One API 或 Gemini 的 Decisions API,Kaeso 在三者之间互相转换,所以为其中一种编写的应用也能询问其他两种的模型。
- 重排序:在
/v1/rerank和/v2/rerank使用 Cohere 的格式,由 Cohere 的 Rerank 5 模型以及 Voyage AI 和 Jina AI 作答。 - 批处理:通过 OpenAI 的 Batch API,按应用的密钥检查,并按批处理价格计费。
- 存储的响应:在组织和项目允许时,Responses 应用可以在 OpenAI 存储并继续响应。

试验场也能询问决策模型。把两个模型并排放好,问一句“我的包裹到货时坏了,我要退款”,一眼就能看出哪一个更确定这是退款,以及应该交给哪个团队。

50 个服务商,添加密钥即可使用02
Amazon Bedrock、Azure、Cloudflare AI Gateway、Standard Compute、Perplexity、TypeSafe、DeepInfra、Upstage、Volcengine Ark、IONOS AI Model Hub、Novita AI、OVHcloud AI Endpoints、StepFun、Tencent TokenHub、Venice、Baidu Qianfan、Voyage AI、Jina AI、fal、Replicate、Deepgram、Cartesia 和 AssemblyAI 现已内置,共 50 个。添加密钥后,它们的聊天模型就能以每种应用格式作答,其他模型则通过各自提供的 API 作答。您的应用无需改动。
Bedrock 的密钥可以是 Bedrock API 密钥、AWS 访问密钥或网关自身的 AWS 角色,可调用 Claude、Amazon Nova 和 Meta Llama。Azure 的密钥可以用 Microsoft Entra ID 服务主体登录。fal 和 Replicate 生成图片和视频;Deepgram 和 Cartesia 负责语音合成和转写,AssemblyAI 负责转写。服务商页面列出了全部服务商。

请求不会轻易中断03
服务商的速率限制、断开的连接,或下个月就要停用的模型,都不该变成您应用的故障。0.7 在网关中处理这些情况:
- **密钥池。**把一个项目按权重分配到同一服务商的多个密钥上。被拒绝或被限流的密钥会让位给下一个。
- **重试。**一个步骤会在连接中断、返回 5xx 或服务商过载后再次尝试其模型,然后才失败或回退;在任何输出之前就失败的流会回退到下一个步骤。
- 模型生命周期。项目能看到模型何时停用、还有谁在调用它们,并一键或自动迁移到替代模型。
claude-opus-latest这样的模型系列会跟随服务商最新的稳定模型,应用无需重新部署就能保持最新。 - **供应用使用的请求头。**应用可以用
kaeso-timeout缩短 Kaeso 的等待时间,用kaeso-log-content: off让请求内容不进入日志,用kaeso-tags给请求打标签,并在密钥有权查看时,在kaeso-limits中读取剩余的限额和预算,在kaeso-cost中读取一次非流式响应的费用。


为整个公司做好准备04
一旦不止一个团队在用 AI,就得有人回答:哪些数据会离开公司,谁有访问权限,预算用完时谁会收到通知。0.7 在 Kaeso 中为这些答案留出了位置:
- **防护规则。**内置规则会在请求中找出机密和个人数据,例如 API 密钥、电子邮件地址、订单号,并遮盖、拦截或统计它们,也可以让它们不进入请求日志。被遮盖的值以占位符发给模型,回复时再填回原值,应用看到的是真实的回复。聊天请求及其回复还可以交给您自己的服务检查。
- **SCIM 2.0 与 SSO 组。**身份提供商负责添加和移除成员,单点登录根据它的组设置成员的角色和项目,Microsoft Entra ID 也包括在内。有人离开公司,也就离开了 Kaeso。
- **Webhook。**预算提醒、达到限额、即将过期的密钥等通知,会以 Standard Webhooks 签名或作为一条 Slack 消息,发送到您团队本来就在关注的系统。
- **您的币种。**每个组织可以选择 Kaeso 显示其全部金额所用的币种,包括支出、价格和预算,按欧洲央行的每日参考汇率换算。Kaeso 底层仍以美元存储和计算一切费用。
- 共享链接为需要看数字但不需要账户的人,提供对用量、成员统计、项目预算或项目摘要的只读访问。



找到任何一个请求05


出问题时,请求日志现在会带您找到它。可以按别名、回退、端点、费用、应用发送的名称、结果、缓存、耗时、标签或客户端应用筛选,并按错误消息查找失败的请求,最常见的错误排在最前。已记录的请求可以在试验场中打开,或复制为 curl 命令;试验场的每个回复都链接到其日志条目;命令面板可以打开粘贴进来的请求 ID。智能体对话占用的空间大大减少:会话中重复的每条长消息,日志只存储一次。
适合每块屏幕的控制台06


控制台采用了 kaeso.app 的设计,从项目的分析到实例设置,每个页面都能在手机、平板和宽屏上,以英文、德文和中文正常显示。在网页版、桌面版和移动版 Claude 中,账户 › 智能体有一个添加到 Claude 按钮,它会打开 Claude 的连接器表单,并填好您实例的 MCP 地址;适用于 Claude Code 的 Kaeso 插件会在安装时询问这个地址。
在您运行服务的地方运行07
实例现在占用的内存、CPU 和磁盘更少:内置的 ClickHouse 只写入运维人员会读取的诊断数据,网关使用 mimalloc 分配内存。暂停之后的请求不再等待数据库,编码智能体发来的大型 Responses 请求,解码时间约为原来的四分之三。
Kaeso 可以用 Helm chart 安装到 Kubernetes 上,每个版本都会在镜像旁边发布这个 chart;Kaeso 还能导出模型请求和工具调用的 OpenTelemetry 追踪,并在 /metrics 中报告更多指标,例如进行中的请求数,以及模型数据的新旧程度。

试试看08
先看一看:在线演示(在新标签页中打开)运行 0.7.0,带有示例数据,决策模型、防护规则、密钥池等一应俱全。
然后运行您自己的实例。在装有 Docker 的服务器上,一条命令就能安装 Kaeso,并打印设置链接:
curl -fsSL https://kaeso.app/install.sh | sh在 Kubernetes 上,Helm chart 做同样的事:
helm install kaeso oci://ghcr.io/logicplanes/charts/kaeso --version 0.7.0 \ --namespace kaeso --values values.yaml --waitkubectl --namespace kaeso exec deployment/kaeso-gateway -- kaeso setup-link在哪里运行 Kaeso 比较了可以运行它的地方,安装指南(在新标签页中打开)列出了全部选项。添加一个服务商密钥,把应用的 base URL 指向您的 Kaeso,请求就会出现在日志里。欢迎告诉我们您用它做了什么。
从 0.6 更新09
大多数实例在实例 › 更新中一键即可更新:更新器会自行把 0.6.0 更新到 0.7.0,数据库迁移也会自动运行。
有一件事要先检查。0.7.0 在三项 0.6.0 接受的设置下会拒绝启动。请在 .env、compose.override.yaml、KAESO_CONFIG 指定的文件或您平台的变量中查找它们,并在更新前逐一修正:
kpmr.interval(KAESO_KPMR_INTERVAL)小于 5 分钟:把它设为5m或更长,或者删除它以使用auto。mcp_servers.sync_interval(KAESO_MCP_SERVERS_SYNC_INTERVAL)小于 1 分钟:把它设为1m或更长,或者删除它。- 设置了
smtp.user(KAESO_SMTP_USER)却没有smtp.password:添加KAESO_SMTP_PASSWORD;如果您的邮件服务器不需要认证就接收邮件,则删除该用户。
0.6.0 实际上本来就每 5 分钟和每分钟运行这些同步;删除 SMTP 用户后,邮件仍会像在 0.6.0 中那样发送。如果开启了自动更新,请现在就修正,赶在更新到来之前。
仍发现其中一项设置的更新会这样结束:
- 从控制台或更新窗口更新:更新会在切换任何内容之前停止,0.6.0 继续运行。进度窗口会显示未安装,并给出该设置及其修正方法。修正设置,用
docker compose up -d --wait使其生效,然后再次更新;自动更新会在下一个时段再次尝试。 - 使用安装程序:它会在停止旧网关之前检查设置,打印错误,并让 0.6.0 继续运行。
- 手动更新或在平台上更新:新网关会在启动时停止。修正设置后运行
docker compose up -d --wait,或重新部署。
文档中的升级到 0.7.0(在新标签页中打开)有详细说明,完整的更新日志列出了每一项变更。
作者:Kaeso Team


