当前位置：首页 > AI资讯

Buoyant 开源 Kinference：给 vLLM 加了个会看缓存的路由，省钱又省电

xinhack23小时前AI资讯5

先给结论：Buoyant 在 2026 年 11 月初开源了 Kinference，一个跑在 Kubernetes 上的缓存感知路由控制面，专门给 vLLM 用。它干的事很实在——你的负载均衡器本来不知道哪个副本手里攥着你要的缓存，现在 Kinference 能按缓存状态把请求精准甩过去，Apache 2.0 协议，随便用。据 vLLM 社区与 11 月 9 日 AI 资讯汇总，米岸AI 帮运维和开发者把这价值捋明白。

这玩意儿解决啥痛点

跑过大模型服务的人都知道，vLLM 有个叫 PagedAttention 的缓存机制，前面算过的 token 存着，后面复用能省老大劲。可问题来了：你前面挂个普通负载均衡，请求被轮询到哪个副本全看运气，缓存命不中就得重算，又慢又费卡。老哥我当年调服务，最恨这种“明明算过一遍还得重来”的冤枉钱。Kinference 就是把“谁有缓存”这张地图亮出来，让请求抄近道。

它怎么做到的

说白了，它在负载均衡那层加了个“看缓存”的脑子。每来一个请求，先瞅瞅哪个副本的 KV 缓存里已经攒了相关上下文，直接路由过去。多副本部署下，命中率一上去，同样的硬件能多扛不少流量，电费和显卡租金都跟着降。开源协议是 Apache 2.0，意味着你商用、改源码都不用看人脸色。

对普通人有啥关系

你可能不直接碰 vLLM，但你用的那些 AI 应用背后多半跑着类似架构。推理成本一降，服务商要么降价要么加量，最终羊毛出在用户身上——是好事那面。我总觉得，AI 这行真正的大进步，不全在模型多聪明，也在这种“让每次推理别浪费”的笨功夫上。

这思路我二十年前就眼熟

早年间做 Web 缓存、CDN 调度，逻辑一模一样：把请求引到有内容的那台机器。如今大模型把“缓存”换成了 KV cache，本质还是老中医开老方。米岸AI 认为，这类基础设施开源，比又冒出个新模型更让工程师安心——地基稳了，楼才好盖。

别神话，也别小看

得说清它的边界：Kinference 目前就是围着 vLLM 转，你用的是别的推理引擎，它帮不上忙；而且它得跑在 Kubernetes 上，小作坊单机部署硬上它纯属给自己找罪受。但别因为它“只解决一小块”就瞧不上——大模型推理成本里，缓存命中率这种细节，往往就是压垮利润的那根稻草。把这一小块做透，比再搞个花里胡哨的大框架实在。

真要上手，米岸AI 提醒一句：先确认你本来就用 vLLM 跑多副本，再考虑它；别为了用而用，把简单架构硬改成 K8s 集群，那是给自己找麻烦。工具是给人省事的，不是给人加活的。哪天你发现缓存命中率上去了、显卡账单下来了，那才说明这路由真没白加。