Buoyant hat Kinference als Open-Source-Projekt unter der Apache-2.0-Lizenz veröffentlicht. Die Software richtet sich an Teams, die mehrere vLLM-Worker auf Kubernetes betreiben. Sie sitzt vor den Modellservern und entscheidet, an welchen Worker eine Anfrage geht. Die aktuelle Version ist v0.1.0-alpha.7 und in Rust geschrieben. Für die Konfiguration nutzt Kinference fünf Kubernetes Custom Resource Definitions (CRDs). Voraussetzung ist ein GPU-fähiger Kubernetes-Cluster mit vLLM.
Die Steuerungsebene kann Anfragen nach deklarativen Regeln weiterleiten oder ablehnen. Regeln lassen sich etwa nach Mandant, angefordertem Modell, Zustand eines GPU-Pools und semantischen Tags festlegen. Kinference berücksichtigt außerdem Ereignisse aus dem KV-Cache sowie Metriken der vLLM-Worker. Für die Auswahl eines Endpunkts schätzt das System die Time to First Token (TTFT) anhand von Cache-Überlappung und Warteschlangenlänge. Die Richtlinien können in Git verwaltet und mit dem CLI-Werkzeug kinfctl offline geprüft werden. Zum System gehören ein Traffic-Gateway und ein Inference Handler mit gRPC-Schnittstelle.
Buoyant verglich Kinference mit der zufälligen Verteilung über einen Kubernetes ClusterIP Service. In beiden Testaufbauten liefen drei vLLM-0.31.0-Pods mit jeweils einer L40S-GPU; eingesetzt wurde Qwen3.8-27B-FP8. Bei einem Arbeitslasttest mit gemeinsam genutzten Präfixen sank die mediane TTFT laut Buoyant von 6,88 auf 0,31 Sekunden. Bei Prompts ohne gemeinsame Präfixe ergab sich dagegen kein Gewinn: Die Werte lagen bei 6,92 und 6,83 Sekunden.
Auch beim Goodput, also der Zahl der Anfragen pro Minute innerhalb eines TTFT-Zielwerts, meldete Buoyant Unterschiede: Bei gemeinsamem Präfix waren es 103,0 statt 14,0 Anfragen pro Minute, bei Mehrfachturns 82,7 statt 23,8. Die Ergebnisse stammen aus Buoyants eigenen Tests und vergleichen Kinference mit zufälligem Routing, nicht mit einem anderen cache-bewussten Router. Die verwendeten Zielwerte von acht beziehungsweise vier Sekunden ordnet Buoyant für Offline-Agenten ein, nicht für Chat-Anwendungen. Die Veröffentlichung ist als Alpha-Version gekennzeichnet.