AI Gateways dienen als gemeinsame Steuerungsschicht zwischen Anwendungen und Modellanbietern. Sie können Anfragen über eine API bündeln und Funktionen wie Routing, Wiederholungen, Ausfallsicherung, Caching, Budgets und Protokollierung zentral verwalten. Der Vergleich bewertet neun Produkte anhand von sechs Kriterien, darunter auch Lizenzierung und Sicherheitsrisiken. Neben Bifrost, Portkey, LiteLLM und Kong umfasst er TrueFoundry, Cloudflare, Vercel, OpenRouter und Orq.ai.
Bifrost wird als selbst gehostete Option mit hoher Leistung eingeordnet. Das in Go geschriebene Open-Source-Gateway steht unter Apache 2.0 und unterstützt laut Anbieter mehr als 23 Provider über eine OpenAI-kompatible API. Das README gibt eine zusätzliche Latenz von 11 µs bei 5.000 RPS auf einem t3.xlarge an; auf einem t3.medium seien es 59 µs. Genannt werden außerdem automatische Ausweichrouten, gewichtete Lastverteilung und semantisches Caching.
Portkey ist MIT-lizenziert und soll laut Anbieter mehr als 1.600 Modelle anbinden. Zu den Funktionen zählen Weiterleitungen, Wiederholungen und Schutzmechanismen für Ein- und Ausgaben. Palo Alto Networks besitzt Portkey und integriert es nach den Angaben in Prisma AIRS. Ein Vorabrelease von Gateway 2.0 führt die Enterprise-Version mit der Open-Source-Ausgabe zusammen. Als Einstiegspreis nennt der Vergleich 49 US-Dollar pro Monat; ein kostenloser Tarif umfasst 10.000 protokollierte Anfragen.
LiteLLM wird als breit genutzte Open-Source-Lösung beschrieben: Das Projekt weist 53,8K GitHub-Sterne und Unterstützung für mehr als 100 Provider aus. Es bietet ein Python-SDK und einen Proxy-Server sowie unter anderem Budgets, Ausweichrouten und Ausgabenlimits. Das Projekt nennt in eigenen Benchmarks eine P95-Latenz von 8 ms bei 1.000 RPS. Kong richtet sich an Teams, die LLM-, MCP- und A2A-Verkehr gemeinsam verwalten wollen; aufgeführt sind etwa Zugriffskontrollen, semantisches Caching und Tokenquoten.