Run:ai koordiniert Entwicklungs-, Trainings- und Inferenzaufgaben auf gemeinsam genutzten GPU-Clustern. Die Plattform läuft auf Kubernetes oder OpenShift und ergänzt Kubernetes, statt es zu ersetzen. NVIDIA veröffentlicht den Quellcode unter der Apache-2.0-Lizenz auf GitHub. Zum Paket zählen eine Steuerungsebene, Cluster-Dienste, ein Installer, eine Kommandozeile und ein MCP-Server. Teams können die Komponenten auch einzeln einsetzen.
Der KAI Scheduler übernimmt die Kubernetes-native Planung von Aufgaben. Zu seinen Funktionen gehören die gemeinsame Einplanung zusammengehöriger Jobs, zeitbasierte faire Ressourcenverteilung und die Berücksichtigung der GPU-Topologie. Der Scheduler ist ebenfalls unter Apache 2.0 verfügbar und ein CNCF-Sandbox-Projekt. Ein weiterer Bestandteil teilt GPUs mithilfe von CUDA 13.4 in Ressourcenanteile auf. Dabei setzt der CUDA-Treiber eine feste Speichergrenze pro Workload durch. Die Ressourcenverwaltung ergänzt Projekte, Abteilungen, Kontingente und Knotenpools.
Für lokale Entwicklung stellt NVIDIA ein Skript bereit, das rund 50 Go-Dienste in Containern baut und einen fünf Knoten umfassenden Kind-Cluster mit Kubernetes v1.32.5 einrichtet. Ein simuliertes GPU-System bildet acht Tesla-A10-GPUs nach; dafür ist keine GPU-Hardware erforderlich. Unterstützt werden macOS und Linux auf amd64- oder arm64-Systemen, nicht jedoch Windows. Unter Linux sind mindestens vier CPUs, 16 GB RAM und 100 GB freier Speicherplatz nötig. Für Tests mit echten NVIDIA-GPUs braucht es Linux, Docker und das NVIDIA Container Toolkit.
Der Einsatz ist über den Quellcode oder ein Helm-Chart der NGC Community Edition möglich. Diese Edition erfordert kein kostenpflichtiges Abonnement, beinhaltet aber keinen NVIDIA-Unternehmenssupport. Kommerzielle Varianten bleiben über NVIDIA AI Enterprise, NVIDIA Mission Control und ausgewählte Cloud-Marktplätze verfügbar. Ergänzend veröffentlicht NVIDIA Model Streamer zum Laden von Modellgewichten in den GPU-Speicher sowie Grove zur Orchestrierung mehrteiliger Inferenz-Workloads. Ein von Microsoft veröffentlichter Test mit acht NVIDIA-H100-VMs maß für Model Streamer eine drei- bis sechsmal höhere Ladegeschwindigkeit als beim Standard-Lader.