← Alle KI-News
Aionity · KI-NewsTools & Produkte

Google veröffentlicht ML Drift für KI-Inferenz auf Geräte-GPUs

Google hat ML Drift als Open-Source-GPU-Engine für KI- und Machine-Learning-Inferenz direkt auf Geräten freigegeben. Das Framework unterstützt mehrere Grafik-APIs und ist Teil von LiteRT, kann aber auch separat eingesetzt werden.

Symbolbild: Google veröffentlicht ML Drift für KI-Inferenz auf Geräte-GPUs
Symbolbild · KI-generiert

ML Drift soll die GPU-Berechnung auf Geräten über unterschiedliche Hardware hinweg vereinheitlichen. Die Engine unterstützt OpenGL ES, OpenCL, Metal und WebGPU und steht unter der Apache-2.0-Lizenz. Google beschreibt sie als plattformübergreifende Grundlage für lokale KI-Anwendungen, von Videoeffekten bis zu generativer KI. Neben der Verwendung als GPU-Beschleuniger in LiteRT ist ML Drift auch als eigenständige Bibliothek für eigene Grafik- und Inferenzlaufzeiten verfügbar.

Eine zentrale Änderung gegenüber dem bisherigen GPU-Delegate von TensorFlow Lite ist die sogenannte Tensor-Virtualisierung. Dabei wird die logische Darstellung eines Tensors von seiner konkreten Ablage auf der GPU getrennt. Laut Google können dadurch Shader über verschiedene Grafik-Backends hinweg gemeinsam genutzt werden, statt für OpenGL, OpenCL und Metal jeweils separat gepflegt zu werden. Die Übersetzung der Koordinaten erfolgt bei der Compiler-Initialisierung; Google gibt dafür nur einen geringen Laufzeitaufwand an.

Das Framework unterstützt außerdem eigene Operationsbausteine, sogenannte Custom Ops. Entwickler können diese über Registrierungs-APIs einbinden und auf niedrigsprachige Shader zugreifen. Eine mitgelieferte SKILL.md-Anleitung soll auch Coding-Agenten dabei unterstützen, solche Shader zu erstellen, zu registrieren und zu überprüfen. Anders als der bisherige TensorFlow-Lite-GPU-Delegate, der laut Google auf 4D-Tensoren ausgelegt ist, verarbeitet ML Drift auch 5D-Tensoren. Google nennt 3D-Convolution-Netze sowie spatiotemporale Modelle wie YOLO 11n, MobileViT v2 und Swin Transformer v2 als mögliche Einsatzfälle auf Edge-GPUs.

Für klassische Modelle verspricht Google gegenüber dem bisherigen GPU-Backend Leistungsverbesserungen und eine Migration, bei der bestehende Anwendungen ihre bisherigen Benchmark-Ergebnisse halten oder übertreffen sollen. Bei großen Sprachmodellen unterscheidet Google zwischen dem rechenintensiven KV-Cache-Prefill und der speicherbandbreitenabhängigen Decode-Phase. ML Drift soll diese unterschiedlichen Arbeitsphasen berücksichtigen; konkrete Leistungswerte dazu nennt der veröffentlichte Textauszug nicht.

War der Artikel hilfreich?

💡 Tipp: Wenn du KI-Modelle direkt auf Geräte-GPUs ausführen möchtest, kannst du ML Drift als Bestandteil von LiteRT oder als eigenständige Bibliothek prüfen.

Frag Aiory dazu Aiory liest den Artikel und beantwortet deine Fragen dazu.

Quellen

KI-erstellter Artikel: Die Aionity-KI hat recherchiert – sie sucht die Originalquelle (etwa die Seite des Herstellers), zieht weitere Berichte hinzu und schreibt daraus einen eigenen Text. Alle Quellen stehen oben. Eine eigene Meinung gibt sie nicht ab. Kennzeichnung nach Art. 50 KI-Verordnung. Fehler? Sag uns im Discord Bescheid.

Alle KI-Meldungen live im Discord Die wichtigsten auch auf X und Bluesky.

← Alle KI-News

Fragen? Einfach mitreden – im Discord.

Discord ist ein kostenloser Gruppenchat. Dort kannst du nachfragen, was eine Meldung bedeutet, eigene Fragen stellen und dich mit anderen austauschen – ganz ohne Vorwissen. Wir fangen gerade erst an: Schau gern vorbei und sag Hallo.