ML Drift soll die GPU-Berechnung auf Geräten über unterschiedliche Hardware hinweg vereinheitlichen. Die Engine unterstützt OpenGL ES, OpenCL, Metal und WebGPU und steht unter der Apache-2.0-Lizenz. Google beschreibt sie als plattformübergreifende Grundlage für lokale KI-Anwendungen, von Videoeffekten bis zu generativer KI. Neben der Verwendung als GPU-Beschleuniger in LiteRT ist ML Drift auch als eigenständige Bibliothek für eigene Grafik- und Inferenzlaufzeiten verfügbar.
Eine zentrale Änderung gegenüber dem bisherigen GPU-Delegate von TensorFlow Lite ist die sogenannte Tensor-Virtualisierung. Dabei wird die logische Darstellung eines Tensors von seiner konkreten Ablage auf der GPU getrennt. Laut Google können dadurch Shader über verschiedene Grafik-Backends hinweg gemeinsam genutzt werden, statt für OpenGL, OpenCL und Metal jeweils separat gepflegt zu werden. Die Übersetzung der Koordinaten erfolgt bei der Compiler-Initialisierung; Google gibt dafür nur einen geringen Laufzeitaufwand an.
Das Framework unterstützt außerdem eigene Operationsbausteine, sogenannte Custom Ops. Entwickler können diese über Registrierungs-APIs einbinden und auf niedrigsprachige Shader zugreifen. Eine mitgelieferte SKILL.md-Anleitung soll auch Coding-Agenten dabei unterstützen, solche Shader zu erstellen, zu registrieren und zu überprüfen. Anders als der bisherige TensorFlow-Lite-GPU-Delegate, der laut Google auf 4D-Tensoren ausgelegt ist, verarbeitet ML Drift auch 5D-Tensoren. Google nennt 3D-Convolution-Netze sowie spatiotemporale Modelle wie YOLO 11n, MobileViT v2 und Swin Transformer v2 als mögliche Einsatzfälle auf Edge-GPUs.
Für klassische Modelle verspricht Google gegenüber dem bisherigen GPU-Backend Leistungsverbesserungen und eine Migration, bei der bestehende Anwendungen ihre bisherigen Benchmark-Ergebnisse halten oder übertreffen sollen. Bei großen Sprachmodellen unterscheidet Google zwischen dem rechenintensiven KV-Cache-Prefill und der speicherbandbreitenabhängigen Decode-Phase. ML Drift soll diese unterschiedlichen Arbeitsphasen berücksichtigen; konkrete Leistungswerte dazu nennt der veröffentlichte Textauszug nicht.
