agent-desktop ist eine Rust-CLI und C-Bibliothek, die Desktop-Anwendungen für KI-Agenten zugänglich macht. Das Werkzeug ist selbst kein Agent und enthält kein Sprachmodell. Es liefert pro Befehl ein JSON-Ergebnis mit einer Momentaufnahme der Oberfläche und Referenzen auf bedienbare Elemente. Agenten können diese Referenzen für Aktionen wie Klicken oder Eingaben verwenden. Die Version 1.0.2 erschien am 30. Oktober 2026 unter der Apache-2.0-Lizenz. Von 60 Befehlsnamen sind laut Projektbeschreibung 56 einsatzbereit.
Statt Bildschirmbilder auszuwerten, liest agent-desktop die Accessibility-Struktur des Betriebssystems. Referenzen enthalten eine Kennung der Momentaufnahme; ungültige oder veraltete Verweise werden mit Fehlern zurückgewiesen, damit der Agent zunächst einen neuen Zustand einliest. Aktionen über solche Referenzen bewegen den Mauszeiger nicht und übernehmen nicht den Fokus. Bei Bedarf erlaubt die Option --headed physische Eingaben. Vor einer Aktion wartet das Werkzeug bis zu 5.000 ms auf ein sichtbares, aktiviertes und stabiles Ziel.
Bei umfangreichen Oberflächen kann der Agent eine verkürzte Momentaufnahme anfordern, die zunächst nur drei Ebenen tief liest. Weitere Bereiche lassen sich gezielt nachladen. Vercel Labs berichtet, dass diese Methode in Slack, VS Code und Notion den Tokenverbrauch gegenüber vollständigen Oberflächenbäumen um 78 bis 96 Prozent reduziert habe. Für Apple Maps nennt das Unternehmen einen Rückgang von 3.811 auf 273 Tokens pro Betrachtung. Diese Werte stammen aus eigenen Angaben; ein unabhängiger Computer-Use-Benchmark liegt nicht vor.
Die Software unterstützt macOS 13 oder neuer, Windows 10 1809 oder neuer beziehungsweise Server 2019 oder neuer sowie Ubuntu 24.04 oder neuer. Verfügbar ist sie für x64 und ARM64 und benötigt keine GPU. Installiert wird sie etwa mit npm install -g agent-desktop; unter macOS ist eine Accessibility-Berechtigung erforderlich, unter Linux eine grafische Sitzung mit at-spi2-core. Anwendungen ohne Accessibility-Struktur kann das Werkzeug nicht bedienen.