O’Leary zufolge erzählen Benchmark-Ergebnisse und technische Kennzahlen wie die Größe eines Kontextfensters nur einen begrenzten Teil davon, ob Entwickler ein Modell tatsächlich in einem agentischen Werkzeug einsetzen. Er verweist auf Teams, die leistungsstarke Modelle kaum nutzen, während andere sich auf Werkzeuge verlassen, die in Benchmarks schlechter abschneiden. Entscheidend sei, ob ein Werkzeug im jeweiligen Anwendungsfall funktioniert und Vertrauen aufbaut.
Als Grundlage nennt O’Leary reale Nutzungsdaten aus dem Gateway von Kilo Code. Das Unternehmen entwickelt einen quelloffenen KI-Agenten für Softwareentwicklung, der als Kommandozeilenwerkzeug, VS-Code-Erweiterung und Cloud-Agent verfügbar ist. Die Zahlenangaben zur Datenmenge sind jedoch nicht einheitlich: Der Präsentationstitel nennt 25 Billionen Tokens, die Beschreibung spricht von 40 Billionen. O’Leary sagt in der Präsentation, die Zahl im Titel treffe es nicht ganz, nennt im vorliegenden Ausschnitt aber keine korrigierte Menge.
O’Leary beschreibt die Einführung von KI-Agenten als Vertrauensleiter. Als Entwicklungsstufen führt er Autovervollständigung, Chat mit Agenten im Programmierkontext und die Koordination mehrerer Agenten an. Wenn grundlegende Funktionen unzuverlässig sind, etwa Vorschläge zu langsam kommen oder ein Werkzeug die falschen Dateien bearbeitet, könne das Vertrauen darunter leiden. Dann werde es schwieriger, komplexere Anwendungen mit mehreren Agenten aufzubauen.
Als technische Problemfelder nennt die Präsentationsbeschreibung den Aufbau des Kontexts, die Weiterleitung von Aufgaben an unterschiedliche Modelle und Rückkopplungsschleifen. Der verfügbare Ausschnitt erläutert diese Punkte nicht im Detail. O’Learys zentrale Aussage ist, dass Teams die Zuverlässigkeit der grundlegenden Arbeitsabläufe berücksichtigen sollten, statt die Auswahl allein an Modellvergleichen auszurichten. Die Präsentation richtet sich an Engineering-Verantwortliche, die agentische Arbeitsabläufe skalieren wollen.