Im Webinar „AI in Production: What Breaks, What Works, and Who Approves It?“ diskutierten Fachleute aus ThoughtWorks, dem Datenschutzbereich und der Finanzbranche über den Betrieb agentischer Systeme. Zichuan Xiong beschrieb semantische Drift in LLM-Pipelines: Text-zu-SQL-Agenten könnten einen Begriff wie „member“ in unterschiedlichen Geschäftsbereichen gleich behandeln. Dadurch entstünden unauffällige Fehler in nachgelagerten Analysen, die bei üblichen Prüfungen nicht zwingend auffielen.
Lan Chu schilderte einen Fehler in einem Finanz-Compliance-System. Ein Agent sollte unzulässige Anlageberatung anhand von Vektorähnlichkeit erkennen. Nach einem nicht angekündigten Update des zugrunde liegenden Embedding-Modells veränderte sich die Verteilung der Vektorabstände. In der Folge stiegen sowohl falsch positive als auch falsch negative Ergebnisse stark an, während die Infrastrukturprüfungen weiterhin unauffällig waren. Auch RAG-Systeme bergen laut den Diskutierenden Risiken, etwa wenn sie vertrauliche Dokumente abrufen. Katharine Jarmul wies zudem darauf hin, dass Modelle Trainingsdaten memorisieren und dadurch Informationen oder API-Schlüssel preisgeben könnten.
Mit der wachsenden Menge von durch Coding-Assistenten erzeugtem Produktionscode werde eine manuelle Prüfung jeder einzelnen Zeile zum Engpass, sagte Prem Chandrasekaran. Stil- und Syntaxkontrollen sollten deshalb in CI/CD-Pipelines automatisiert werden. Menschen könnten sich stärker auf Architektur, Geschäftsabsicht und nicht funktionale Anforderungen konzentrieren. Xiong empfahl außerdem, die Absicht eines Agenten bereits auf Harness-Ebene zu prüfen, bevor dieser einen Pull Request erstellt. Mutation Testing könne zeigen, ob Tests tatsächlich die Programmlogik prüfen oder lediglich eine oberflächliche Codeabdeckung erreichen.
Chu sprach sich dafür aus, die Evaluation von Agenten als dauerhaftes Verfahren zu behandeln. Online-Tracing auf Span-Ebene, gefilterte Logs und die Einordnung von Fehlermustern durch LLMs könnten dabei helfen, Fälle aus dem Produktivbetrieb in Offline-Benchmarks zu übernehmen. Für Sicherheit und Datenschutz empfahl Jarmul systematisches Red Teaming und laufendes Threat Modeling statt einer alleinigen Absicherung durch Prompt Engineering. Chandrasekaran riet, Agenten eigene nicht-menschliche Identitäten und abgestufte Zugriffsrechte zu geben, MCP-Abhängigkeiten zu versionieren und API-Schlüssel außerhalb der Agenten-Laufzeit in Sandboxes zu isolieren.