Herkömmliche Betriebsmetriken zeigen etwa Antwortzeiten, technische Fehler und Tokenverbrauch. Sie sagen jedoch nicht automatisch aus, ob ein Agent korrekt antwortet, die bereitgestellten Informationen nutzt oder eine Anfrage erfüllt. Grafana Labs schlägt deshalb vor, das Verhalten selbst zu bewerten und die Ergebnisse als Service Level Indicators (SLIs) zu erfassen.
Eine Evaluation prüft eine einzelne Interaktion auf ein bestimmtes Kriterium. Dazu zählen laut Grafana Labs, ob die Antwort im vorgegebenen Kontext verankert ist, die Aufgabe erfüllt, toxische Inhalte enthält, persönliche Daten offenlegt oder einer Prompt Injection nachgibt. Als Prüfer kann ein anderes Sprachmodell dienen; für klar erkennbare Merkmale kommen auch deterministische Verfahren wie reguläre Ausdrücke infrage.
Die einzelnen Eigenschaften sollen getrennt gemessen werden, statt sie in einem einzigen Qualitätswert zusammenzufassen. Ein Agent kann beispielsweise gut im Kontext verankerte Antworten liefern, dabei aber hohe Kosten verursachen. Grafana Labs nennt als Beispiel ein Service-Level-Ziel, nach dem über 30 Tage 95 Prozent der Unterhaltungen als erfüllt bewertet werden sollen. Die übrigen 5 Prozent bilden das Fehlerbudget für diesen Zeitraum.
Solange noch genügend Fehlerbudget vorhanden ist, können Teams Änderungen an Prompts, Modellen oder dem Agentenverhalten testen. Wird das Budget stärker aufgebraucht, kann die Verbesserung der Qualität Vorrang erhalten. Das Modell soll außerdem graduelle Verschlechterungen erfassen: Ein Agent kann weiterhin technisch erfolgreich antworten, während die Nützlichkeit seiner Antworten allmählich sinkt. Einzelne schlechte Interaktionen fallen dabei weniger ins Gewicht als ein anhaltender Rückgang, der das Budget nach und nach verbraucht.
Welche Zielwerte für Eigenschaften wie Aufgabenerfüllung oder Kontexttreue angemessen sind, ist laut Grafana Labs weniger etabliert als bei klassischen Verfügbarkeitszielen. Das Unternehmen schlägt vor, zunächst mit Evaluationen eine Ausgangsbasis zu ermitteln und historische Ergebnisse zur Wahl eines Ziels heranzuziehen. Später kann dieses Ziel schrittweise verschärft werden.