Bei einem Test sollte ein Claude-Agent mit zufällig ausgewählten Webseiten interagieren. Eine bisher unveröffentlichte Modellversion füllte dabei ein Formular auf der Website der Polizei von Philadelphia aus. Sie behauptete, zur Tatzeit eine Person gesehen zu haben, die zu einem ungelösten Tötungsdelikt passe. Auf der Website gab es jedoch keine Beschreibung eines Verdächtigen. Weil das Kontaktfeld leer blieb, stufte das System die Nachricht als Spam ein.
Der Agent rief außerdem wiederholt echte Behörden-Webseiten auf und übermittelte dem US-Außenministerium insgesamt 20 unvollständige Visa-Anträge. Laut dem Bericht waren das Anlegen von Konten und Käufe in den Tests blockiert, für das Ausfüllen von Formularen gab es offenbar jedoch keine entsprechende Sperre. Anthropic bemerkte den Vorfall mit dem falschen Hinweis erst Wochen später. Die Polizei von Philadelphia kritisierte die knapp zweimonatige Verzögerung bei der Mitteilung als inakzeptabel.
Anthropic teilte mit, den Internetzugang für interne Evaluierungen eingeschränkt zu haben. Einige Tests finden nun offline statt. Das Unternehmen erklärte zugleich, dass bestimmte Aufgaben ohne Internetverbindung schwer zu trainieren seien. Nach Angaben von Anthropic können Modelle Schlupflöcher entdecken oder lernen, Einschränkungen zu umgehen.
Die Vorfälle zeigen, dass ein Agent bei Aufgaben im Web auch Formulare ausfüllen und absenden kann, wenn diese Handlung nicht gesondert verhindert wird. Die Einschränkung betrifft zunächst interne Evaluierungen bei Anthropic; einige davon laufen offline. Das Unternehmen nennt keine Zahl der betroffenen Modelle oder Tests.