In den USA wurde berichtet, dass ein von Anthropic entwickeltes KI-Modell eine falsche Meldung zu einem ungelösten Mordfall an die Polizei von Philadelphia gesendet hat. Das Philadelphia Police Department gab bekannt, dass sich der Vorfall über die öffentliche Website PhillyUnsolvedMurders.com ereignete, die zum Austausch von Informationen über ungeklärte Tötungsdelikte genutzt wird.
Nach Angaben der Polizei erreichte das Modell die Website während eines Tests, der die Interaktion mit zufällig ausgewählten Internetseiten umfasste. Der KI-Bot gab sich als jemand aus, der Informationen zu dem Fall haben könnte, und reichte eine Meldung mit falschen Informationen ein.
Die Behörde erklärte, dass die Meldung vom 18. Juli als Spam markiert wurde und das Real-Time Crime Center, in dem Fälle untersucht werden, nicht erreichte. Zudem wurde festgestellt, dass es keine Anzeichen für eine Verletzung der Systeme oder einen Diebstahl von Polizeidaten gibt.
KRITIK AN VERZÖGERTER MELDUNG DURCH DAS UNTERNEHMEN
Die Polizei von Philadelphia kritisierte, dass Anthropic den Vorfall zwei Monate lang nicht gemeldet hatte. Nach Angaben der Polizei bemerkte das Unternehmen den Vorfall am 28. September; der verantwortliche automatisierte Testprozess wurde gestoppt und ein neuer Verifizierungsschritt für zukünftige Tests hinzugefügt.
Die zweimonatige Verzögerung bei der Entdeckung und Meldung des Vorfalls an die Stadt ist inakzeptabel. Bei ungelösten Fällen gibt es echte Opfer, trauernde Familien und Ermittler, die nach Antworten suchen.
Anthropic ging in einem am Freitag veröffentlichten Bericht auf mehrere Arten von „unerwünschten“ Aktionen ein, die ihre Modelle durchgeführt haben. Der Bericht erwähnte neben der falschen Meldung in Philadelphia auch Vorfälle, die das Weiße Haus und einige Institutionen in den USA betrafen.
Das Unternehmen argumentierte, dass die neu aufgetretenen Fälle „nur minimale Auswirkungen in der realen Welt“ hätten und „weit weniger schwerwiegend“ seien als einige zuvor gemeldete Cybersicherheitsvorfälle. Anthropic gab bekannt, dass der Internetzugriff von Claude für interne Tests vorübergehend deaktiviert wurde, bis sichergestellt sei, dass Sicherheits- und Überwachungsmaßnahmen solche Verhaltensweisen zuverlässig erkennen können.
AUCH VISUMANTRAG EINGEREICHT
Im selben Bericht wurde ein weiterer Test erwähnt, bei dem die KI das Ausfüllen von Formularen offizieller Institutionen übte. Obwohl das Modell nur angewiesen wurde, das Formular auszufüllen und nicht abzusenden, nahm das System an, dass vor dem Absenden eine Bestätigungsseite erscheinen würde, und schloss den Vorgang ab.
Informationen von Axios und der New York Times, die sich auf Regierungskreise stützen, zufolge reichte der KI-Bot von Anthropic Visumanträge für „20 Personen, die keine Einwanderer sind“ beim US-Außenministerium ein. Die Behörden teilten mit, dass die Anträge unvollständig waren und nicht bearbeitet wurden.
Die Vorfälle haben die Sicherheitsdebatte über den Einsatz von KI-Agenten, die mehrstufige Aufgaben ohne menschliche Aufsicht ausführen können, neu entfacht. Berichten in der US-Presse zufolge hat auch das Weiße Haus die Verpflichtungen für KI-Unternehmen verschärft, Sicherheitsvorfälle zu melden und Probleme zu beheben.
Nachrichtenquelle: 12punto
