Studie: ChatGPT-Geschichten erhielten von Lesern bessere Bewertungen als Texte menschlicher Autoren

Kurzgeschichten, die von ChatGPT verfasst wurden, wurden von Lesern im Durchschnitt als fesselnder und qualitativ hochwertiger empfunden als Texte, die von menschlichen Autoren stammen. Wie aus einer Zusammenstellung von Euronews Türkçe hervorgeht, wurde die Studie der Forscher der Villanova University in den USA im Fachmagazin *Judgment and Decision Making* veröffentlicht.

Eines der zentralen Ergebnisse der Untersuchung war, dass es den Teilnehmern schwerfiel, die Quelle der Texte zu identifizieren. In den Experimenten konnten viele Teilnehmer nicht zuverlässig bestimmen, welche Geschichte von einer Künstlichen Intelligenz geschrieben wurde.

WAS WURDE IN DEN EXPERIMENTEN UNTERSUCHT?

Im ersten Experiment lasen 1682 erwachsene Freiwillige eine von insgesamt sechs Kurzgeschichten. Drei dieser Geschichten wurden von Menschen und drei von ChatGPT verfasst. Jeder von der KI generierte Text behandelte dasselbe Thema wie eine der Geschichten der menschlichen Autoren.

Die Forscher teilten den Teilnehmern mit, ob die gelesene Geschichte von einem Menschen oder einer KI geschrieben wurde; diese Information war jedoch nicht immer korrekt. Einige Teilnehmer erhielten absichtlich falsche Informationen. Anschließend wurden die Leser gebeten, den Text hinsichtlich Fesselung, Interesse und Qualität zu bewerten.

Den Ergebnissen zufolge schnitten die von ChatGPT verfassten Geschichten bei den Durchschnittsbewertungen besser ab als die Texte der menschlichen Autoren. Es wurde jedoch auch festgestellt, dass die Teilnehmer dazu neigten, einen Text höher zu bewerten, wenn ihnen gesagt wurde, er sei von einem Menschen geschrieben worden.

Die Studie wies zudem darauf hin, dass persönliche Einstellungen gegenüber Künstlicher Intelligenz die Bewertung beeinflussen können. Teilnehmer mit positiveren Ansichten über KI neigten dazu, Geschichten, die angeblich von ChatGPT stammten, besser zu bewerten.

Anschließend führten die Forscher zwei weitere Experimente mit 905 Personen durch. In dieser Phase wurden den Teilnehmern zwei Geschichten zum selben Thema präsentiert: Eine von einem Menschen, die andere von ChatGPT verfasst. Die Teilnehmer wurden gebeten zu erraten, welcher der Texte von der KI stammte.

Im ersten zusätzlichen Experiment lag die Rate der korrekten Vorhersagen bei lediglich 40 Prozent. Im zweiten Experiment wurde dieser Wert mit 52 Prozent gemessen. Die Forscher erklärten, dass diese Ergebnisse zeigten, dass Menschen im Allgemeinen nicht in der Lage seien, KI-Texte zuverlässig von menschlich verfassten Geschichten zu unterscheiden.

In der Studie wurde zudem festgestellt, dass die Selbsteinschätzung der Teilnehmer bezüglich ihrer literarischen Kompetenz nicht mit dem Erfolg ihrer Vorhersagen korrelierte, während diejenigen, die angaben, mehr über KI-Systeme zu wissen, ChatGPT-Texte präziser identifizieren konnten.

Nachrichtenquelle: 12punto