Das sind KI-Text-Erkenner und so funktionieren sie

KI-Text-Erkenner sind Tools, die darauf spezialisiert sind, zu erkennen, ob ein Text teilweise oder vollständig mit KI-Textgeneratoren wie ChatGPT erstellt wurde. 

Die Nutzung eines KI-Detektors ist sinnvoll, wenn die Vermutung besteht, dass ein Text von einer KI generiert worden sein könnte. Das ist z. B. für Lehrkräfte hilfreich, die überprüfen wollen, ob ihre Schülerinnen und Schüler Texte selbst schreiben oder nicht.

Allerdings sind diese Tools noch neu und bisher eher unzuverlässig.

Scribbrs kostenlose Rechtschreibprüfung

Fehler kostenlos beheben

So funktionieren KI-Text-Erkenner

KI-Detectoren nutzen ähnliche Sprachmodelle wie ChatGPT und andere KI-Textgeneratoren. 

Vereinfacht gesagt, berechnen sie, wie wahrscheinlich es ist, dass Wort B auf Wort A folgt.

Würden die KI-Textgeneratoren den geprüften Text ähnlich erstellen, wird die Schlussfolgerung gezogen, dass der eingegebene Text von ChatGPT oder einem anderen KI-Textgenerator erstellt wurde.  

Dabei spielen zwei Metriken eine Rolle:

1. Perplexität
2. Burstiness

Je geringer die Perplexität und die Burstiness eines Textes sind, desto wahrscheinlicher ist es, dass der Text von einem KI-Textgenerator erstellt wurde. 

Perplexität

Perplexität (auf Englisch ‚perplexity‘) bedeutet ‚Verwirrung‘: 

• Niedrige Perplexität = Text ist nicht verwirrend → von KI erstellt 
• Hohe Perplexität = Text ist verwirrend → von Mensch geschrieben

KI-Textgeneratoren erstellen Texte, indem sie die Wahrscheinlichkeit für das nächste Wort in einem Satz berechnen. Dadurch entstehen Texte, die Sinn ergeben und flüssig geschrieben sind, aber gleichzeitig langweilig oder repetitiv wirken können. 

Menschen schreiben tendenziell Texte mit einer höheren Perplexität. Menschliche Texte sind kreativer, enthalten aber auch mehr Tippfehler als KI-generierte Texte. 

Zum Beispiel gibt es für den Satz ‚Der Mann ging in den Laden, um …‘

• plausiblere (niedrige Perplexität) und
• weniger plausible Möglichkeiten (hohe Perplexität),

um ihn zu ergänzen.

Perplexitätslevel eines Beispielsatzes

Burstiness

Burstiness bedeutet so viel wie ‚durchbrechen‘ oder ‚aufsprengen‘. Burstiness ist ein Maß für die Variation in der Satzstruktur und der Satzlänge. 

Frage dich: Wird die gewöhnliche Satzstruktur ‚durchbrochen‘, also variiert?

• Niedrige Burstiness = Satzstruktur und -länge werde kaum variiert → von KI erstellt 
• Hohe Burstiness = Satzstruktur und -länge werde variiert → von Mensch geschrieben

Von einer KI erstellte Texte weisen ein niedrigeres Level an Burstiness auf, weil KI-Textgeneratoren tendenziell Sätze mit

• einer gewöhnlichen Satzstruktur und 
• einer durchschnittlichen Länge generieren.

Eine mögliche Alternative: das Wasserzeichen

OpenAI, das Unternehmen hinter ChatGPT, arbeitet derzeit an einem ‚Wasserzeichensystem‘.

Dabei wird ein unsichtbares Wasserzeichen in einen von einem KI-Textgenerator erstellten Text eingefügt. 

In der Theorie kann so eindeutig festgestellt werden, ob ein Text von einer KI erstellt wurde.

Allerdings sind aktuell noch keine Details darüber bekannt, wie dieses System konkret funktionieren könnte.  

Zum Beispiel ist unklar, ob das eingefügte Wasserzeichen bestehen bleibt, wenn der Text umgeschrieben wird, nachdem er vom KI-Textgenerator erstellt wurde. 

So zuverlässig sind KI-Text-Erkenner

KI-Text-Erkenner funktionieren bei längeren Texten normalerweise gut.

Sie funktionieren weniger gut, wenn der vom Menschen eingegebene Prompt die Anweisung enthält, den Text weniger vorhersagbar zu gestalten. 

Sie sind auch unzuverlässig, wenn ein Text nachträglich bearbeitet oder paraphrasiert wurde. 

Es kann auch passieren, dass von Menschen geschriebene Texte fälschlicherweise als KI-generiert markiert werden. Das passiert vor allem dann, wenn sie

• ein niedriges Level an Perplexität (wenig verwirrend) und
• ein niedriges Level an Burstiness (wenig variierte Satzstruktur und -länge)

aufweisen.

Nach unseren bisherigen Forschungserkenntnissen erkennen KI-Text-Erkenner KI-generierte Texte mit einer Genauigkeit von etwa 60 %. 

Die Tools geben daher nützliche Hinweise darauf, ob ein Text eher von einer KI oder eher von einem Menschen erstellt wurde. Wir raten aber davon ab, KI-Text-Erkenner als alleinige Beweise zu verwenden. 

Da KI-Textgeneratoren wie ChatGPT zudem ständig weiterentwickelt werden, werden KI-Text-Erkenner immer mit den neuesten Entwicklungen mithalten müssen und technologischen Innovationen tendentiell hinterherhinken.

KI-Text-Erkenner vs. Plagiatsprüfungen

An Universitäten können sowohl KI-Text-Erkenner als auch Plagiatsprüfungen eingesetzt werden, um Täuschungsversuche wie das Begehen von Plagiat zu verhindern.

KI-Text-Erkenner sind darauf spezialisiert, Texte zu erkennen, die von einer KI erstellt wurden. Dazu werden die Texte auf die Merkmale Perplexität und Burstiness hin analysiert. Sie werden nicht mit einer Datenbank abgeglichen. 

Plagiatsprüfungen sind darauf spezialisiert, Texte zu erkennen, die aus einer anderen Quelle kopiert wurden. Dazu werden die Texte mit einer großen Datenbank abgeglichen, die bereits veröffentlichte Quellen enthält. Sie werden nicht auf bestimmte Merkmale untersucht. 

Darum finden auch Plagiatsprüfungen mit KI erstellte Texte  

Wir haben festgestellt, dass in Texten, die von einer KI erstellt wurden, bei einer Plagiatsprüfung häufig Plagiate gefunden werden. 

Das liegt daran, dass KI-Textgeneratoren wie ChatGPT vorhandene Texte bei der Texterstellung verwenden. 

Diese Texte werden zwar nicht plagiiert, sondern es werden normalerweise neue Sätze generiert. Dennoch können die Texte Teile enthalten, die  

• entweder direkt kopiert
• oder zumindest sehr ähnlich sind. 

Das passiert am häufigsten bei populären Themen. Weniger häufig passiert es bei ungewöhnlichen Themen, über die noch nicht so viele Texte geschrieben wurden.  

Prognose: Plagiatsprüfungen finden zukünftig mehr mit KI erstellte Texte

Da immer mehr KI-generierte Texte im Internet veröffentlicht werden, ist es wahrscheinlich, dass in neuen KI-generierten Texten immer häufiger Plagiate gefunden werden. 

Das liegt daran, dass bereits andere ähnlich formulierte KI-generierte Texte zum selben Thema im Internet kursieren.

Folglich können Plagiatsprüfungen oft Plagiate in KI-generierten Texten erkennen, obwohl sie nicht für diesen Zweck entwickelt wurden.

Sie sind jedoch sicherlich weniger effektiv als KI-Text-Erkenner.

Wann die Nutzung eines KI-Detektors sinnvoll ist

Die Nutzung eines KI-Detektors ist dann sinnvoll, wenn geprüft werden soll, ob ein Text von einer KI geschrieben wurde. Potenzielle Nutzende sind:

• Lehrende an Schulen und Unis, die sicherstellen möchten, dass die von ihnen korrigierten Arbeiten originell sind
• Verlagsmitarbeitende, die sicherstellen möchten, dass sie nur von Menschen geschriebene Texte veröffentlichen
• Personalvermittelnde, die sicherstellen möchten, dass Anschreiben von den Bewerbenden selbst verfasst wurden
• Web Content Writer, die von einer KI generierte Texte veröffentlichen wollen, aber besorgt sind, dass diese niedriger ranken, wenn sie als solche erkannt werden
• Moderierende auf Social Media, die durch KI generierte Fake News und Spam-Texte identifizieren möchten

Aufgrund der eingeschränkten Zuverlässigkeit von KI-Text-Erkennern zögern die meisten Nutzenden jedoch, sich vollständig auf sie zu verlassen. 

Die Tools sind jedoch zunehmend beliebt, um Texte zu prüfen, bei denen bereits der Verdacht besteht, dass sie von einer KI generiert worden sein könnten. 

KI-Texte manuell erkennen

Neben der Verwendung von KI-Text-Erkennern kannst du lernen, von einer KI erstellte Texte selbst zu erkennen. 

Das ist nicht einfach, denn auch von Menschen geschriebene Text können roboterhaft wirken. Umgekehrt produzieren KI-Textgeneratoren immer menschlicher wirkende Texte. 

Dennoch ist es möglich, einen guten Instinkt für KI-generierte Texte zu entwickeln.

Niedrige Perplexität und Burstiness manuell erkennen 

Die spezifischen Kriterien, nach denen KI-Text-Erkenner Texte analysieren – niedrige Perplexität und Burstiness – sind ziemlich technisch. 

Trotzdem kannst du versuchen, sie manuell zu erkennen:

• Niedrige Perplexität: Wortwahl im Text wirkt vorhersehbar und generisch  
• Niedrige Burstiness: Satzbau und Satzlänge wirken monoton und wenig abwechslungsreich

Weitere Möglichkeiten, um KI-Texte manuell zu erkennen 

Du kannst auch auf Kriterien achten, die bei einer Untersuchung anhand eines KI-Text-Erkenners nicht beachtet werden: 

• Übermäßig höfliche Sprache: Chatbots wie ChatGPT sind darauf ausgelegt, sich hilfsbereit zu verhalten, weshalb der Sprachstil höflich und formell ist.
• Ausweichende Sprache: Achte auf das Fehlen von kühnen, originellen Aussagen und auf das häufige Vorhandensein von ausweichenden Phrasen: 
  • ‚Es ist wichtig zu beachten, dass…‘ 
  • ‚X gilt allgemein als…‘ 
  • ‚X wird als…‘ 
  • ‚Man könnte sagen, dass…‘
• Sprache passt nicht zur angeblich verfassenden Person: Wenn du den üblichen Schreibstil einer Person (z. B. eines Schülers) kennst, kannst du normalerweise erkennen, wenn der Sprachgebrauch vom üblichen Sprachstil abweicht.
• Unbelegte oder falsch zitierte Behauptungen: Beim wissenschaftlichen Schreiben ist es wichtig, alle Quellen zu zitieren. KI-Textgeneratoren neigen dazu, Quellen nicht oder falsch zu zitieren. Zum Beispiel zitieren sie nicht existierende oder irrelevante Quellen.
• Logische Fehler: Obwohl von einer KI erstellte Texte sich zunehmend flüssig lesen, sind sie dennoch nicht immer kohärent in Bezug auf den eigentlichen Inhalt. Achte auf Stellen, an denen der Text sich selbst widerspricht, eine unplausible Aussage getroffen wird oder zusammenhanglose Argumente formuliert werden..

Allgemein gilt, dass das Ausprobieren von KI-Textgeneratoren deine Fähigkeit verbessert, Texte zu erkennen, die von einer KI erstellt wurden.

Häufig gestellte Fragen

Was ist ein KI-Text-Erkenner?

Ein KI-Text-Erkenner ist ein Tool, das darauf spezialisiert ist, zu erkennen, ob ein Text teilweise oder vollständig mit KI-Textgeneratoren wie ChatGPT erstellt wurde.

Wie funktionieren KI-Text-Erkenner?

KI-Text-Erkenner nutzen ähnliche Sprachmodelle wie ChatGPT und andere KI-Textgeneratoren.

Dadurch können sie berechnen, wie wahrscheinlich es ist, dass Wort B auf Wort A folgt.

Würden die KI-Textgeneratoren den geprüften Text ähnlich erstellen, wird geschlussfolgert, dass der eingegebene Text von einem KI-Textgenerator erstellt wurde.

Sind KI-Text-Erkenner zuverlässig?

Ja und nein.

Bei längeren Texten funktionieren KI-Text-Erkenner oft gut.

Bei Texten, die nachträglich bearbeitet wurden, funktionieren sie weniger gut.