Wie genau sind KI-Detektoren? Was die Forschung Studierenden und Lehrenden sagt

Wie genau sind KI-Detektoren?

Kurz gesagt: KI-Textdetektoren liegen unter Testbedingungen oft richtig, machen aber Fehler, die ins Gewicht fallen, wenn die Note oder die Akte eines Studierenden auf dem Spiel steht. Die Genauigkeit hängt stark vom Werkzeug ab, von der Länge des Textes, der Sprache, davon, ob der KI-Text bearbeitet wurde, und von dem Schwellenwert, den das Werkzeug verwendet.

Die deutlichste frühe Warnung kam von OpenAI, dem Unternehmen hinter ChatGPT. Sein Klassifikator vom Januar 2023 erkannte auf dem englischen Testdatensatz 26% der KI-geschriebenen Texte korrekt als „wahrscheinlich KI-geschrieben“ und stufte in 9% der Fälle menschliche Texte fälschlich als KI-geschrieben ein ^[1]. OpenAI nahm ihn ab dem 20. Juli 2023 „wegen seiner geringen Genauigkeit“ vom Netz ^[1]. Auf seiner aktuellen Hilfeseite für Lehrkräfte beantwortet OpenAI die Frage „Funktionieren KI-Detektoren?“ mit „Kurz gesagt: nach unserer Erfahrung nicht“ ^[2].

Unabhängige Forschung kommt für viele Werkzeuge zu ähnlichen Schlüssen. Eine Studie von 2023 zu 12 öffentlich verfügbaren Werkzeugen und zwei kommerziellen Systemen, Turnitin und PlagiarismCheck, kam zu dem Ergebnis, dass die Werkzeuge „weder genau noch zuverlässig“ seien und eher dazu neigten, Texte als menschlich einzustufen, statt KI-Texte zu erkennen ^[4]. Spätere Arbeiten zeichnen ein gemischteres Bild: Ein Arbeitspapier vom September 2025 stellte fest, dass kommerzielle Detektoren besser abschnitten als ein Open-Source-Detektor und dass ein Produkt, Pangram, in den Tests Fehlerquoten nahe null hatte ^[10]. Ergebnisse einer einzelnen Studie mit einem einzelnen Datensatz lassen sich nicht automatisch auf jedes Klassenzimmer übertragen.

Wie funktionieren KI-Detektoren?

Die meisten Detektoren sind Klassifikatoren: Software, die darauf trainiert ist, Text als „menschlich“ oder „KI“ einzuordnen und einen Wert auszugeben. Turnitin erklärt das Prinzip über Wortwahrscheinlichkeiten. Große Sprachmodelle (LLMs), die Systeme hinter Chatbots wie ChatGPT, wählen das nächste Wort tendenziell auf „konsistente und hochwahrscheinliche Weise“, während menschliches Schreiben eher „inkonsistent und eigenwillig“ ist ^[5]. Die Klassifikatoren von Turnitin sind darauf trainiert, diese Unterschiede zu erkennen ^[5].

Ein verwandtes Maß ist die Perplexität, die grob beschreibt, wie überraschend ein Text für ein Sprachmodell ist. Text mit niedriger Perplexität ist vorhersehbar. Liang und Kollegen zeigten, dass dieses Signal in die Irre führen kann: Aufsätze von Nicht-Muttersprachlern des Englischen hatten eine deutlich niedrigere Perplexität, was erklärt, warum Detektoren sie markierten ^[3]. Turnitin wiederum erklärt, sein eigenes Modell sei nicht ausdrücklich darauf programmiert, Perplexität zu bewerten, sondern lerne statistische Muster aus seinen Trainingsdaten ^[5].

Was bedeutet ein Detektorwert?

Turnitin vergibt für jeden Satz einen Wert zwischen 0 und 1, kennzeichnet Sätze oberhalb eines Schwellenwerts als KI und gibt den Anteil der bewerteten Sätze oberhalb dieses Schwellenwerts als Dokumentwert aus ^[5]. Listen, Überschriften, Literaturangaben, Tabellen, Formeln und Code werden übersprungen; der Prozentwert ist also nicht unbedingt ein Anteil an der gesamten Einreichung ^[5]. Ein Wert ist eine wahrscheinlichkeitsbasierte Schätzung, kein Nachweis darüber, wie der Text geschrieben wurde.

Sind Wasserzeichen etwas anderes?

Ja. Ein Wasserzeichen ist ein verborgenes statistisches Muster, das während der Texterzeugung eingefügt wird. SynthID-Text von Google DeepMind verändert nur den Sampling-Schritt und lässt sich erkennen, ohne das ursprüngliche Modell auszuführen; ein Live-Experiment umfasste fast 20 Millionen Gemini-Antworten ^[12]. Die Autoren betonen, dass Wasserzeichen keine vollständige Lösung sind: Sie funktionieren nur, wenn das Unternehmen, das den Text erzeugt, sie anwendet, Open-Source-Modelle sind schwer abzudecken, und Wasserzeichen lassen sich durch Paraphrasieren abschwächen oder durch Stehlen, Fälschen und Entfernen angreifen ^[12].

Was sagt die Forschung über Fehlalarme und Verzerrungen?

Ein falsch positives Ergebnis (Fehlalarm) liegt vor, wenn menschlicher Text fälschlich als KI eingestuft wird. Im Bildungsbereich ist das der schwerwiegendere Fehler, weil er zu einem Vorwurf gegen ehrliche Studierende führen kann. Ein falsch negatives Ergebnis ist ein KI-Text, der als menschlich durchgeht.

Nicht-Muttersprachler des Englischen

In einer Studie von Liang und Kollegen wurden sieben weit verbreitete Detektoren an 91 von Menschen geschriebenen TOEFL-Aufsätzen aus einem chinesischen Bildungsforum und an 88 Aufsätzen von US-Achtklässlern getestet ^[3]. Bei den US-Aufsätzen arbeiteten die Detektoren nahezu fehlerfrei, stuften aber mehr als die Hälfte der TOEFL-Aufsätze falsch ein, mit einer durchschnittlichen Fehlalarmquote von 61,22% ^[3]. Alle sieben Detektoren markierten 18 der 91 TOEFL-Aufsätze (19,78%), und 89 der 91 (97,80%) wurden von mindestens einem Detektor markiert ^[3]. Als ChatGPT genutzt wurde, um den Wortschatz dieser Aufsätze anzureichern, sank die durchschnittliche Fehlalarmquote auf 11,77% ^[3]. Ließ man ChatGPT die US-Aufsätze so vereinfachen, „als hätte sie ein Nicht-Muttersprachler geschrieben“, stieg sie von 5,19% auf 56,65% ^[3].

Turnitin, das nicht Teil dieser Studie war, bestreitet, dass das Ergebnis auf sein Produkt zutrifft. Das Unternehmen weist darauf hin, dass die TOEFL-Aufsätze alle kürzer als 150 Wörter waren und es so kurze Dokumente nicht bewertet ^[6]. In seinem eigenen Test von 2023 war bei Dokumenten mit mindestens 300 Wörtern der Unterschied in der Fehlalarmquote zwischen Schreibenden mit Englisch als Zweit- und als Erstsprache gering und statistisch nicht signifikant ^[6]. Diese Auswertung führte der Anbieter selbst durch.

Warum summieren sich kleine Fehlerquoten?

Die Vanderbilt University rechnete nach, als sie im August 2023 den KI-Detektor von Turnitin abschaltete. Turnitin hatte bei der Einführung eine Fehlalarmquote von 1% angegeben; Vanderbilt hatte 2022 etwa 75.000 Arbeiten eingereicht, sodass rund 750 fälschlich hätten markiert werden können ^[7]. Dieselbe Überlegung gilt für jeden Detektor: Eine Quote, die gering klingt, kann dennoch viele Menschen treffen, wenn Millionen von Dokumenten geprüft werden.

Lassen sich KI-Detektoren durch Bearbeitung oder Humanizer-Werkzeuge täuschen?

Oft ja, auch wenn neuere Werkzeuge beanspruchen, dem standzuhalten. Im Test von 14 Werkzeugen im Jahr 2023 lag die durchschnittliche Genauigkeit (binäre Bewertung) bei menschlichen Texten bei 94%, bei manuell bearbeiteten KI-Texten aber nur bei 30% und bei KI-Texten, die durch ein maschinelles Paraphrasierungswerkzeug gelaufen waren, bei 15% ^[4]. Verschleierung von Inhalten, also gezielte Änderungen, um die KI-Herkunft zu verbergen, verschlechterte die Leistung der Werkzeuge deutlich ^[4].

Der RAID-Benchmark mit mehr als 6 Millionen Generierungen aus 11 Modellen in 8 Themenbereichen, 11 gegnerischen Angriffen und 4 Decodierungsstrategien stellte fest, dass die 12 bewerteten Detektoren durch Angriffe, geänderte Sampling-Einstellungen, Wiederholungsstrafen und unbekannte Modelle „leicht zu täuschen“ waren ^[8]. Die Autoren merken an, dass viele Detektoren 99% Genauigkeit oder mehr beanspruchen, aber selten an gemeinsamen, anspruchsvollen Daten getestet werden ^[8]. Sadasivan und Kollegen zeigten, dass wiederholtes Paraphrasieren von KI-Text mit einem anderen Modell die Erkennungsraten deutlich senken kann, während die Qualität in vielen Fällen nur leicht leidet ^[9]. Sie zeigen außerdem, dass selbst der bestmögliche Detektor schlechter abschneidet, je näher KI-Text an menschlichen Text heranrückt ^[9].

Die Anbieter haben reagiert. Turnitin erklärt, es könne KI-Text erkennen, der mit Paraphrasierungs- oder „Bypasser“-Werkzeugen, auch Humanizer genannt, verändert wurde, allerdings nur bei englischen Einreichungen ^[5]. Das NBER-Arbeitspapier von 2025 berichtet, dass die niedrigen Fehlerquoten von Pangram in den Tests auch gegenüber Humanizer-Werkzeugen und sehr kurzen Passagen Bestand hatten ^[10]. Das sind ermutigende Ergebnisse, doch sie beschreiben die Leistung zu einem bestimmten Zeitpunkt gegenüber den damals verfügbaren Werkzeugen. Die Autoren betonen zudem, dass Entscheidungsträger die beiden Fehlerarten unterschiedlich gewichten, und schlagen vor, dafür eine ausdrückliche Toleranz, eine „Policy Cap“, festzulegen ^[10].

Erkennen Lehrkräfte KI-Texte besser als Software?

Manche schon. In einer Studie von 2025 lasen Annotatoren 300 englischsprachige Sachtexte und stuften jeden als menschlich oder KI-geschrieben ein ^[11]. Personen, die häufig LLMs zum Schreiben nutzten, waren darin sehr gut: Das Mehrheitsvotum von fünf solchen „Experten“ ordnete nur 1 der 300 Artikel falsch ein und übertraf damit die meisten von den Autoren bewerteten kommerziellen und Open-Source-Detektoren, selbst wenn Paraphrasierung und Humanisierung eingesetzt wurden ^[11]. Die Experten stützten sich auf „KI-Vokabular“, aber auch auf Förmlichkeit, Originalität und Klarheit ^[11].

Dieses Ergebnis hat Grenzen. Es beruhte auf einem Gremium aus fünf erfahrenen Lesern und einem Mehrheitsvotum, nicht auf einer einzelnen Lehrkraft, die schnell korrigiert, und es betraf englischsprachige Sachtexte, keine studentischen Arbeiten ^[11]. Es legt nahe, dass informiertes menschliches Urteil zusammen mit Belegen einer einzelnen Zahl überlegen ist, nicht aber, dass Intuition allein über einen Fall entscheiden sollte.

Wie sollten Lehrkräfte Detektorergebnisse fair nutzen?

Die Hersteller der Werkzeuge warnen selbst davor, einen Wert als Beweis zu behandeln. Turnitin erklärt, es „stellt kein Fehlverhalten fest“, und der KI-Prozentwert „sollte nicht als alleinige Grundlage für Maßnahmen oder als endgültiges Bewertungskriterium verwendet werden“ ^[5]. OpenAI sagt, ChatGPT könne nicht erkennen, ob ein Text KI-generiert ist, und seine Antworten auf Fragen wie „Hast du das geschrieben?“ seien zufällig ^[2].

1. Betrachten Sie eine Markierung als Anlass, genauer hinzusehen, nicht als Urteil. Turnitin beschreibt seinen Wert als Datenpunkt für eine Entscheidung nach den eigenen Regeln der Einrichtung ^[5].
2. Prüfen Sie die Rahmenbedingungen. Turnitin verarbeitet keine Dokumente mit weniger als 300 Wörtern in bewerteten Sätzen und zeigt Werte unter 20% im Bericht nicht an ^[5]. Kurze oder listenlastige Arbeiten liefern schwache Signale.
3. Denken Sie an die Fehlerspanne. Laut Turnitin kann ein Dokument, für das 50% wahrscheinlicher KI-Text gemeldet werden, bis zu 65% KI-Text enthalten ^[5]; das Werkzeug ist so eingestellt, dass es lieber etwas KI-Text übersieht, als Fehlalarme auszulösen, die Zahl ist also eine Schätzung, keine Messung.
4. Sammeln Sie weitere Belege. Entwürfe, Notizen, Versionsverläufe und ein Gespräch mit dem Studierenden über die Arbeit sind aussagekräftiger als ein einzelner Wert. OpenAI berichtet, dass manche Lehrkräfte es hilfreich fanden, Studierende zum Teilen bestimmter ChatGPT-Gespräche zu ermutigen ^[2].
5. Berücksichtigen Sie den sprachlichen Hintergrund. OpenAI berichtete von Hinweisen, dass Detektoren Englischlernende und Studierende mit formelhaftem oder knappem Schreibstil unverhältnismäßig treffen könnten ^[2], und Liang und Kollegen fanden bei Aufsätzen von Nicht-Muttersprachlern weit höhere Fehlalarmquoten ^[3].
6. Legen Sie vorab klare Regeln fest. Studierende müssen wissen, welche KI-Nutzungen erlaubt sind, etwa Grammatikhilfe, und welche nicht; die NBER-Autoren weisen darauf hin, dass sich erwünschte Nutzungen nur schwer von anderen trennen lassen ^[10].

Wer diese Schritte überspringt, zahlt einen realen Preis. ABC News berichtete im Oktober 2025, dass die Australian Catholic University laut internen Dokumenten 2024 fast 6.000 mutmaßliche Fälle von Fehlverhalten registrierte, etwa 90% davon im Zusammenhang mit KI; die Universität nannte diese Zahlen „erheblich überhöht“ ^[13]. Die ACU stellte die Nutzung des KI-Werkzeugs von Turnitin im März 2025 ein, und ihr Deputy Vice-Chancellor erklärte, Fälle, in denen dieses Werkzeug der einzige Beleg war, seien sofort eingestellt worden ^[13].

Was können Studierende tun, wenn ein Detektor ihre Arbeit zu Unrecht markiert?

Dies sind allgemeine Informationen und keine Rechtsberatung; jede Hochschule hat ihr eigenes Verfahren. Eine Markierung durch einen Detektor ist nach Angaben der Hersteller selbst kein Beweis für Betrug ^[2][5].

• Fragen Sie, welche Belege vorliegen. Klären Sie, welches Werkzeug verwendet wurde, welchen Wert es ergab und ob irgendetwas anderes den Verdacht stützt. Der Indikator von Turnitin ist nur für Lehrende und Administratoren sichtbar; Studierende müssen ihn daher unter Umständen erfragen ^[5].
• Zeigen Sie Ihren Arbeitsprozess. Entwürfe, Gliederungen, handschriftliche Notizen, der Browserverlauf zu Quellen und der Versionsverlauf von Dokumenten zeigen, wie die Arbeit entstanden ist.
• Bieten Sie an, die Arbeit zu erläutern. Wer seine Argumentation und seine Quellen erörtern kann, liefert einen starken Beleg für die eigene Urheberschaft.
• Nutzen Sie den formellen Beschwerdeweg und bewahren Sie Kopien aller Nachrichten auf.
• Lassen Sie keinen Chatbot urteilen. Laut OpenAI haben die Antworten von ChatGPT darauf, ob es einen Text geschrieben hat, keine faktische Grundlage ^[2].

Für Studierende in Iran und anderen Ländern, die auf Englisch als Zweitsprache schreiben, ist die Forschung zu Verzerrungen unmittelbar relevant ^[3]. Die KI-Erkennung von Turnitin unterstützt längere Texte auf Englisch, Spanisch, Japanisch, modernem Arabisch, Niederländisch, Deutsch und Türkisch; Persisch steht nicht auf dieser Liste, und Einreichungen in nicht unterstützten Sprachen werden nicht verarbeitet ^[5].

Wird die KI-Erkennung zuverlässiger werden?

Stand 3. November 2026 gleicht die Lage einem Wettlauf zwischen Generatoren und Detektoren. Turnitin hat im Oktober 2026 die Architektur seines englischen Erkennungsmodells aktualisiert und nennt unter den erkennbaren Modellen unter anderem GPT-5.4 und Claude Opus 4.6 ^[5]. Einige Forschungsarbeiten von 2025 zeigen starke Ergebnisse für die besten kommerziellen Werkzeuge ^[10], während Benchmark-Studien zeigen, dass ungetestete Bedingungen viele Detektoren weiterhin täuschen ^[8]. Theoretische Arbeiten legen nahe, dass die Erkennung schwieriger wird, je menschenähnlicher KI-Texte werden ^[9].

Wasserzeichen können bei Texten von Anbietern helfen, die sie einsetzen, doch ihre Entwickler beschreiben sie als Ergänzung zu anderen Methoden, nicht als vollständige Antwort ^[12]. Die Empfehlungen von OpenAI wie von Turnitin weisen Bildungseinrichtungen den Weg zu klaren Regeln für die KI-Nutzung, zur Dokumentation der Arbeitsweise von Studierenden und zu Entscheidungen, die Lehrende treffen und nicht ein Wert ^[2][5].