Насколько точны детекторы ИИ? Что говорят исследования студентам и преподавателям

Насколько точны детекторы ИИ?

Коротко: в тестовых условиях детекторы ИИ-текста часто оказываются правы, но допускают ошибки, которые имеют значение, когда на кону оценка или репутация студента. Точность сильно зависит от инструмента, длины текста, языка, того, редактировался ли ИИ-текст, и порога, который использует инструмент.

Самое явное раннее предупреждение исходило от OpenAI — компании, создавшей ChatGPT. Её классификатор, выпущенный в январе 2023 года, на английском тестовом наборе правильно определял как «вероятно, написанный ИИ» 26% текста, созданного ИИ, и в 9% случаев ошибочно помечал текст, написанный людьми, как созданный ИИ ^[1]. С 20 июля 2023 года OpenAI сделала его недоступным «из-за низкого уровня точности» ^[1]. На нынешней справочной странице для преподавателей OpenAI отвечает на вопрос «Работают ли детекторы ИИ?» так: «Коротко говоря, по нашему опыту — нет» ^[2].

Независимые исследования пришли к похожим выводам в отношении многих инструментов. Исследование 2023 года, охватившее 12 общедоступных инструментов и две коммерческие системы — Turnitin и PlagiarismCheck, — заключило, что инструменты «ни точны, ни надёжны» и склонны классифицировать текст как написанный человеком, а не выявлять ИИ-текст ^[4]. Более поздние работы дают более неоднозначную картину: рабочая статья сентября 2025 года показала, что коммерческие детекторы превзошли детектор с открытым кодом, а один продукт, Pangram, в её тестах показал почти нулевую долю ошибок ^[10]. Результаты одного исследования на одном наборе данных не переносятся автоматически на любую учебную аудиторию.

Как работают детекторы ИИ?

Большинство детекторов — это классификаторы: программы, обученные относить текст к категории «человек» или «ИИ» и выставлять оценку. Turnitin объясняет принцип через вероятность слов. Большие языковые модели (LLM), на которых работают чат-боты вроде ChatGPT, склонны выбирать следующее слово «последовательно и с высокой вероятностью», тогда как человеческое письмо обычно «непоследовательно и своеобразно» ^[5]. Её классификаторы обучены выявлять эти различия ^[5].

Родственная мера — перплексия: грубо говоря, она показывает, насколько неожиданным текст кажется языковой модели. Текст с низкой перплексией предсказуем. Лян и соавторы показали, что этот сигнал может вводить в заблуждение: у эссе авторов, для которых английский не родной, перплексия была значительно ниже, что помогает объяснить, почему детекторы их помечали ^[3]. Turnitin со своей стороны утверждает, что её модель не запрограммирована явно на оценку перплексии, а усваивает статистические закономерности из обучающих данных ^[5].

Что означает оценка детектора?

Turnitin присваивает каждому предложению оценку от 0 до 1, помечает предложения выше порога как ИИ и указывает долю оцененных предложений выше этого порога как оценку документа ^[5]. Списки, заголовки, библиография, таблицы, формулы и код пропускаются, поэтому процент не обязательно отражает долю всей работы ^[5]. Оценка — это вероятностная прикидка, а не запись того, как был написан текст.

Водяные знаки — это другое?

Да. Водяной знак — скрытая статистическая закономерность, добавляемая в момент генерации текста. SynthID-Text от Google DeepMind меняет только этап выборки, и его можно обнаружить без запуска исходной модели; эксперимент в реальных условиях охватил почти 20 млн ответов Gemini ^[12]. Авторы подчёркивают, что водяные знаки — не полное решение: они работают, только если их применяет компания, генерирующая текст, модели с открытым кодом сложно охватить, а водяные знаки можно ослабить перефразированием или атаковать путём кражи, подделки и стирания ^[12].

Что говорят исследования о ложных срабатываниях и предвзятости?

Ложное срабатывание — это текст, написанный человеком, но ошибочно помеченный как ИИ. В образовании это более серьёзная ошибка, поскольку она может привести к обвинению честного студента. Ложноотрицательный результат — ИИ-текст, принятый за человеческий.

Авторы, для которых английский не родной

В исследовании Ляна и соавторов семь широко используемых детекторов проверили на 91 эссе TOEFL, написанном людьми и взятом с китайского образовательного форума, и на 88 эссе американских восьмиклассников ^[3]. На американских эссе детекторы работали почти безупречно, но ошибочно классифицировали более половины эссе TOEFL; средняя доля ложных срабатываний составила 61,22% ^[3]. Все семь детекторов пометили 18 из 91 эссе TOEFL (19,78%), а 89 из 91 (97,80%) пометил хотя бы один детектор ^[3]. Когда с помощью ChatGPT обогатили лексику этих эссе, средняя доля ложных срабатываний снизилась до 11,77% ^[3]. А когда ChatGPT попросили упростить американские эссе так, «как если бы их написал неноситель языка», она выросла с 5,19% до 56,65% ^[3].

Turnitin, не участвовавшая в том исследовании, оспаривает применимость его результатов к своему продукту. Компания указывает, что все эссе TOEFL были короче 150 слов, а такие короткие документы она не оценивает ^[6]. В её собственном тесте 2023 года для документов объёмом не менее 300 слов разница в доле ложных срабатываний между авторами, для которых английский второй язык, и носителями языка была небольшой и статистически незначимой ^[6]. Эту оценку проводил сам поставщик.

Почему небольшая доля ошибок складывается в большие числа?

Университет Вандербильта произвёл расчёт, когда в августе 2023 года отключил детектор ИИ от Turnitin. При запуске Turnitin заявляла о доле ложных срабатываний в 1%; в 2022 году Вандербильт загрузил около 75000 работ, так что около 750 из них могли быть помечены ошибочно ^[7]. То же рассуждение применимо к любому детектору: доля, которая кажется небольшой, всё равно может затронуть многих людей, когда проверяются миллионы документов.

Можно ли обмануть детекторы ИИ редактированием или «очеловечивателями»?

Часто — да, хотя новые инструменты заявляют об устойчивости к этому. В тесте 14 инструментов 2023 года средняя точность (при бинарной оценке) составила 94% для текста, написанного людьми, но лишь 30% для ИИ-текста, отредактированного вручную, и 15% для ИИ-текста, пропущенного через машинный перефразировщик ^[4]. Обфускация контента, то есть намеренные изменения, скрывающие происхождение текста от ИИ, значительно ухудшала работу инструментов ^[4].

Бенчмарк RAID, включающий более 6 млн генераций от 11 моделей в 8 предметных областях, 11 состязательных атак и 4 стратегии декодирования, показал, что 12 оцененных детекторов «легко обмануть» атаками, изменением параметров выборки, штрафами за повторы и незнакомыми моделями ^[8]. Авторы отмечают, что многие детекторы заявляют о точности 99% и выше, но редко проверяются на общих сложных данных ^[8]. Садасиван и соавторы показали, что многократное перефразирование ИИ-текста другой моделью во многих случаях может значительно снизить долю обнаружения, лишь незначительно ухудшив качество ^[9]. Они также показывают, что по мере приближения ИИ-текста к человеческому эффективность даже наилучшего возможного детектора снижается ^[9].

Поставщики отреагировали. Turnitin утверждает, что может выявлять ИИ-текст, изменённый перефразировщиками или инструментами обхода (bypasser), которые также называют «очеловечивателями» (humanizers), но только в работах на английском языке ^[5]. Рабочая статья NBER 2025 года сообщает, что в её тестах низкая доля ошибок Pangram сохранялась и против «очеловечивателей», и на очень коротких фрагментах ^[10]. Это обнадёживающие результаты, но они описывают работу в определённый момент времени против инструментов, существовавших тогда. Авторы также подчёркивают, что лица, принимающие решения, по-разному оценивают два вида ошибок, и предлагают устанавливать для них явный допустимый уровень — «политический лимит» (policy cap) ^[10].

Могут ли преподаватели распознавать ИИ-тексты лучше программ?

Некоторые могут. В исследовании 2025 года аннотаторы прочитали 300 научно-популярных и публицистических статей на английском и пометили каждую как написанную человеком или ИИ ^[11]. Люди, часто пользующиеся LLM для письма, справились очень хорошо: голосование большинством пятерых таких «экспертов» ошибочно классифицировало лишь 1 из 300 статей, превзойдя большинство оцененных авторами коммерческих детекторов и детекторов с открытым кодом, даже когда применялись перефразирование и «очеловечивание» ^[11]. Эксперты опирались на «ИИ-лексику», а также на формальность, оригинальность и ясность текста ^[11].

У этого вывода есть ограничения. В исследовании участвовала группа из пяти опытных читателей с голосованием большинством, а не один преподаватель, быстро проверяющий работы, и речь шла о статьях на английском, а не о студенческих работах ^[11]. Оно говорит о том, что информированное человеческое суждение вместе с доказательствами лучше одного числа, а не о том, что дело может решить одна лишь интуиция.

Как преподавателям честно использовать результаты детекторов ИИ?

Сами разработчики инструментов предостерегают от того, чтобы считать оценку доказательством. Turnitin заявляет, что она «не выносит решения о нарушении», а процент ИИ «не следует использовать как единственное основание для мер или как окончательный критерий оценки» ^[5]. OpenAI сообщает, что ChatGPT не может определить, создан ли текст ИИ, а его ответы на вопросы вроде «это написал ты?» случайны ^[2].

1. Воспринимайте пометку как повод присмотреться, а не как приговор. Turnitin описывает свою оценку как данные для принятия решения в соответствии с собственной политикой учебного заведения ^[5].
2. Проверяйте условия. Turnitin не обрабатывает документы, в которых оцениваемые предложения содержат менее 300 слов, и не показывает в отчёте оценки ниже 20% ^[5]. Короткие работы или работы, состоящие в основном из списков, дают слабый сигнал.
3. Помните о погрешности. Turnitin указывает, что когда она сообщает о 50% вероятного ИИ-текста, документ может содержать до 65% текста, написанного ИИ ^[5]; инструмент настроен скорее пропустить часть ИИ-текста, чем дать ложное срабатывание, поэтому число — это оценка, а не измерение.
4. Собирайте другие доказательства. Черновики, заметки, история версий и беседа со студентом о работе информативнее одной оценки. По словам OpenAI, некоторые преподаватели сочли полезным предлагать студентам делиться конкретными разговорами с ChatGPT ^[2].
5. Учитывайте языковой фон. OpenAI сообщала о признаках того, что детекторы могут непропорционально затрагивать изучающих английский и студентов, пишущих шаблонно или лаконично ^[2], а Лян и соавторы обнаружили значительно более высокую долю ложных срабатываний на эссе неносителей языка ^[3].
6. Заранее устанавливайте чёткие правила. Студенты должны знать, какое использование ИИ разрешено, например помощь с грамматикой, а какое нет; авторы из NBER отмечают, что поощряемые способы использования бывает трудно отделить от остальных ^[10].

Цена пренебрежения этими шагами реальна. ABC News в октябре 2025 года сообщила, что, согласно внутренним документам, Австралийский католический университет зарегистрировал в 2024 году почти 6000 предполагаемых случаев нарушений, около 90% из которых были связаны с ИИ; университет назвал эти цифры «существенно завышенными» ^[13]. ACU перестал использовать ИИ-инструмент Turnitin в марте 2025 года, а его проректор заявил, что дела, в которых этот инструмент был единственным доказательством, сразу прекращались ^[13].

Что делать студенту, если детектор ошибочно пометил его работу?

Это общая информация, а не юридическая консультация; в каждом учебном заведении своя процедура. По словам самих разработчиков инструментов, пометка детектора не доказывает списывания ^[2][5].

• Выясните, какие есть доказательства. Узнайте, какой инструмент использовался, какую оценку он выдал и подтверждает ли подозрение что-нибудь ещё. Индикатор Turnitin видят только преподаватели и администраторы, поэтому студентам может понадобиться его запросить ^[5].
• Покажите процесс работы. Черновики, планы, рукописные заметки, история браузера с источниками и история версий документа показывают, как развивалась работа.
• Предложите объяснить работу. Способность обсудить свою аргументацию и источники — веское доказательство авторства.
• Воспользуйтесь официальной процедурой апелляции и сохраняйте копии всех сообщений.
• Не просите чат-бот выносить суждение. По словам OpenAI, ответы ChatGPT о том, написал ли он текст, не имеют под собой фактической основы ^[2].

Для студентов в Иране и других странах, пишущих на английском как на втором языке, исследования предвзятости имеют прямое значение ^[3]. Детекция ИИ в Turnitin поддерживает развёрнутые тексты на английском, испанском, японском, современном арабском, нидерландском, немецком и турецком языках; персидского в этом списке нет, а работы на неподдерживаемых языках не обрабатываются ^[5].

Станет ли распознавание ИИ надёжнее?

По состоянию на 3 ноября 2026 года картина напоминает гонку генераторов и детекторов. В октябре 2026 года Turnitin обновила архитектуру своей модели распознавания английского текста и называет среди моделей, которые она может распознавать, в том числе GPT-5.4 и Claude Opus 4.6 ^[5]. Некоторые исследования 2025 года показывают высокие результаты лучших коммерческих инструментов ^[10], тогда как бенчмарки демонстрируют, что непроверенные условия по-прежнему обманывают многие детекторы ^[8]. Теоретические работы указывают, что распознавание становится сложнее по мере того, как ИИ-тексты всё больше походят на человеческие ^[9].

Водяные знаки могут помочь с текстами от поставщиков, которые их внедряют, но авторы описывают их как дополнение к другим методам, а не как полноценное решение ^[12]. Рекомендации и OpenAI, и Turnitin ориентируют учебные заведения на чёткие правила использования ИИ, документирование того, как работали студенты, и решения, которые принимают преподаватели, а не оценка ^[2][5].