Как определить текст нейросети и почему AI-детекторы ошибаются

Вы вставили работу в детектор, а он показал «78% AI». Кажется, вопрос закрыт: текст написала нейросеть. Вот только число выглядит точнее, чем вывод, который из него можно сделать.

AI-детектор не находит внутри документа скрытую подпись ChatGPT. Обычно он сравнивает языковые признаки текста с тем, что видел при обучении, и выдаёт вероятность, класс или долю подозрительных фрагментов. Другой сервис, другой язык, новая модель, редактура или более короткий отрывок — и результат может измениться.

Поэтому мой короткий ответ такой: по одному тексту нельзя со стопроцентной надёжностью доказать, что его написала нейросеть. Можно собрать признаки, проверить факты и источники, сравнить стиль, посмотреть историю правок и обсудить работу с автором. Детектор в этом процессе — сигнал для проверки, а не цифровой полиграф.

Ниже разберём, что на самом деле означает процент AI, чем он отличается от оригинальности в «Антиплагиате», какие признаки полезны редактору и как построить проверку без охоты на длинные тире и без ложных обвинений.

Короткий ответ: как понять, что текст написан нейросетью

Если решение не влечёт последствий, можно начать с пяти вопросов:

1. Есть ли в тексте проверяемые ошибки, выдуманные источники и уверенные фразы без опоры?
2. Может ли автор объяснить ход рассуждения, выбор примеров и происхождение цифр?
3. Сохранились ли план, заметки, черновики, версии файла и история редактирования?
4. Совпадает ли язык с предыдущими работами автора — с поправкой на жанр, редактора и перевод?
5. Что показывает детектор на полном тексте, а не на одном удобном абзаце, и допускает ли сам сервис ошибку?

Ни один пункт отдельно не доказывает авторство. Вместе они дают куда более честную картину.

Главная ошибка — заменить вопрос «как создавался текст?» вопросом «какой процент нарисовал сервис?». Второй вопрос проще. Первый полезнее.

Как работает детектор AI-текста

Большинство детекторов решают задачу классификации. Они получают текст и оценивают, к какому классу он больше похож: к человеческим примерам или к результатам языковых моделей.

У разных систем разные методы. Одни обучают отдельный классификатор на размеченных парах текстов. Другие смотрят, насколько легко языковая модель предсказывает следующее слово. Третьи анализируют распределение вероятностей, повторяемость синтаксиса, длину предложений, словарь и связность. Иногда методы объединяют.

Перплексия простыми словами

Перплексия показывает, насколько текст «удивляет» языковую модель. Если слова идут очень ожидаемым образом, показатель ниже. Сырые ответы LLM действительно часто гладкие и статистически предсказуемые, поэтому признак полезен.

Но предсказуемым бывает и человеческий текст: инструкция, официальный ответ, учебное определение, шаблонное письмо, текст человека с небольшим активным словарём. А машинный текст можно сделать менее предсказуемым редактурой, необычным промптом или примерами авторского стиля.

Burstiness и ритм

Под этим словом обычно имеют в виду неравномерность: человек чередует короткие и длинные фразы, меняет плотность, допускает локальные шероховатости. У модели ритм нередко ровнее.

Опять же, это тенденция, а не отпечаток пальца. Хороший редактор выравнивает человеческий текст. Плохой промпт делает машинный текст монотонным. А новая модель может специально имитировать резкие переходы, разговорность и вариативность.

Современный детектор ищет не «слово нейросети», а комбинацию слабых признаков. Поэтому результат всегда зависит от обучающей выборки, языка, жанра, длины и порога решения.

Почему процент AI не равен проценту слов, написанных нейросетью

Представьте датчик дыма. Если он сработал на кухне, это не значит, что 78% квартиры горит. Это значит, что измеренный сигнал превысил порог.

С AI-процентом сложнее, потому что продукты показывают разные сущности. Один сервис выводит вероятность класса для всего текста. Другой — долю фрагментов, которые модель сочла похожими на генерацию. Третий сначала режет документ на окна, считает каждое, а затем агрегирует оценки. Сравнивать такие числа напрямую нельзя.

Turnitin прямо объясняет, что его показатель относится только к qualifying text — прозаическим предложениям подходящего длинного формата. Это отдельный показатель, не связанный с similarity score. Значения ниже 20% сервис с июля 2024 года не показывает числом, а заменяет звёздочкой из-за более высокой частоты ложных срабатываний.

Значит, фраза «антиплагиат нашёл 35% нейросети» без названия системы, версии, языка и определения метрики почти бессодержательна. Сначала выясните, что именно измеряет число.

Два типа ошибок, которые нельзя убрать одновременно

У детектора есть две неприятные ошибки:

• ложноположительная — человеческий текст помечен как AI;
• ложноотрицательная — машинный текст принят за человеческий.

Если сделать систему очень чувствительной, она поймает больше генерации, но заденет больше людей. Если поднять порог, ложных обвинений станет меньше, зато больше машинных текстов пройдут незамеченными.

В исследовании NAACL 2025 детекторы проверяли на новых доменах, неизвестных моделях и практических стратегиях обхода. При ограничении ложноположительной доли до 1% чувствительность в отдельных условиях падала до 0%. Это не значит, что любой детектор бесполезен. Это значит, что красивую общую accuracy нельзя переносить на любой новый текст.

Почему базовая частота меняет смысл сигнала

Возьмём иллюстративный расчёт, не статистику конкретного сервиса. Пусть детектор ловит 80% AI-текстов и ошибочно отмечает 1% человеческих.

Если из 1000 документов только 10 действительно машинные, сервис найдёт примерно 8 из них. Но среди 990 человеческих около 10 тоже получат флаг. В итоге из 18 тревог меньше половины будут верными, хотя «ложноположительная доля всего 1%» звучит успокаивающе.

Поэтому важны не только точность и процент на одном документе. Нужны чувствительность, специфичность, состав тестовой выборки и базовая частота AI-текстов именно в вашей ситуации.

Почему детекторы ошибаются на новых моделях и после редактуры

Детектор учится на прошлом. Генераторы меняются, стили смешиваются, а реальные документы всё реже принадлежат одному чистому классу.

Типичный рабочий текст сегодня может пройти цепочку: человек сделал план, модель предложила черновик, человек переписал половину, корректор исправил язык, переводчик перестроил фразы, а нейросеть сократила вывод. Как честно назвать результат — человеческим или машинным? Бинарная кнопка скрывает самую важную часть процесса.

Исследование Sadasivan и соавторов показало, что рекурсивное перефразирование заметно снижает обнаружение при небольшом ухудшении качества. Более свежая практическая проверка NAACL 2025 тоже нашла уязвимость к умеренным изменениям промпта и текста.

Обратная проблема не менее важна. Строгий официальный жанр, короткие определения, переведённый или тщательно вычитанный текст могут приблизиться к тем паттернам, на которых система училась распознавать LLM.

OpenAI в 2023 году закрыла собственный классификатор из-за низкой точности. На контрольной выборке он помечал как «likely AI-written» только 26% машинных текстов и ошибочно относил к AI 9% человеческих. Компания отдельно предупреждала о коротких текстах, других языках, коде, редактировании и уверенных ошибках вне обучающего распределения.

Почему короткий фрагмент особенно опасен

На коротком тексте меньше наблюдений. Одно шаблонное вступление или несколько канцелярских фраз начинают слишком сильно влиять на результат.

У разных сервисов свои минимумы. Архивный классификатор OpenAI называл очень ненадёжными тексты короче 1000 символов. Текущий API GigaCheck принимает русский текст от 20 слов, а демо ограничивает проверку диапазоном от 20 до 1000 слов. Технически принять — не значит гарантировать одинаковую надёжность на 20 и 1000 словах.

Практическое правило: не делайте вывод по заголовку, абзацу, списку, таблице, коду или набору определений. Проверяйте цельный однородный фрагмент достаточной длины и сохраняйте исходный контекст.

Почему под подозрение попадают люди с простым языком

Одна из самых неприятных проблем — систематическая ошибка по стилю автора.

В работе исследователей Стэнфорда GPT detectors are biased against non-native English writers семь детекторов проверили 91 TOEFL-эссе авторов, для которых английский не родной, и 88 эссе американских восьмиклассников. Средняя ложноположительная доля на TOEFL-текстах составила 61,3%. После усложнения словаря она снизилась до 11,6%, а упрощение языка американских эссе, наоборот, увеличивало число флагов.

Это исследование про английский и инструменты 2023 года. Нельзя автоматически переносить его процент на русский текст в 2026-м. Но механизм важен: детектор способен наказать автора не за AI, а за предсказуемый язык.

Риск выше для изучающих язык, школьников, людей, пишущих по жёсткому шаблону, и авторов после глубокой корректуры. Поэтому автоматическое наказание по детектору — слабая и несправедливая практика.

Какие признаки AI-текста действительно полезны редактору

Полезный признак — тот, который ведёт к проверяемому вопросу. Не «здесь слишком много тире», а «почему в трёх разделах повторяется один вывод и откуда взялась эта ссылка?».

Факты без опоры

Проверьте числа, цитаты, фамилии, названия исследований, нормы и ссылки. Языковая модель умеет собрать правдоподобную библиографию из несуществующих деталей. Но ошибка доказывает только плохую факт-проверку, а не происхождение всего текста.

Если вам регулярно приходится проверять ответы моделей, пригодится отдельный разбор, почему нейросети галлюцинируют и как проверять результат.

Обобщения вместо наблюдений

Слабая генерация любит фразы, которые подходят почти к любой теме: «важно учитывать контекст», «технология имеет преимущества и ограничения», «комплексный подход повышает эффективность». Спросите: какой контекст, какие ограничения, на каком примере, по какой метрике?

Человек тоже пишет пусто. Поэтому оценивайте качество, а не угадывайте инструмент.

Симметричная структура и повтор тезиса

Одинаковые блоки, предсказуемые тройки, повтор вывода после каждого раздела и идеальная гладкость могут быть следом сырого промпта. Но редакционная памятка или академический шаблон дают тот же эффект.

Разрыв между текстом и пониманием автора

Самый полезный сигнал появляется не в пунктуации, а в разговоре. Попросите объяснить выбор источника, восстановить промежуточный шаг, привести пример из материала, изменить условие задачи. Если автор ориентируется в работе и показывает процесс, один AI-процент становится намного слабее.

Какие «признаки нейросети» пора выбросить

Длинное тире, двоеточия, идеальная грамотность, слово «ключевой», отсутствие опечаток, списки из трёх пунктов — всё это встречалось у людей задолго до ChatGPT.

Такие маркеры быстро портятся по трём причинам:

1. Модели обновляются и получают инструкции избегать клише.
2. Люди начинают копировать заметный машинный стиль.
3. Редакторы и школьные требования сами унифицируют тексты.

Особенно опасен тест «спросим ChatGPT, писал ли он этот текст». У чат-бота нет журнала всех ответов и надёжного детектора собственного происхождения. Vanderbilt прямо предупреждает, что генеративные модели для этого не предназначены и не могут надёжно выявлять запрещённое использование AI.

Не превращайте стилистическую неприязнь в техническую экспертизу. Если текст плох, покажите, где он пустой, неточный или не решает задачу. Для этого не нужно доказывать участие нейросети.

Распознаёт ли «Антиплагиат» нейросеть

Да, в системе есть отдельный показатель «ИИ-контент». Но он не равен оригинальности и не складывается с заимствованиями.

В официальной памятке «Антиплагиата» сказано, что сгенерированный текст может иметь очень высокий процент оригинальности: если фразы новые и не скопированы из источника, обычный поиск совпадений их не найдёт. Там же компания подчёркивает, что стопроцентного доказательства машинного авторства нет и нужен экспертный анализ.

По состоянию на памятку 2025 года детектирование работало для русского, английского, испанского и казахского в PDF и DOCX без OCR, а анализ AI-фрагментов был доступен для документов от двух листов. В июле 2025 года сервис добавил отдельный процент «ИИ-контента» и выгружаемый отчёт.

В июле 2026 года компания сообщила об обновлении детектора и заявила снижение ложноположительной доли по документам с 1,55% до 0,15%. Это важная продуктовая цифра, но она остаётся заявлением разработчика для его набора и порога. Она не означает 99,85% доказательной силы на любом жанре, длине и тексте.

Верный порядок такой: отдельно смотрим заимствования, отдельно — сигнал AI, затем разбираем содержание и процесс создания.

Какие сервисы есть и чему верить в их отчёте

Яндекс при запуске «Нейродетектора» отдельно написал: выводы служат рекомендацией преподавателю и указывают на работы, требующие внимания. Это хорошая формулировка для любого детектора.

Если вам важнее качество самого текста, чем расследование происхождения, полезнее сравнить инструменты для работы с материалом и документами. Я собрал такой маршрут в статье о нейросетях для текстов и документов.

Как честно протестировать AI-детекторы на одном наборе

Рейтинг из случайных абзацев устаревает быстрее, чем статья. Поэтому я не буду выдумывать «наш тест» и проценты сервисов, к которым не было одинакового авторизованного доступа. Ниже — воспроизводимый протокол. Его можно повторить в школе, редакции или компании и сохранить вместе с исходниками.

Набор из шести текстов

Подготовьте тексты одного языка, жанра, темы и близкой длины — например, по 600–900 слов:

1. человеческий текст, опубликованный до массового появления генеративных чат-ботов;
2. новый человеческий текст с сохранённой историей версий;
3. сырой ответ одной модели с зафиксированными версией, датой и промптом;
4. сырой ответ другой модели на то же задание;
5. человеческий черновик после машинной языковой правки;
6. машинный черновик после содержательной человеческой редактуры.

Удалите имена и случайные подсказки об источнике. Не используйте конфиденциальные, персональные или студенческие данные в публичных формах.

Матрица проверки

Для каждого сервиса сохраните:

• дату и версию интерфейса;
• язык и заявленные ограничения;
• полный результат, а не скрин одного числа;
• класс, процент и выделенные фрагменты;
• повтор на полном тексте и на коротком отрывке;
• вердикт для исходного и слегка вычитанного варианта.

Считайте отдельно ложные тревоги на человеческих текстах, пропуски машинных и поведение на смешанных. Не усредняйте проценты разных сервисов: они могут означать разные вещи.

Правильная проверка в редакции, школе или компании

Я бы строил процесс в четыре слоя.

1. Сначала правило

До проверки нужно определить, какое использование AI разрешено: идеи, план, поиск источников, языковая правка, перевод, черновик, код. Без правила невозможно отличить помощь от нарушения.

2. Затем качество результата

Проверьте факты, источники, логику, соответствие заданию, самостоятельный вклад и риски. Плохой материал можно вернуть на доработку независимо от того, кто нажимал клавиши.

3. Потом процесс создания

Смотрите план, заметки, историю версий, источники, промежуточные расчёты, комментарии редактора. В спорной ситуации обсудите конкретные решения с автором.

4. И только потом детектор

Запускайте утверждённый инструмент на полном подходящем тексте. Фиксируйте результат как один сигнал. Не отправляйте личные данные в случайный бесплатный сервис: даже Vanderbilt указывает на риск конфиденциальности при использовании сторонних детекторов.

Если проверка влияет на оценку, деньги, публикацию или репутацию, должны быть второй эксперт, прозрачный критерий и возможность апелляции.

Что делать, если ваш текст пометили как AI

Не пытайтесь срочно «очеловечить» материал опечатками и хаотичными синонимами. Это ухудшит текст и может выглядеть как обход.

Соберите спокойный пакет происхождения:

• формулировку задания и ваш план;
• ссылки и заметки по источникам;
• историю версий в Google Docs, Word, Git или редакторе;
• ранние черновики и комментарии;
• расчёты, таблицы, интервью и исходные данные;
• описание допустимого использования AI, если оно было;
• готовность объяснить два-три ключевых решения устно.

Попросите уточнить название детектора, дату, полный отчёт, порог и правило, которое якобы нарушено. Сравните претензию с официальной оговоркой самого сервиса. Например, Turnitin говорит, что модель может ошибочно распознавать человеческий, машинный и перефразированный текст и не должна быть единственным основанием для неблагоприятного решения.

История версий сильнее, чем скриншот из второго детектора. Два похожих алгоритма могут повторить одну ошибку — их согласие не делает вывод независимым.

Как доказать авторство текста заранее

Лучшее время собирать доказательства — до конфликта.

1. Пишите в редакторе с историей версий.
2. Храните план, источники и промежуточные заметки.
3. Фиксируйте, где использовали AI и что изменили сами.
4. Сохраняйте исходные таблицы, интервью, аудио и расчёты.
5. Для команды используйте понятную политику: разрешённые задачи, данные, раскрытие и ответственность.
6. Для дорогих решений вводите второй обзор и апелляцию.

Для компаний вопрос шире одного документа: кто отвечает за факты, какие данные можно загружать, где хранятся промпты и кто утверждает финал. Я разбираю такие правила на корпоративном обучении по нейросетям.

Могут ли водяные знаки решить проблему

Водяной знак меняет генерацию так, чтобы в выборе слов оставался статистический сигнал. У этого подхода есть преимущество: проверка ищет не общий «стиль AI», а намеренно встроенный паттерн.

Но знак должен добавлять сам поставщик модели. Он может ослабнуть после перевода, сокращения и перефразирования. Открытая модель вообще может генерировать без такого механизма. А если проверяется уже смешанный документ, вопрос авторства снова становится процессным.

Для изображений, аудио и видео развиваются метаданные происхождения и подписи контента. С текстом сложнее: его легко перепечатать, перевести и изменить, не потеряв смысл.

Поэтому будущее, скорее всего, за сочетанием происхождения контента, журналов создания и ограниченных детекторов, а не за одной универсальной кнопкой «написал человек».

Частые вопросы

Можно ли определить текст ChatGPT со стопроцентной точностью?

Нет. Можно оценить вероятность и собрать косвенные доказательства. Даже разработчики детекторов предупреждают о ложных срабатываниях и пропусках.

Что значит 100% AI в детекторе?

Только то, что по правилам конкретного сервиса весь подходящий текст или весь документ получил максимально машинный класс. Это не нотариальное подтверждение и не обязательно доля слов, созданных моделью.

Антиплагиат показывает использование нейросети?

В «Антиплагиате» есть отдельный показатель «ИИ-контент». Он не равен проценту оригинальности и требует экспертной интерпретации.

Может ли человеческий текст показать высокий процент AI?

Да. Риск выше у коротких, шаблонных, строго структурированных, переведённых и тщательно вычитанных текстов, а также вне языка и жанра, на которых детектор хорошо проверен.

Может ли AI-текст пройти детектор как человеческий?

Да. Новая модель, необычный домен, редактура и перефразирование могут снизить чувствительность. Исследования 2023–2025 годов показывают эту уязвимость.

Распознает ли ChatGPT собственный текст?

Надёжно — нет. Чат-бот может проанализировать стиль, но не знает происхождение произвольного фрагмента и способен уверенно ошибиться.

Нужно ли прогонять текст через несколько детекторов?

Для низкорисковой диагностики — можно, если вы понимаете различия метрик и не загружаете конфиденциальные данные. Простое большинство голосов не превращает результат в доказательство.

Как проверять работу студента или автора справедливо?

Сначала применить заранее объявленное правило, затем проверить качество и источники, изучить процесс создания, поговорить с автором и только потом учитывать детектор как один сигнал. Для санкций нужны прозрачная процедура и апелляция.

Вывод: проверяйте происхождение, а не пунктуацию

AI-детекторы умеют находить статистические следы генерации. В контролируемом наборе и на знакомом языке они могут быть полезны. Но реальный текст сокращают, переводят, переписывают, смешивают и приводят к жанровому шаблону. В этот момент уверенный процент превращается в гипотезу.

Мой вердикт: детектор годится для очереди на проверку, но не для автоматического обвинения. Сильная процедура начинается с ясного правила, проверяет факты и качество, изучает историю создания и даёт автору возможность объяснить работу.

Если ваша задача — не поймать AI, а получить хороший результат, оцените текст по тому, решает ли он задачу, выдерживает ли проверку фактов и добавляет ли собственное понимание. Именно это отделяет содержательную работу от гладкой имитации — независимо от инструмента.

Об авторе: Илья Шведков — эксперт по внедрению нейросетей и AI-агентов в рабочие процессы.