В поисках автора: как вычислить нейросетевой текст?

Как работают инструменты для проверки текстов

ИИ‑детектор — это нейросеть против нейросети. Генератор пишет текст, детектор смотрит на него и пытается ответить: «Так пишут люди или такие, как я?»

Принцип действия большинства сервисов схож:

• анализ текста: насколько он предсказуем, однообразен, гладок;
• поиск характерных особенностей машинного письма;
• вычисление вероятности авторства ИИ.

И хотя стопроцентную точность не обещает ни один детектор, все же подобные сервисы сильно упрощают жизнь редакторов и преподавателей.

Алгоритмы и технологии

Внутри детектора работает языковая модель, натренированная отличать человеческие тексты от машинных. Она видела тысячи примеров и училась по ним распознавать паттерны.

Ключевые механики

• Перплексия (мера предсказуемости текста). Если модель слишком легко угадывает следующее слово, она будет считать текст машинным.
• Анализ шероховатостей. То есть разброс длины предложений, смена темпа, логические прыжки. Нейросеть пишет слишком гладко.
• Классификаторы. Отдельные модели, которые смотрят на перплексию, стиль, лексику, синтаксис и частоту разных частей речи в связке.

Некоторые тексты, написанные ИИ, практически неотличимы от тех, что вышли из-под пера человека. Но даже их детекторы могут отличить по набору определенных маркеров.

Понимание результатов

Ни один детектор не скажет, что конкретный автор — это робот. Он просто покажет процент вероятности работы ИИ, а также признаки, по которым сделаны такие выводы.

Факторы, которые надо учитывать

• Результат зависит от инструмента и данных, на которых обучен детектор. Два сервиса могут сделать разные выводы по одному и тому же тексту.
• В маленьких текстах на пару абзацев детекторы начинают играть в угадайку.
• У сервисов бывают ложные срабатывания. Они могут обвинить человеческий текст в «ИИ-шности» или не заметить признаки нейросети там, где они есть.

На чистом ИИ‑тексте детекторы могут давать приличную точность, но, стоит текст хотя бы немного отредактировать, и показатели падают.

Поддержка различных языков

Зарубежные детекторы учат в первую очередь на английском языке. Русский, как и остальные языки, часто добавляют по остаточному принципу: данных меньше, качество ниже, ошибок больше. По тому же принципу обучаются и отечественные детекторы. Поэтому для текстов на русском и английском языках стоит использовать соответствующие сервисы.

Проверка текста вручную

Никакой детектор пока не заменяет осознанное чтение. Живой редактор замечает разные нюансы: мотивацию, авторскую позицию, адекватность тезисов, правильность ссылок. Все это нейросеть воссоздать не сможет даже с подробным промптом.

Ручная проверка текста на ИИ нужна хотя бы для того, чтобы не навредить собственной репутации, оценкам по учебе и доходу.

Методы и советы

Сервисы могут быть хорошими помощниками. Но в довесок к автоматической проверке лучше добавлять ручную. Какими способами?

• Прочитать текст вслух. Машинный текст часто звучит как отрепетированная и очень скучная презентация: все гладко, никаких заминок, неожиданных деталей и уточнений.
• Проверить факты. Нейросети часто придумывают ссылки, исследования и цифры, которых нет в природе. Если каждая вторая статистика не гуглится, это повод задуматься.
• Посмотреть на примеры. В человеческом тексте их обычно больше: автор часто делится личным опытом или оперирует реальными кейсами. Машина использует общие фразы, из которых иной раз даже невозможно понять, о чем речь: ты вроде прочитал текст, но ответов он тебе не дал.
• Оценить структуру. Деление на одинаковые абзацы, вылизанные причинно‑следственные связи и размытые выводы в конце могут вызывать подозрения.

Кстати, нейронки вполне могут посыпаться на вопросах типа «Как ты это сделал?» или «Откуда такие данные?». Если ИИ нагаллюцинировал в тексте, он уйдет в абстракции или извинится и попробует выдать правильный ответ (который опять может оказаться выдумкой).

Как отличить человеческий текст от машинного?

У человеческого текста чаще есть:

• собственный почерк: странные формулировки, индивидуальные метафоры, любимые словечки;
• перепады настроения: то злость, то самоирония, то легкий хаос в середине текста;
• мелкие логические дыры: автор может себе противоречить, передумать по ходу разговора, забыть закрыть какую‑то тему, несколько раз повторить одну и ту же мысль.

У машинного — наоборот:

• ровный, вежливый, обезличенный стиль;
• аккуратная структура «введение — аргументы — вывод» без лишних эмоций;
• заметные повторения паттернов: «это важно, потому что…», «в заключение можно сказать…», «как умный помощник, а не…».

Человек легко вставит в текст жаргонизм, личную оценку или просторечное выражение. Нейросеть же, если ее специально об этом не попросить, будет писать нейтрально.

Признаки сгенерированного текста

Перечислим самые частые признаки сгенерированного текста.

• Меньше разнообразия. ИИ любит повторять одни и те же слова, а еще использовать вводные: «в целом», «таким образом», «важно отметить».
• Формальность и обезличенность: много существительных и канцелярита, мало живых глаголов и личного мнения.
• Подозрительно ровная корректность: никаких опечаток, никакого сленга или шероховатостей.
• Конструкции «как…, а не…» и «это …, а не…». Нейросети грешат ими с завидным постоянством: «как умный коллега, а не строгий начальник», «это рабочий инструмент, а не модная игрушка». Человек тоже может использовать такие конструкции, но только ИИ будет ими злоупотреблять.
• Странная пунктуация и тире вместо дефиса в сложных словах и числах (вроде «5−7», где у живого автора стоит дефис).

Но ни один из этих признаков по отдельности не доказывает, что текст сгенерирован. Человек тоже может писать сухо и шаблонно, а ИИ — казаться живым, если ему дали правильный промпт, а затем отредактировали.

Преимущества и недостатки использования ИИ‑детекторов

Противостояние детекторов и генеративного искусственного интеллекта бесконечно — обе стороны пытаются превзойти друг друга, но ни одна не может окончательно победить.

У онлайн-сервисов для проверки текстов на ИИ есть как сильные стороны, так и ограничения.

Плюсы использования

В чем детекторы действительно помогают?

• Пакетная обработка. Можно прогнать через сервис десятки текстов и выделить те, с которыми стоит поработать внимательнее.
• Масштаб. Там, где не успеваешь все прочитать вручную, детектор дает первичный взгляд: вот тут, тут и тут — высокий риск ИИ.
• Аргумент для разговора. Если инструмент стабильно показывает высокий процент ИИ, это повод задать автору вопросы, попросить черновики, обсудить правила использования нейросетей.
• Система проверки в вузах, школах, компаниях. Детекторы помогают отловить подозрительные тексты и подсветить места, где стоит включить человеческую проверку, но финальное решение — отчислять, снижать оценку или просто попросить доработать — принимает человек

Минусы и ограничения

• Ложные срабатывания. Сложные темы и формальные тексты детекторы распознают хуже и часто дают ложную оценку.
• Не распознают исправленные людьми тексты. Как только ИИ‑черновик немного переписывают и дополняют личными примерами, детекторы начинают гадать.
• Зависимость от поколения моделей. Сервис, натренированный на устаревших поколениях нейросетей, хуже справляется с новыми, которые пишут более разнообразно.
• Этические риски. Если слепо верить оценке детектора, можно ложно обвинить человека и подпортить ему учебу или карьеру.

Разумная стратегия проверки сейчас выглядит так: детектор + ручной разбор. И никакой сервис, даже самый продвинутый, не освобождает от необходимости иногда просто взять текст, прочитать его и задать себе вопрос: «А может ли живой человек так писать?»

Обзор инструментов для проверки текстов

Мы собрали 5 детекторов, доступных в России, но решили не просто перечислить их, а проверить в деле. Загрузим в сервисы два текста: генерацию ChatGPT по простому промпту и ИИ-текст, исправленный человеком. Сравним результаты и оценим их по пятибалльной шкале.

Сгенерированный текст:

Исправленный человеком:

AI Detector writer

Простой и бесплатный мультиязычный сервис с понятным интерфейсом. Умеет оценивать текст в процентах и сразу подсвечивать подозрительные фрагменты. Инструмент прекрасно отличает откровенную ИИ-генерацию.

В отредактированном тексте присутствие нейросети сервис тоже нашел, но отнес к генерации даже переписанные человеком фрагменты.

Оценка:

Сгенерированный текст: 5/5

Исправленный человеком: 3/5

Text.ru

Детектор от известной биржи контента и популярного сервиса проверки текста на плагиат. Функция обнаружения сгенерированного материала встроена в знакомый копирайтерам интерфейс и ориентирована преимущественно на русский язык. Ресурс одновременно может проверять уникальность и ИИ-генерацию. Однако доступ к нейропроверке платный — от 200 рублей.

Сгенерированный текст сервис распознал легко.

С отредактированным ситуация такая же, как у предыдущего детектора: текст.ру даже переписанные фрагменты выделил как нейросетевые.

Оценка:

Сгенерированный текст: 5/5

Исправленный человеком: 3/5

Dzen.guru

Проект, создатели которого заявляют об особой настройке алгоритмов и обещают находить ИИ даже там, где западные лидеры слепы. Сервис действительно хорошо работает с контентом на русском языке, умеет различать хитрые паттерны, но, со слов пользователей, иногда перестраховывается на сложных авторских текстах.

Этот детектор справился с распознаванием ИИ хуже, чем предыдущие: нашел только 71% генерации, но дал подробный анализ.

А вот результат распознавания отредактированного текста ближе к истине, хоть тут и есть спорные моменты.

Оценка:

Сгенерированный текст: 3/5

Исправленный человеком: 4/5

Retext.AI

Этот российский сервис умеет находить сгенерированный текст и уникализировать его. Он отлично понимает специфику русской речи, выделяет сомнительные абзацы, но для работы в нем нужна регистрация.

Пожалуй, этот детектор пока лучше всех справился с задачей, обнаружив генерацию в 100% текста.

И отредактированный текст он оценил максимально близко к истине.

Оценка:

Сгенерированный текст: 5/5

Исправленный человеком: 5/5

GigaCheck

Разработка от авторов нейросети GigaChat. Сервис знаком с повадками русскоязычных генеративных моделей, но может ошибаться с зарубежными нейронками.

Информативность оставляет желать лучшего. Да, детектор видит генерацию в обоих текстах, но не раскрывает ее процент. За это мы и снизили оценку.

Оценка:

Сгенерированный текст: 3/5

Исправленный человеком: 3/5

Ответы на часто задаваемые вопросы

• Можно ли со стопроцентной точностью доказать, что текст написал ИИ?

Нет. Детекторы показывают вероятность и признаки, но не дают железного ответа. Их выводы всегда стоит перепроверять вручную.

• Почему детекторы часто ошибаются при анализе коротких текстов?

Из пары абзацев сложно вытащить стабильные паттерны стиля и статистики. Алгоритмы начинают играть в угадайку, особенно если текст еще и немного отредактирован.

• Стоит ли бояться пользоваться нейросетями, если есть детекторы?

Бояться не нужно, но не стоит выдавать машинный черновик за авторскую работу. Редактура, честность с заказчиком или преподавателем и понятные правила обычно снимают основные риски.

• Какой способ проверки надежнее: сервисы или ручной анализ?

Лучше связка. Детектор помогает быстро отсеять подозрительные тексты, а окончательный вердикт выносит человек, который может учесть контекст, здравый смысл и предметную область.

• Что делать, если детектор причислил мой живой текст к ИИ‑генерации?

Соберите черновики, поясните, как работали над текстом, и попросите рассмотреть ситуацию с учетом этих материалов. А еще можно прогнать текст через несколько разных сервисов, сравнить результаты и доработать материал.