Почему нейросети врут, галлюцинируют и рисуют шесть пальцев

Нейросеть может без запинки придумать несуществующую книгу, нарисовать шестой палец и после просьбы «поменяй фон» слегка заменить ваше лицо. Со стороны это выглядит как один общий сбой: машина вроде бы умная, но не замечает очевидного.

На деле перед нами три разных механизма. Языковая модель продолжает текст наиболее подходящими токенами, а не достаёт готовую истину из сейфа. Генератор изображений строит правдоподобную картинку, но не обязан сначала собрать точный скелет сцены. Редактор фото балансирует между новой инструкцией и сохранением исходника — и иногда слишком далеко уходит в сторону нового изображения.

Мой короткий вывод такой: нейросеть полезно воспринимать не как свидетеля, а как генератор версии. Версия может быть отличной. Но если важны факты, количество объектов, буквы, лицо или деньги, результату нужен контроль.

Короткий ответ: почему нейросеть ошибается

Это не оправдание ошибок. Это карта: она показывает, где обычный промпт помогает, а где нужен источник, инструмент, маска или человеческая проверка.

Нейросеть «врёт» или просто галлюцинирует

В бытовой речи «врёт» означает: сообщает неправду. Но ложь предполагает намерение обмануть и понимание истины. Обычный случай с чат-ботом точнее называть галлюцинацией, конфабуляцией или выдуманным ответом: система создаёт неверный контент и может подать его уверенно.

NIST определяет конфабуляцию как уверенно представленное ошибочное или ложное содержание. Туда же относятся ответы, которые расходятся с входными данными либо противоречат предыдущему тексту модели. Это хорошее определение, потому что оно не приписывает программе человеческий мотив.

Полезно различать ещё два случая:

• фактическая ошибка — перепутана дата, имя, характеристика, цитата;
• отрыв от источника — в вашем документе написано одно, а модель добавила другое;
• ошибка рассуждения — исходные факты верны, но вывод или расчёт не следует из них;
• невыполнение инструкции — просили три пункта, получили пять или нарушенный формат.

Слово «галлюцинация» часто используют для всего списка. Но при отладке такой зонтик мешает. Если модель не соблюла JSON-схему, вам нужен более строгий формат. Если выдумала судебное решение, нужен источник и проверка. Если неправильно сложила числа, нужен код. Один магический «антигаллюцинационный промпт» здесь не спасёт.

Если хотите сначала разобраться в базовом механизме, начните со статьи что такое нейросеть и как она работает простыми словами. А терминологическую границу между нейросетью, машинным обучением, LLM и готовым продуктом я разложил в отдельной карте понятий.

Почему языковая модель придумывает правдоподобные факты

Она продолжает текст, а не открывает таблицу истины

При базовом обучении большая языковая модель учится предсказывать следующий токен по контексту. Токен — это кусок слова, знак или короткая последовательность символов. Модель видит множество примеров языка и усваивает закономерности: после имени автора часто идёт название книги, после города — дата основания, после научного тезиса — ссылка.

Но в исходном обучении к каждому предложению не прикреплена лампочка «истина» или «ложь». Исследование OpenAI о причинах галлюцинаций обращает внимание именно на этот разрыв: распространённые языковые шаблоны предсказываются легко, а редкие произвольные факты вроде точной даты рождения нельзя надёжно восстановить только из статистического рисунка текста.

Отсюда и неприятный эффект. Фраза может быть грамматически идеальной, фамилия — подходящей, журнал — похожим на реальный, а самой статьи не существует. Связность текста и истинность утверждения — разные свойства.

Редкий факт труднее устойчивого шаблона

Модели особенно уязвимы там, где ответ:

• редко встречается в данных;
• изменился после обучения;
• зависит от локального документа, которого модель не видит;
• неоднозначен без даты, страны, версии или единиц измерения;
• требует дословной цитаты, точной ссылки либо длинной цепочки вычислений.

Поэтому вопрос «объясни принцип фотосинтеза» и вопрос «назови номер пункта в редакции договора от 12 сентября» выглядят одинаково только в окне чата. Второй требует конкретного документа. Если его нет в контексте, уверенное продолжение — это не помощь, а риск.

Обучение и оценки могут поощрять угадывание

Есть ещё менее очевидная причина. Во многих тестах за неправильный ответ дают ноль, но за «не знаю» — тоже ноль. Угадывание хотя бы иногда приносит очко. OpenAI в работе 2025 года показывает, почему такая система оценивания подталкивает модель рисковать вместо корректного отказа.

Это не значит, что любой уверенный ответ специально натренирован на обман. Значит другое: честная неопределённость должна быть отдельным желательным поведением. Пользователь может поддержать её прямой инструкцией: «Если доказательства нет, так и напиши. Не достраивай факт по аналогии».

Почему уверенный тон ничего не доказывает

Чат показывает слова, а не внутренний индикатор достоверности каждого предложения. Вежливый, подробный и структурный ответ может содержать ошибку. Длинное объяснение тоже не является доказательством: NIST отдельно предупреждает, что модель способна выдумать не только вывод, но и логику или ссылки, которые якобы его подтверждают.

Вот где у человека срабатывает когнитивная ловушка. Мы привыкли, что уверенно и подробно говорит тот, кто знает. У нейросети стиль ответа настраивается отдельно от фактической опоры. Просьба «ответь как профессор» меняет форму, но не добавляет закрытый источник.

Поэтому я бы вообще убрал из проверки вопрос «похоже ли это на правду?». Он слишком слабый. Лучше задать три других:

1. На каком источнике держится утверждение?
2. Поддерживает ли открытая страница именно этот тезис, а не соседнюю тему?
3. Не устарел ли факт на дату ответа?

Почему поиск, файлы и RAG уменьшают ошибки, но не отменяют их

Подключение поиска или базы знаний меняет задачу в правильную сторону. Вместо попытки вспомнить редкую деталь модель получает свежий фрагмент документа. Google рекомендует включать grounding с поиском, когда ответ зависит от новых или малоизвестных фактов. Anthropic советует сначала извлекать прямые цитаты, а затем проверять по ним утверждения.

Но RAG — не нотариус. Ошибка может появиться на любом шаге:

• поиск не нашёл нужный документ;
• извлечение принесло соседний, но нерелевантный фрагмент;
• в базе лежит устаревшая версия;
• модель неверно связала цитату с выводом;
• ссылка существует, но не подтверждает написанное;
• инструмент вернул пустой результат, а модель продолжила отвечать по памяти.

Практическое правило: наличие ссылки снижает стоимость проверки, но не заменяет проверку. Открывайте первоисточник. Для длинных документов полезно требовать раздел, страницу и короткую цитату перед выводом. Для меняющихся условий добавляйте дату.

В статье о нейросетях для текстов и документов есть отдельный цикл: черновик, независимая проверка, правка и только потом публикация. Этот порядок важнее выбора любимого чат-бота.

Почему нейросеть ошибается в расчётах и счёте объектов

Языковая модель может описать алгоритм умножения и всё равно ошибиться в длинном расчёте. Генератор картинки может понимать слово «пять» и нарисовать шесть предметов. Причина одна на высоком уровне: генерация правдоподобной последовательности не равна выполнению строгой операции с гарантированным результатом.

Для чисел лучший выход скучный и надёжный: пусть модель формулирует расчёт, а вычисляет код, калькулятор или таблица. В официальном руководстве Google прямо советуют подключать выполнение кода для арифметики, подсчёта и вычислений. После этого всё равно проверьте входные данные, единицы и формулу — программа точно посчитает даже неверно поставленную задачу.

Для изображений нужна визуальная приёмка. Если в кадре должны быть ровно четыре чашки, посчитайте их. Не заменяйте это эстетической оценкой: красивая сцена может нарушать количество объектов.

Почему нейросеть рисует шесть пальцев

Кисть — сложная трёхмерная конструкция, а не пиктограмма

У руки много суставов, возможных поз, перекрытий и ракурсов. Пальцы похожи друг на друга, частично закрывают соседние, уходят в перспективу и часто занимают маленькую часть кадра. В обучающих изображениях руки бывают смазаны, обрезаны и плохо подписаны. Генератору нужно согласовать общую сцену, освещение, лицо, одежду, предмет в ладони и локальную анатомию.

Если модель строит визуально вероятный паттерн, ей недостаточно знать фразу «у человека пять пальцев». Нужна пространственная структура: где суставы, какой палец к какой ладони относится, что скрыто предметом и сколько частей должно остаться после перекрытия. Работа HanDiffuser предлагает специально добавлять параметры 3D-формы и суставов руки — сам факт появления таких архитектур хорошо показывает, что одной общей визуальной правдоподобности мало.

Красивый кадр может пройти метрику и провалить анатомию

Исследование Counting Hallucinations in Diffusion Models отдельно называет ошибку количества, включая лишние пальцы. Авторы показывают важную вещь: популярная общая метрика качества изображения FID не всегда ловит такие нарушения. Картинка может выглядеть убедительно в среднем и оставаться неверной в конкретной детали.

На практике помогают четыре приёма:

1. Сделайте руки крупнее и явно опишите позу: «обе кисти полностью видны, каждая с пятью естественными пальцами».
2. Уберите лишние взаимодействия: три предмета в руках, перекрещенные пальцы и сильное движение повышают сложность сцены.
3. Исправляйте локально одну кисть, сохраняя композицию и всё остальное.
4. Сгенерируйте несколько вариантов и проверяйте не только пальцы, но и запястья, ногти, контакт с предметом и соответствие левой/правой руки.

Если вам нужен выбор инструмента под задачу, а не обещание «идеальных рук навсегда», посмотрите большое сравнение генераторов изображений.

Почему нейросеть плохо рисует текст

Для человека надпись — последовательность букв. Для классического генератора изображения это ещё и набор форм, текстур, бликов, перспективы и теней внутри сцены. Слово на вывеске должно одновременно быть написано правильно и выглядеть как часть материала.

Исследование Google Character-Aware Models Improve Visual Text Rendering выделяет конкретную причину: многие текстовые энкодеры не имеют достаточно сильных признаков на уровне отдельных символов. Модель хорошо понимает смысл слова, но хуже восстанавливает его точный визуальный состав как ряд глифов. Символьные признаки заметно улучшают результат, однако не превращают любую длинную фразу в готовую типографику.

Что работает лучше:

• короткое слово или заголовок вместо абзаца;
• точный текст в кавычках и запрет дополнительных надписей;
• явное описание расположения, регистра и контраста;
• отдельная генерация чистой сцены и добавление текста в Figma, Canva, Photoshop или редакторе сайта;
• ручная проверка каждой буквы, цифры, цены и URL.

Официальная памятка OpenAI по генерации изображений тоже рекомендует держать текст коротким, задавать его дословно и для плотных макетов доводить типографику в дизайнерском инструменте. Мой вердикт простой: нейросеть хорошо предлагает визуальную идею вывески, но финальную цену и адрес сайта я бы набирал обычным текстовым слоем.

Почему при обработке фото нейросеть меняет лицо

Генеративное редактирование — не всегда операция «найди пиксели фона и замени только их». Модель строит новый результат с учётом исходной картинки, инструкции и собственных закономерностей. Если изменение большое, лицо маленькое, размытое, закрыто или показано только на одном референсе, система заполняет недостающие детали наиболее вероятным образом.

Здесь возникает конфликт двух целей:

• выполнить новую инструкцию: сменить позу, свет, одежду, возраст, ракурс;
• сохранить идентичность: форму лица, расстояние между глазами, нос, линию челюсти, родинки, волосы.

Высокое качество и хорошее следование тексту ещё не гарантируют сохранения личности. Исследование Google RefVNLI даже оценивает эти два свойства отдельно: соответствие описанию и сохранение субъекта.

Чтобы уменьшить дрейф:

1. Меняйте один признак за шаг, а не фон, возраст, позу и одежду одновременно.
2. Напишите, что именно неизменно: лицо, выражение, причёска, пропорции тела, камера и фон.
3. Если инструмент поддерживает выделение области, редактируйте только её.
4. Используйте несколько качественных референсов одного человека с разрешением владельца изображения.
5. После каждого шага сравнивайте не «похоже в целом», а конкретные опорные признаки.

Для четырёх разных задач — улучшение, генеративная правка, описание и оживление — есть отдельный разбор нейросетей для работы с фото. Не смешивайте апскейл с перерисовкой: восстановить резкость и заново сгенерировать лицо — принципиально разные операции.

Один корень, четыре разных способа проверки

У текстовых и визуальных ошибок есть общий корень: генеративная модель создаёт вероятный результат, а не исполняет набор железных правил. Но дальше дороги расходятся.

Вот почему совет «сделайте промпт подробнее» иногда помогает, но не решает всё. Подробность уменьшает неоднозначность. Она не создаёт отсутствующий документ, не гарантирует правильный расчёт и не превращает генератор картинки в систему контроля анатомии.

Мини-тест ошибок: шесть заданий за 20 минут

Этот тест не обещает универсальный рейтинг. Его задача — показать профиль ошибок именно того режима и сервиса, которым вы пользуетесь. Запускайте задания в новом чате и сохраняйте исходные ответы без выборочного отбора удачных результатов.

Задание 1. Редкий проверяемый факт

Спросите точную дату, номер документа или характеристику, которую можно проверить на одной официальной странице. Не давайте ссылку в первом запросе. Затем попросите источник и откройте его.

Оценка: факт верен; ссылка существует; страница действительно подтверждает тезис; дата актуальна.

Задание 2. Ложная предпосылка

Задайте вопрос, в котором аккуратно спрятано неверное утверждение, например о функции продукта, которой нет в официальной документации. Хороший ответ должен возразить или запросить уточнение, а не украшать предпосылку подробностями.

Задание 3. Ответ только по документу

Дайте модели небольшой официальный текст и инструкцию: «Используй только этот фрагмент. Перед каждым выводом приведи подтверждающую цитату. Если ответа нет, напиши “в документе не указано”». Добавьте один вопрос, на который фрагмент не отвечает.

Задание 4. Расчёт

Дайте пять исходных чисел с единицами и попросите сначала записать формулу, затем выполнить её кодом или калькулятором. Пересчитайте результат отдельно и проверьте, не перепутаны ли проценты, месяцы и рубли.

Задание 5. Руки, счёт и текст в кадре

Попросите крупный кадр человека, который держит ровно две чашки, с полностью видимыми кистями и короткой вывеской из одного слова. Проверьте число чашек, пальцы, контакт рук с предметами и каждую букву. Не оценивайте только красоту.

Задание 6. Сохранение лица

Возьмите разрешённый портрет и попросите изменить только нейтральный фон. Запретите менять лицо, волосы, одежду, позу, кадрирование и свет на человеке. Сравните исходник и результат рядом, затем повторите ещё одну локальную правку и посмотрите, накапливается ли дрейф.

Записывайте не одну общую оценку, а четыре: фактическая точность, соблюдение инструкции, проверяемость и визуальная целостность. Тогда станет понятно, какая модель подходит вашему процессу. Полезную карту сервисов по задачам можно сверить со сравнением ChatGPT, Claude, Gemini, Grok, DeepSeek, Qwen и Perplexity.

Промпт, который снижает риск выдуманных фактов

Скопируйте основу и подставьте свою задачу:

Ответь на вопрос, используя только приложенные источники и доступный поиск. Для каждого проверяемого утверждения укажи ссылку и дату источника. Не придумывай названия документов, цитаты, URL, цифры и функции продукта. Если источники расходятся, покажи расхождение. Если надёжного подтверждения нет, напиши «не удалось подтвердить» и перечисли, каких данных не хватает. Сначала составь таблицу «утверждение — источник — подтверждение», затем дай краткий вывод.

Для работы с одним документом замените поиск на жёсткое ограничение: «используй только текст ниже». Для расчёта добавьте: «запиши формулу и выполни вычисление инструментом». Для новости — «источник должен быть опубликован или обновлён не раньше указанной даты».

Это не заклинание. Оно создаёт полезные точки контроля: модель может отказаться, источник можно открыть, неподтверждённый тезис виден до публикации.

Промпт для изображения с руками и точным текстом

Кинематографичный поясной кадр одного взрослого человека. Обе кисти целиком видны перед корпусом, не перекрывают друг друга, естественная анатомия, по пять пальцев на каждой руке. Человек держит ровно один предмет двумя руками. На предмете одна короткая надпись: «ПРОВЕРЕНО», дословно, крупные контрастные печатные буквы, без другого текста. Сначала сохрани простую композицию и правильную геометрию, затем добавь детали. Не добавляй лишние конечности, пальцы, предметы, логотипы и водяные знаки.

Даже после такого промпта пересчитайте пальцы и проверьте слово. Если надпись юридически или коммерчески значима, сгенерируйте предмет без неё и добавьте текст обычным редактором.

Промпт для точной правки фото без замены лица

Измени только фон на ровную светло-серую студийную стену. Сохрани лицо, черты, выражение, кожу, волосы, одежду, тело, позу, руки, освещение на человеке, перспективу, объектив, кадрирование и разрешение без изменений. Не ретушируй и не омолаживай. Не добавляй предметы и текст. Если точная локальная правка невозможна, не перерисовывай человека.

Если интерфейс умеет выделять область, маска фона важнее ещё одного абзаца запретов. Идите короткими шагами. Официальная памятка OpenAI по работе с изображениями тоже рекомендует менять по одному элементу и повторять ограничения, чтобы уменьшить дрейф.

Чек-лист проверки ответа нейросети

Перед тем как отправить результат клиенту, опубликовать или принять решение, пройдите десять пунктов:

1. Я отделил факты от идей, прогнозов и вариантов формулировки.
2. У каждого важного факта есть открываемый первоисточник.
3. Источник подтверждает именно тезис, а не только похожую тему.
4. Дата, версия продукта, страна, валюта и единицы измерения указаны.
5. Цитаты найдены в оригинале, а не переписаны «по памяти» модели.
6. Расчёты выполнены инструментом и проверены на простом контрольном примере.
7. В изображении пересчитаны объекты, конечности и повторяющиеся детали.
8. Весь текст на картинке проверен посимвольно.
9. При редактировании фото оригинал и результат сравнены рядом.
10. Для медицины, права, финансов, безопасности и репутационных решений есть профильный человек, который несёт ответственность за итог.

Для команды этот чек-лист полезнее общей инструкции «будь внимательнее». Если нужно внедрить такой процесс с ролями, источниками и контрольными точками, следующий шаг — корпоративное обучение по нейросетям для бизнеса.

Когда нейросети доверять нельзя

Нельзя отдавать модели финальное решение там, где ошибка может повредить здоровью, деньгам, правам, безопасности или репутации. Она может подготовить вопросы к врачу, найти пункты договора, предложить формулу бюджета или собрать черновик инструкции. Но диагноз, юридическая позиция, платёж, доступ к системе и публичное обвинение требуют проверки компетентным человеком.

Ещё один красный флаг — невозможность проверить ответ. Если чат ссылается на закрытый «отчёт», которого у вас нет, или утверждает, что видел файл, который не был загружен, не просите его «подумать ещё». Вернитесь к входным данным.

Надёжный процесс строится не на вере в конкретный бренд. Он строится на ограниченной задаче, доступных источниках, инструментах, журнале изменений и понятном владельце решения.

Что делать, если нейросеть уже дала неправильный ответ

Сначала не спорьте с тоном ответа. Найдите минимальное проверяемое утверждение и запросите опору. Затем:

1. Укажите конкретную ошибку и приложите правильный источник.
2. Попросите пересобрать ответ только из подтверждённых данных.
3. Удалите из контекста старую ошибочную версию, если интерфейс позволяет начать новый чат.
4. Сверьте остальные связанные факты: одна выдуманная дата часто тянет за собой ложную хронологию.
5. Зафиксируйте тест, чтобы такая ошибка ловилась автоматически или по чек-листу в следующий раз.

Не просите просто «проверь себя». Самопроверка той же моделью полезна как дополнительный фильтр, но она может повторить исходную ошибку. Лучше дать новый источник, другой инструмент или независимого проверяющего.

Частые вопросы

Почему нейросеть врёт человеку

Обычно это не намеренная ложь, а генерация правдоподобного, но неверного ответа. Языковая модель продолжает текст по изученным закономерностям и не всегда имеет надёжный источник для конкретного факта.

Когда нейросеть галлюцинирует чаще всего

Риск выше для редких, новых и неоднозначных фактов, точных цитат, ссылок, длинных расчётов и вопросов без нужного документа. Открытый творческий запрос тоже допускает больше вольности, чем ответ по ограниченному источнику.

Можно ли полностью убрать галлюцинации промптом

Нет. Хороший промпт снижает неоднозначность и разрешает модели отказаться от ответа. Поиск, документы, цитаты, код и независимая проверка уменьшают риск сильнее, но также не дают абсолютной гарантии.

Почему нейросеть плохо рисует пальцы

Кисть имеет сложную геометрию, много суставов, перекрытий и ракурсов. Генератор стремится к общей визуальной правдоподобности и может нарушить точное число или положение локальных частей.

Почему нейросеть рисует плохой текст на картинке

Ей нужно не только понять смысл слова, но и точно собрать последовательность символов как часть перспективной сцены. Символьные модели стали лучше, однако длинные надписи и редкие слова всё ещё требуют проверки и часто ручной вёрстки.

Почему нейросеть меняет лицо на фото

Генеративная правка пересоздаёт часть изображения. Если изменение слишком широкое или идентичность слабо закреплена референсом, модель заменяет отдельные черты на статистически правдоподобные.

Помогает ли просьба «не выдумывай»

Помогает как одна из инструкций, но гораздо надёжнее добавить источник, разрешить ответ «не знаю», потребовать подтверждение каждого тезиса и отдельно проверить ссылки, даты и цитаты.

Какая нейросеть меньше всего ошибается

Универсального победителя нет: качество зависит от задачи, режима, инструментов и свежести данных. Сравнивайте модели на своих проверяемых заданиях и учитывайте не только число правильных ответов, но и готовность признавать неопределённость.

Вывод: не запрещайте нейросети ошибаться — стройте проверку

Фраза «нейросеть не должна ошибаться» понятна, но бесполезна как процесс. Генеративные модели создают версии: текстовые, визуальные, расчётные. У каждой версии есть зона, где вероятность должна встретиться с правилом.

Для факта это первоисточник. Для числа — формула и инструмент. Для руки — пересчёт и геометрия. Для лица — оригинал, маска и контроль неизменяемых признаков.

Здесь нейросеть действительно становится рабочим инструментом: не потому, что ей поверили, а потому, что её результат можно быстро проверить, исправить и повторить. Сохраните чек-лист из десяти пунктов и примените его к следующей задаче до того, как нажмёте «опубликовать».

Об авторе: Илья Шведков — эксперт по внедрению нейросетей, ИИ-агентов и контент-систем в рабочие процессы бизнеса.