Содержание5 разделов
Коротко
- Модель предсказывает правдоподобный текст. Правдоподобное и верное совпадают часто, но не всегда.
- Больше всего ошибок в цифрах, датах, цитатах, ссылках, номерах статей закона и редких фактах.
- Защита простая: просить источник и открывать его, давать модели документ вместо вопроса «по памяти».
Юрист подаёт в суд документ со ссылками на прецеденты, которых никогда не было. Студент сдаёт реферат, где половину книг из списка литературы никто не писал. Менеджер отправляет клиенту коммерческое предложение с цифрой рынка, которую модель придумала за секунду. Такие истории случаются регулярно, и почти всегда причина одна: человек поверил нейросети на слово.
Почему нейросети галлюцинируют
Языковая модель обучена предсказывать следующее слово в тексте. Она видела огромное количество текстов и отлично знает, как обычно выглядит ссылка на научную статью, номер статьи закона или биография учёного. Когда вы спрашиваете о том, чего она точно не знает, по умолчанию она не говорит «не знаю». Она продолжает текст так, как такой текст обычно выглядит. Получается гладкая, уверенная и полностью выдуманная ссылка.
При этом модель не врёт в человеческом смысле, у неё нет намерения обмануть. Есть статистика, которая на редких темах подводит. И чем увереннее тон, тем легче в это поверить, потому что люди привыкли считать уверенность признаком знания.
Где галлюцинации нейросетей опаснее всего
| Что спрашиваете | Риск выдумки |
|---|---|
| Ссылки, названия книг и статей | Очень высокий |
| Точные цифры, даты, статистика | Высокий |
| Номера статей законов и их содержание | Высокий |
| Цитаты известных людей | Высокий |
| Малоизвестные люди и компании | Высокий |
| События после даты обучения модели | Высокий, если нет доступа к интернету |
| Общие объяснения понятий | Низкий |
| Переписать, сократить или перевести ваш текст | Низкий |
Правило запоминается легко: чем точнее и реже факт, тем выше шанс, что модель его придумает. А работа с текстом, который вы дали сами, почти безопасна. Модели гораздо лучше переписывают, чем вспоминают.
Как проверить ответ нейросети на ошибки
Просите источник и открывайте его. Мало увидеть, что ссылка есть: перейдите по ней и найдите там то самое утверждение. Мы в редакции натыкались на ссылки, которые вели на настоящий сайт, но на страницу совсем о другом.
Цифры, на которых держится вывод, проверяйте отдельно. Найдите каждую в первоисточнике: на сайте статистического ведомства, в отчёте компании, в тексте закона на официальном портале правовой информации.
Давайте модели документ. Вместо «какой штраф за такое-то нарушение» вставьте текст нужной статьи и спросите по нему. Ошибок станет в разы меньше, на этом построен подход RAG.
Разрешите модели не знать. Добавьте в запрос фразу «если не уверен, так и скажи». Помогает не всегда, но часто. И спросите у неё про слабые места ответа: «какие утверждения здесь могут быть неверными?». Часть ошибок модель найдёт сама. Если ответ важен, сверьте его с другой моделью или с поиском, два независимых подтверждения лучше одного уверенного.
Стали ли нейросети выдумывать меньше
Да, и заметно. Разработчики учат модели признавать незнание, давать ссылки и проверять себя, и каждое новое поколение ошибается реже. Компании регулярно приводят такие цифры в анонсах. OpenAI, например, утверждает, что обновлённая GPT-6 Sol ошибается примерно вдвое реже предшественницы (подробнее), а Anthropic показала тест, где Opus 5.5 собрала финансовый отчёт без единой неверной цифры в 16 попытках из 18.
Но «вдвое реже» это не «никогда», и 16 из 18 это две неудачи. Для всего, что уходит клиенту, в суд, в отчёт или в печать, проверка остаётся обязательной. Мы сами проверяем каждую цифру в наших новостях по первоисточнику, даже когда черновик собирает модель.
Частые вопросы о галлюцинациях нейросетей
Есть ли модели, которые совсем не выдумывают?
Нет. Есть модели, которые ошибаются реже, и режимы с поиском в интернете, где ответы идут со ссылками. Но проверять нужно любые.
Помогает ли написать «не выдумывай»?
Немного помогает. Гораздо сильнее помогает дать модели документ, по которому она должна отвечать.
Почему модель спорит, когда я указываю на ошибку?
Иногда она права, иногда повторяет прежний ответ по инерции. Попросите показать источник, это быстро проясняет, кто из вас ошибся.
Ловили нейросеть на выдумке? Что это было?
Как вам материал?
Комментарии