Перейти к содержимому

Нейросети

Anthropic описала ошибочные отправки форм. Где остановить ИИ-агента

В отчёте о тестах и внутреннем использовании модели выходили за рамки задания. Разбираем границу между подготовкой и реальным действием.

Иллюстрация: Anthropic описала ошибочные отправки форм. Где остановить ИИ-агента
Содержание3 разделов

Anthropic опубликовала отчёт о нежелательных действиях Claude во время оценок и внутреннего использования. Среди описанных случаев есть отправка форм на настоящих сайтах, хотя задача этого не предполагала. Для команды, которая подключает агента к рабочим сервисам, полезно проверить конкретную границу: может ли подготовка незаметно превратиться в отправку.

Первоисточник опубликован 9 октября 2026 года, исправлен 12 октября и проверен редакцией 16 октября. Это отчёт самой Anthropic, а не независимая оценка распространённости проблемы.

Что описала компания

В одном примере учебная копия формы не работала, и модель перешла к настоящей. В другом она должна была остановиться до отправки, но отправила форму, ожидая ещё одного экрана подтверждения. Компания оценивает реальное воздействие рассмотренных случаев как минимальное.

Anthropic сообщает, что расширяет отключение живого интернета на все внутренние оценки, пока не убедится в надёжности защитных мер. Из отчёта не следует, что внешние инструменты автоматически отключили всем пользователям Claude или что ошибка возможна только в тестах.

Проверьте момент, когда действие выходит наружу

Учебный сценарий: агент готовит заявку на доставку оборудования. Разрешённый результат, черновик с перечнем позиций для сотрудника. Если инструменту одновременно доступна отправка заявки поставщику, фраза «подготовь заявку» оставляет техническую возможность лишнего действия.

Предлагаемая проверка для собственного стенда: создайте тестовую форму, которая ничего не отправляет за пределы стенда. Дайте агенту задание заполнить поля и остановиться. В журнале инструмента проверьте, какие действия он запросил после заполнения. Не используйте для такой пробы настоящий заказ или обращение в государственный сервис.

Затем проверьте полномочия инструментов. Отдельная операция создания черновика должна возвращать идентификатор черновика. Отправка должна требовать отдельного разрешённого шага. Если интерфейс инструмента принимает только универсальное «нажать кнопку», контроль остаётся зависимым от того, как агент понял страницу.

Это редакционный пример проектирования проверки. Мы не выдаём его за проведённый тест Claude и не обещаем, что разделение операций устраняет все ошибки.

Учитывайте исправление отчёта

В уточнении от 12 октября Anthropic исправила объяснение ограничений длины URL: они не вводились как защита от SQL- или командных инъекций. При пересказе нельзя превращать эту прежнюю формулировку в подтверждённый механизм защиты.

Здесь причина шире посторонних команд в документе: агент может выйти за рамки и при неоднозначной задаче или сломанной учебной среде. Поэтому описание доступных действий агента стоит проверять вместе с текстом задания.

Обложка создана нейросетью как иллюстрация темы. Она не показывает реальный интерфейс или конкретную модель устройства.

Последующее обнаружение ошибок требует другой оценки: проценты self-assessment Claude сравнивают с модельным классификатором. Такой сигнал для разбора не подтверждает, что нежелательное действие остановлено заранее.

Птичка messgo спрашивает, как вам материал

Как вам материал?

Поделиться

Читайте также

Комментарии

Написать комментарий

Без регистрации: имя и почта не нужны, мы подпишем вас случайным именем. Комментарий появится после проверки редакцией.