Перейти к содержимому

НейросетиРазбор

Что такое ИИ-агент, как он работает и какие нужны ограничения

Агент выбирает следующие действия по результатам инструментов. Показываем цикл на учебном примере и правила проверки результата.

Иллюстрация: Что такое ИИ-агент, как он работает и какие нужны ограничения
Содержание4 разделов

ИИ-агент получает задачу, выбирает действие, обращается к инструменту и использует результат для следующего шага. Не любой чат с кнопкой запуска работает как агент: последовательность может быть заранее задана обычной программой.

Anthropic различает фиксированные рабочие процессы и системы, где модель сама направляет ход действий. Название продукта не показывает степень самостоятельности. Это нужно проверять по доступным инструментам и правилам исполнения.

Учебный пример: проверить ссылки в документации

Задача: найти неработающие ссылки в копии публичной документации и подготовить исправления. Агент читает файлы, составляет список ссылок, проверяет ответы страниц и предлагает изменения. Если страница временно недоступна, он должен отметить неопределённость, а не безусловно удалить ссылку.

Критерий приёмки задаётся заранее: список проверенных адресов, статус каждой проверки и объяснение замены. Изменения показываются человеку до публикации. Удаление всей страницы ради одной ошибки не соответствует задаче.

Четыре ограничения перед запуском

  • Область: какие файлы и сайты разрешено читать и менять.
  • Действия: что можно выполнить самостоятельно, что требует проверки человеком.
  • Расход: предел времени, обращений к модели и инструментам.
  • Остановка: какие ошибки или неопределённости требуют прервать работу.

Начинайте с копии и минимальных прав. Возможность вызвать отправку письма не даёт разрешения отправлять его. Секреты не нужно вставлять в текст задания: их использование должно быть организовано отдельным защищённым механизмом.

Как проверить результат

Для исправления программы нужны проверки её поведения; для извлечения фактов нужны соответствующие места в исходниках. Отчёт агента «готово» подтверждает только его сообщение. Проверяйте фактически изменённые файлы и последствия действия.

Если шаг закончился ошибкой, повтор должен учитывать состояние системы. Например, после неясного результата публикации сначала нужно проверить, появилась ли запись. Иначе повтор создаст дубликат. Это особенно важно для внешних действий.

Когда агент не нужен

Если задача всегда состоит из одинаковых шагов, обычный скрипт может быть проще и предсказуемее. Если нужен один пересказ, достаточно запроса к модели. Самостоятельность имеет смысл там, где следующий шаг зависит от нового результата и при этом можно проверить итог.

Для первого задания пригодится шаблон запроса с критериями результата. Поиск по документам помогает снабдить агента источниками, но не заменяет права доступа.

Перед запуском команд ограничьте рабочую область. В новом разборе локальной песочницы Copilot есть учебная проверка разрешённого и запрещённого файла.

Для задач, которые идут в отсутствие человека, нужно проверить сохранение состояния. Разбираем это на анонсе рабочего агента Gemini и приёмке после паузы.

Птичка messgo спрашивает, как вам материал

Как вам материал?

Поделиться

Читайте также

Комментарии

Написать комментарий

Без регистрации: имя и почта не нужны, мы подпишем вас случайным именем. Комментарий появится после проверки редакцией.