
Содержание3 разделов
Anthropic 16 октября описала self-assessment: Claude после ответа формирует предварительную оценку разговора для последующего разбора. Компания сообщает, что использует этот подход на большой доле трафика моделей, выпущенных начиная с Fable 5. Это внутренний слой мониторинга, а не объявление новой пользовательской кнопки.
В отчёте для Fable 5 указаны 78% обнаруженных разговоров из тех, которые пометил более сильный классификатор, и 94% для его высокоприоритетной группы. Рабочая точка задана при 1% ложноположительных срабатываний относительно той же оценки. Первоисточник проверен 20 октября 2026 года.
Сначала выясните, с чем сравнили результат
78% здесь не доля правильных ответов Claude и не гарантия, что найдены 78% всех опасных действий в мире. Эталон в этой оценке тоже модель. Anthropic отдельно отмечает: слабости учителя могут переходить к ученику, а сравнение с тем же учителем их не обнаружит.
Метод в производственной системе пассивно помечает разговоры для проверки. Он не предназначен быть единственной защитой от атак. Из такой публикации нельзя вывести, что любое нежелательное действие будет остановлено до выполнения.
Почему 1% не означает, что почти все флаги верны
Возьмём учебный набор для расчёта. Это вымышленные размеры выборки для объяснения процентов, без заявления об объёме реального трафика Anthropic.
Пусть эталонный классификатор пометил 100 разговоров и не пометил ещё 10 000. Если на таком наборе применить значения 78% и 1%, получится:
- 78 флагов совпадут с положительной меткой эталона.
- 22 разговора с положительной меткой останутся без флага.
- 100 флагов придутся на группу, которую эталон не пометил.
- Всего выйдет 178 флагов, и совпадение с положительной меткой составит около 44%: 78 / 178.
Последнее число меняется вместе с пропорциями групп. Его нельзя переносить на реальную систему без распределения её данных. И даже в примере «положительная метка» означает решение выбранного эталона, а не независимо установленный факт вреда.
Что спросить у поставщика мониторинга
При оценке подобного отчёта запишите, кто задаёт эталон и какую группу охватывает процент. Затем выясните, что происходит после сигнала: автоматическая остановка или очередь на проверку. Для рабочего процесса это два разных результата.
Проверку ограничений агента до отправки формы разбираем на примере действий во внешних сервисах. Как сравнивать ответ с независимыми источниками, объясняем в памятке о проверке нейросетей.
Обложка создана нейросетью как редакционная иллюстрация темы. Она не показывает реальный интерфейс программы или конкретную модель устройства.

Как вам материал?



Комментарии