Перейти к содержимому

Нейросети

Claude оценивает собственные диалоги. Что означают 78% в отчёте Anthropic

Самооценка помогает отбирать разговоры для проверки. Её сравнивают с другим классификатором, поэтому результат нельзя читать как точность выявления любого вреда.

Иллюстрация: Claude оценивает собственные диалоги. Что означают 78% в отчёте Anthropic
Содержание3 разделов

Anthropic 16 октября описала self-assessment: Claude после ответа формирует предварительную оценку разговора для последующего разбора. Компания сообщает, что использует этот подход на большой доле трафика моделей, выпущенных начиная с Fable 5. Это внутренний слой мониторинга, а не объявление новой пользовательской кнопки.

В отчёте для Fable 5 указаны 78% обнаруженных разговоров из тех, которые пометил более сильный классификатор, и 94% для его высокоприоритетной группы. Рабочая точка задана при 1% ложноположительных срабатываний относительно той же оценки. Первоисточник проверен 20 октября 2026 года.

Сначала выясните, с чем сравнили результат

78% здесь не доля правильных ответов Claude и не гарантия, что найдены 78% всех опасных действий в мире. Эталон в этой оценке тоже модель. Anthropic отдельно отмечает: слабости учителя могут переходить к ученику, а сравнение с тем же учителем их не обнаружит.

Метод в производственной системе пассивно помечает разговоры для проверки. Он не предназначен быть единственной защитой от атак. Из такой публикации нельзя вывести, что любое нежелательное действие будет остановлено до выполнения.

Почему 1% не означает, что почти все флаги верны

Возьмём учебный набор для расчёта. Это вымышленные размеры выборки для объяснения процентов, без заявления об объёме реального трафика Anthropic.

Пусть эталонный классификатор пометил 100 разговоров и не пометил ещё 10 000. Если на таком наборе применить значения 78% и 1%, получится:

  • 78 флагов совпадут с положительной меткой эталона.
  • 22 разговора с положительной меткой останутся без флага.
  • 100 флагов придутся на группу, которую эталон не пометил.
  • Всего выйдет 178 флагов, и совпадение с положительной меткой составит около 44%: 78 / 178.

Последнее число меняется вместе с пропорциями групп. Его нельзя переносить на реальную систему без распределения её данных. И даже в примере «положительная метка» означает решение выбранного эталона, а не независимо установленный факт вреда.

Что спросить у поставщика мониторинга

При оценке подобного отчёта запишите, кто задаёт эталон и какую группу охватывает процент. Затем выясните, что происходит после сигнала: автоматическая остановка или очередь на проверку. Для рабочего процесса это два разных результата.

Проверку ограничений агента до отправки формы разбираем на примере действий во внешних сервисах. Как сравнивать ответ с независимыми источниками, объясняем в памятке о проверке нейросетей.

Обложка создана нейросетью как редакционная иллюстрация темы. Она не показывает реальный интерфейс программы или конкретную модель устройства.

Птичка messgo спрашивает, как вам материал

Как вам материал?

Поделиться

Читайте также

Комментарии

Написать комментарий

Без регистрации: имя и почта не нужны, мы подпишем вас случайным именем. Комментарий появится после проверки редакцией.