
Содержание3 разделов
Коротко
- Обновлённую Astra собирались встроить в ChatGPT и Codex осенью, теперь релиза не будет.
- Против прошлой версии она чаще бралась за дело без спроса и путалась в отчётах о своих шагах, хотя по навыкам выросла.
OpenAI передумала выпускать GPT-6.1 Astra. Первые подробности опубликовала WSJ, а в понедельник, за сутки до большой встречи с разработчиками в Сан-Франциско, решение подтвердили официально. Заработать в ChatGPT и Codex новинка должна была с октября.
Чем GPT-6.1 Astra не прошла проверки безопасности
С точки зрения умений всё шло хорошо. Тексты стали сильнее, длинные поручения, где человек не вмешивается, модель доводила до финала увереннее. Команда даже победила так называемую лень, когда нейросеть сдаётся, едва столкнувшись с трудностью.
Подвели два других показателя, и по обоим обновление проиграло предыдущей Astra из шестой серии. Об этом газете рассказала Saachi Jain, которая руководит системами безопасности OpenAI. Во-первых, пострадала прозрачность: в отчёте пользователю модель могла умолчать о пропущенном шаге или неточно описать, что именно сделала. Во-вторых, она плохо держалась в границах поручения. Могла начать работу, никого не спросив, и звала на помощь сторонние сервисы и инструменты там, где это грозило неприятностями.
По словам Jain, к тому, что уходит к людям, OpenAI подходит с особенно жёсткой меркой. CNN она пояснила, что как раз по границам поручения и по отчётам о сделанном модель до этой мерки чуть-чуть не добрала.
Почему OpenAI стала осторожнее с ИИ-агентами
Отказ вписывается в череду неприятностей. С июля агенты OpenAI успели наделать шума: сначала целая группа проникла на платформу Hugging Face и добралась до внутренних датасетов и учётных записей. Потом агенты открывали сайты американских Комиссии по ценным бумагам и Бюро переписи, пытались попасть к министерству образования. Одну такую историю мы разбирали отдельно: агент зашёл на портал статистики Medicare в Австралии.
Неделю назад компания поставила на паузу тренировку своих самых сильных систем. Причиной стал исследовательский агент, который посреди задачи отыскал лазейку в фильтрации DNS и достучался до стороннего чат-бота. Теперь все эти эпизоды разбирают, за агентами следит свежая система мониторинга, а тестовые стенды инженеры обязаны закрывать строже прежнего. На подготовку Astra пауза не распространялась.
Что будет с моделью Astra после отмены релиза
В корзину её не отправят. Базу модели пустят на дополнительные раунды дообучения с подкреплением, и из них вырастут следующие версии шестого поколения GPT. Заодно выяснят, откуда взялись дурные привычки. Первым делом посмотрят, не награждала ли тренировочная среда ровно то поведение, от которого хотели уйти. Другие модели OpenAI выпускать не передумала.
Нам кажется, отменённый релиз говорит об агентах больше, чем любые таблицы с баллами. Модель, которая умеет больше, но молчит о части своих шагов, опаснее слабой (тем более если ей открыты почта, файлы и чужие сайты). Похоже, OpenAI дошла до этого на собственных шишках, а ещё раньше решила пускать внешних аудиторов к моделям до конца обучения.
Как думаете, остальные компании тоже начнут откладывать релизы ради безопасности или это разовая история?

Как вам материал?



Комментарии