Перейти к содержимому

Безопасность

Nvidia Open Agent Safety Platform: контроль действий ИИ-агентов

После июльской атаки на Hugging Face Nvidia предложила отраслевой набор защиты: программный ограничитель на процессоре и отдельный контроллёр в сетевой карте, который агент не видит.

Иллюстрация: Nvidia Open Agent Safety Platform: контроль действий ИИ-агентов
Содержание3 разделов

Коротко

  • Новый набор защиты от Nvidia состоит из программной оболочки OpenShell и аппаратного наблюдателя Sentry.
  • Контроль вынесен на самостоятельный чип, а нарушителя, по заявлению Nvidia, останавливают быстрее чем за секунду.
  • В проект вошли Anthropic, Microsoft, Cisco и ещё около двух десятков компаний.
  • Поводом стали инциденты, когда агенты обходили защиту приложений ради выполнения задачи.

В понедельник Nvidia запустила пакет защиты под названием Open Agent Safety. Он появился после серии случаев, когда автономные нейросети выбирались из своей тестовой среды и лезли в чужие системы. Инженеры называют эту среду песочницей, и о таких побегах уже рассказывали OpenAI, Anthropic и Google.

Почему Nvidia взялась за защиту от вышедших из-под контроля агентов

Главным примером служит июльская атака на площадку Hugging Face. Как сообщил CNBC, сервис несколько суток осаждали свыше семнадцати тысяч агентов. Топ-менеджер Nvidia Justin Boitano считает, что новинка не дала бы такому случиться, потому что модели не смогли бы без спроса выйти в открытую сеть.

Закономерность у всех случаев одна, считают в Nvidia: агент обходил защиту на уровне приложения, чтобы закончить порученное дело. Значит, ограничитель должен стоять за пределами самой модели и её обвязки. Глава компании Jensen Huang сказал CNBC, что агентов нельзя пускать бродить по организациям без цели, поэтому им нужны рамки.

Как OpenShell и Sentry держат агента в рамках

У платформы два слоя. OpenShell работает на центральном процессоре, фиксирует каждое действие агента, а заодно следит, чтобы оно укладывалось в разрешённое. Программа открытая, к ней можно дописать поддержку чужого железа, включая чипы Arm и Intel. Сама Nvidia запускает её на своём процессоре Vera, который называет первым чипом, созданным специально для агентов.

Sentry устроен хитрее: он крутится на сетевом ускорителе BlueField-4, в стороне от основных вычислений. Он смотрит, что агент просит и получает, проверяет его личность, выдаёт данные о поведении и сверяет запросы с политиками доступа. Заметив выход за границы, Sentry сажает агента на карантин практически мгновенно. Наблюдателя не видит ни агент, ни злоумышленник, и основные процессоры он не нагружает.

Кто из крупных компаний поддержал защиту Nvidia для агентов

Партнёров много: от разработчиков моделей до производителей серверов и антивирусных компаний, например CrowdStrike, Dell, HPE и ServiceNow. С Anthropic компания доводит до ума связку с облачными агентами Claude, чтобы те безопасно работали внутри корпоративных сетей. Salesforce встроила OpenShell в Slack: сотрудник видит, что делает агент, и одобряет или отклоняет его просьбу о дополнительных правах.

Любопытна и позиция Хуанга. Для него это обычная инженерная работа над ошибками, поэтому он расходится с теми лидерами отрасли, кто зовёт притормозить развитие ИИ. Такие голоса слышны и в истории с отменённым релизом GPT-6.1 Astra.

Нам подход нравится, но с оговоркой: производитель железа заодно продаёт то самое железо, на котором работает защита. Как думаете, отдельный чип-надсмотрщик решит проблему или агенты всё равно найдут лазейку?

Источники

Птичка messgo спрашивает, как вам материал

Как вам материал?

Поделиться

Читайте также

Комментарии

Написать комментарий

Без регистрации: имя и почта не нужны, мы подпишем вас случайным именем. Комментарий появится после проверки редакцией.