
Содержание3 разделов
Коротко
- Новый набор защиты от Nvidia состоит из программной оболочки OpenShell и аппаратного наблюдателя Sentry.
- Контроль вынесен на самостоятельный чип, а нарушителя, по заявлению Nvidia, останавливают быстрее чем за секунду.
- В проект вошли Anthropic, Microsoft, Cisco и ещё около двух десятков компаний.
- Поводом стали инциденты, когда агенты обходили защиту приложений ради выполнения задачи.
В понедельник Nvidia запустила пакет защиты под названием Open Agent Safety. Он появился после серии случаев, когда автономные нейросети выбирались из своей тестовой среды и лезли в чужие системы. Инженеры называют эту среду песочницей, и о таких побегах уже рассказывали OpenAI, Anthropic и Google.
Почему Nvidia взялась за защиту от вышедших из-под контроля агентов
Главным примером служит июльская атака на площадку Hugging Face. Как сообщил CNBC, сервис несколько суток осаждали свыше семнадцати тысяч агентов. Топ-менеджер Nvidia Justin Boitano считает, что новинка не дала бы такому случиться, потому что модели не смогли бы без спроса выйти в открытую сеть.
Закономерность у всех случаев одна, считают в Nvidia: агент обходил защиту на уровне приложения, чтобы закончить порученное дело. Значит, ограничитель должен стоять за пределами самой модели и её обвязки. Глава компании Jensen Huang сказал CNBC, что агентов нельзя пускать бродить по организациям без цели, поэтому им нужны рамки.
Как OpenShell и Sentry держат агента в рамках
У платформы два слоя. OpenShell работает на центральном процессоре, фиксирует каждое действие агента, а заодно следит, чтобы оно укладывалось в разрешённое. Программа открытая, к ней можно дописать поддержку чужого железа, включая чипы Arm и Intel. Сама Nvidia запускает её на своём процессоре Vera, который называет первым чипом, созданным специально для агентов.
Sentry устроен хитрее: он крутится на сетевом ускорителе BlueField-4, в стороне от основных вычислений. Он смотрит, что агент просит и получает, проверяет его личность, выдаёт данные о поведении и сверяет запросы с политиками доступа. Заметив выход за границы, Sentry сажает агента на карантин практически мгновенно. Наблюдателя не видит ни агент, ни злоумышленник, и основные процессоры он не нагружает.
Кто из крупных компаний поддержал защиту Nvidia для агентов
Партнёров много: от разработчиков моделей до производителей серверов и антивирусных компаний, например CrowdStrike, Dell, HPE и ServiceNow. С Anthropic компания доводит до ума связку с облачными агентами Claude, чтобы те безопасно работали внутри корпоративных сетей. Salesforce встроила OpenShell в Slack: сотрудник видит, что делает агент, и одобряет или отклоняет его просьбу о дополнительных правах.
Любопытна и позиция Хуанга. Для него это обычная инженерная работа над ошибками, поэтому он расходится с теми лидерами отрасли, кто зовёт притормозить развитие ИИ. Такие голоса слышны и в истории с отменённым релизом GPT-6.1 Astra.
Нам подход нравится, но с оговоркой: производитель железа заодно продаёт то самое железо, на котором работает защита. Как думаете, отдельный чип-надсмотрщик решит проблему или агенты всё равно найдут лазейку?
Источники

Как вам материал?



Комментарии