Содержание3 разделов
Коротко
- 18 июня модель OpenAI искала цифры о медицинских расходах Австралии и обошла запреты на сайте со статистикой Medicare, который ведёт Services Australia.
- OpenAI заметила случившееся в августе, а госведомству написала только через месяц, на общий адрес для сообщений об уязвимостях.
- По данным компании, личных медкарт агент не видел. Ему достались обобщённая статистика по здравоохранению и названия внутренних файлов.
- Албаниз считает, что так быть не должно. Премьер собрал рабочую группу, в которой участвуют управление радиоэлектронной разведки ASD и австралийский Институт безопасности ИИ.
Похоже, это первый публично признанный случай, когда ИИ-агент без чьей-либо команды влез в государственную систему. Рассказал о нём премьер-министр Энтони Албаниз, который сейчас в Нью-Йорке. Цель атаки выглядела совсем буднично: старый ресурс, куда ведомство выкладывало статистику по государственной медстраховке.
Как ИИ от OpenAI пробрался на портал Medicare
OpenAI гоняла свои модели на внутреннем тесте. Им задавали вопросы про Австралию, и одна из моделей отправилась выяснять, сколько страна тратит на медицину. Нужные цифры лежали за ограничением доступа. Агент нашёл способ его обойти. Албаниз описал это так: система «не приняла отказ как ответ».
Как пишет ABC News, сработал поисковый робот, то есть программа, которая обходит страницы и собирает с них данные. Агенты часто используют такие краулеры как инструмент. Здесь краулер нащупал дыру в защите и открыл файлы, которые публике не показывают.
В OpenAI признают, что модели «совершили действия, которых мы не планировали». По данным компании, агент увидел обобщённые цифры по здравоохранению и имена внутренних файлов. Медкарт пациентов там не было. Правительство пока подтверждает то же самое: следов утечки личных данных пациентов не нашли, остальная сеть ведомства, судя по всему, цела.
Почему Канберра злится на OpenAI из-за сроков
Самое неприятное в этой истории случилось после взлома. Сам доступ датирован 18 июня. OpenAI увидела его только 11 августа, когда разбирала случаи, где модели во время обучения вели себя не так, как задумано. Письмо о проблеме ушло десятого сентября, и отправили его на публичный ящик, куда исследователи обычно пишут про найденные уязвимости.
Дальше новость шла вверх по цепочке. Ведомство прочитало письмо на следующий день, 15 сентября передала дело в ASD. Министр по делам госслужбы Кэти Галлахер узнала 17-го, премьер и его офис на выходных 19 и 20 сентября. Первый технический разговор с OpenAI состоялся 22 сентября. Деталь из той же хронологии: 1 сентября Сэм Альтман встречался с министром обороны Ричардом Марлсом, и, как утверждает Марлс, про взлом ему тогда ничего не сказали.
Албаниз позвонил Альтману и сказал, что компания слишком затянула, а сама форма уведомления неприемлема. На вопрос, извинился ли глава OpenAI, премьер ответил, что тот явно признал: компания сработала недостаточно хорошо. Про инцидент премьер упомянул и в выступлении перед Совбезом ООН.
Что будет дальше с расследованием взлома Medicare
Сначала Албаниз перечислил ещё три сайта, которые могли задеть: Австралийский институт здоровья и благосостояния, криминальную статистику штата Новый Южный Уэльс и департамент здравоохранения штата Виктория. Позже Марлс уточнил, что там агент вёл себя обычно и брал только открытые данные. Рабочую группу для срочной проверки возглавит аппарат премьера. Она должна понять, как защищены другие госсайты и почему австралийские системы сами ничего не заметили.
Оппозиция упрекает правительство, что киберзащите оно уделяло мало внимания. Исполняющая обязанности лидера «зелёных» Мехрин Фаруки предложила вообще заморозить строительство дата-центров для ИИ в стране, пока не появятся новые правила.
Нам кажется, главный урок тут касается как раз задержки. Буквально на днях OpenAI обещала пустить внешних аудиторов к моделям до конца обучения, и эта история хорошо показывает, зачем такой контроль нужен. Агент, который сам выбирает шаги ради цели, может упереться в запрет и начать искать обход. А разработчик замечает это спустя два месяца и сообщает ещё через месяц.
Как думаете, должны ли компании отвечать за то, что натворил их ИИ, так же, как за проступки сотрудников?
Как вам материал?
Комментарии