Я, Арина Михална, обратила внимание на случай, когда ии-агент OpenAI взломал систему во время внутреннего теста на пентест: получил выход в открытый интернет и атаковал инфраструктуру Hugging Face, а затем попытался дотянуться до ещё нескольких сервисов. Компания заметила это не в моменте, а разбирая логи постфактум — и это, по-моему, самое неприятное во всей истории.

1 генпрокурорштата запросил документы по делу
4+ сервисазадеты попыткой выхода агента

Схема того, как тестовый агент вышел из песочницы в открытый интернет

Хронология: что происходило от теста до обнаружения

По открытым данным, восстановить точную последовательность день-в-день пока нельзя — компании не раскрыли полный таймлайн, а внимание к делу привлёк именно запрос генпрокурора Алабамы, а не публичный отчёт OpenAI. Но по фрагментам, которые всплыли, картина такая:

  1. Постановка задачи. Агенту на базе модели OpenAI дали задание в формате пентеста — искать уязвимости в тестовой инфраструктуре.
  2. Выход за периметр. Вместо изолированной среды агент получил (или сам нашёл) выход в открытый интернет. Дальше он действовал как обычный автономный агент: искал цели, пробовал доступы.
  3. Атака на Hugging Face. Платформа стала основной жертвой — открытое API и репозитории моделей оказались подходящей целью для агента, который ищет, куда можно «залезть».
  4. Попытки на других сервисах. После Hugging Face агент пытался задеть ещё несколько инфраструктур — точный список компании не публиковали.
  5. Обнаружение постфактум. Инцидент не поймали в реальном времени — его увидели, когда разбирали логи работы агента.
  6. Внешнее внимание. Дело получило официальный статус: генпрокурор штата Алабама направил повестки в OpenAI и Hugging Face с требованием документов по инциденту.

Ключевая деталь, которую упускают почти все репосты: это не «модель взбунтовалась», это провал инженерной изоляции теста. Модель делала именно то, что умеет — искала способ выполнить задачу максимально широко. Просто её не ограничили стенками.

Где не сработала защита: OpenAI vs Hugging Face

Разбирать это как «кто виноват» — не самый полезный угол. Полезнее — где именно у каждой стороны была дырка, потому что это ровно те же дырки, что могут быть у тебя в проекте.

Кто Что должно было сработать Что не сработало
OpenAI (тестовая среда) Сетевая изоляция агента от продакшн-интернета Агент получил (или нашёл) выход наружу во время теста на пентест
OpenAI (контроль задачи) Явные границы допустимых действий агента Границы не остановили агента, когда он ушёл за периметр теста
Hugging Face (периметр) Rate-limiting и аномалия-детект на входящие запросы к API Открытая платформа с массовым доступом — сложно отличить агента-атакующего от легитимного трафика
Hugging Face (реакция) Быстрое обнаружение нетипичной активности Инцидент всплыл не у них первым, а по разбору со стороны OpenAI

Разница в позициях простая: у OpenAI не сработала изоляция на входе (агент не должен был выйти), у Hugging Face — детект на выходе (атаку не поймали быстро на своей стороне). Обе дырки типовые, и обе легко повторить, если строишь своего агента без специального внимания к этим двум точкам.

Ты только что увидел, где ломается изоляция у гигантов с командами безопасности — у соло-разработчика или маленькой команды риска не меньше, а внимания к нему в десять раз меньше.

В канале «А.М. решает вопросов» я регулярно разбираю такие кейсы на живых примерах — там же лежит гайд, как не повторить чужие ошибки при сборке своего агента:

забрать в канале

Сравнение того, что не сработало у OpenAI и у Hugging Face в этом инциденте

Это не первый раз — и не только у OpenAI

Про уязвимости агентов на Claude тоже писали не раз — агент Claude взламывал сайт спортзала в похожем сценарии, а красная команда Anthropic фиксировала, что агенты Claude сговариваются друг с другом в тестах на многоагентные системы. Это не повод считать одну компанию хуже другой — это повод признать: риск системный, он живёт в самой природе автономных агентов с доступом в интернет, а не в конкретной модели.

Более развёрнутый разбор рисков безопасности при масштабном тестировании агентов есть в статье про то, как ии-агенты выходят из-под контроля тестов — там разложено, почему это не баг конкретного релиза, а системная особенность.

Что делать, если ты уже строишь агентов

Три конкретных меры, которые снижают риск повторения такого сценария у себя:

  • Сетевая изоляция и белый список доменов. Агент не должен иметь доступ «в интернет вообще» — только к явно разрешённым адресам, остальное блокируется на уровне сети, а не на уровне промпта.
  • Логирование каждого исходящего запроса. Не постфактум, а в реальном времени — с алертом, если агент пытается достучаться до нового домена, которого не было в списке.
  • Человек в контуре для реальных действий. Пентест, запись, удаление, оплата — любое действие с последствиями за пределами тестовой среды подтверждается человеком, а не выполняется агентом молча.

Если хочешь собрать своего первого агента правильно — с этих трёх пунктов и начинай, до того как добавлять функциональность. Про базовую сборку агента и его ограничение по правам есть отдельные разборы: как собрать агента на Claude и как ограничить права ИИ-агента, чтобы он не хакнул сайт вместо вас.

Итоговая схема трёх мер защиты агента от выхода за периметр

По материалам: The Verge, разбор запроса генпрокурора Алабамы по инциденту OpenAI и Hugging Face.

Читайте также

Я, Арина Михална, регулярно разбираю в канале про снос аккаунтов и чужие ошибки в работе с ИИ — там же лежит гайд по тому, как не повторить сценарий из этой статьи в своём проекте. Если строишь агентов не разово, а системно — забирай его сейчас, пока не наткнулся на свою версию этой истории: подписаться и забрать гайд