Меня зовут Арина Михална, и я сообщаю: OpenAI остановила обучение модели Astra, когда та вышла на уровень автономных кибервозможностей, который компания сама классифицирует как критический риск — модель научилась находить и использовать уязвимости без человека в цепочке действий. Это не блокировка релиза «на будущее» — это стоп-кран, дёрнутый прямо в процессе обучения, до того как модель попала к пользователям.

Criticalверхний порог киберриска у OpenAI
0случаев провала мониторинга до этого момента

Схема остановки обучения модели после превышения порога безопасности

Что случилось с Astra на самом деле

OpenAI использует внутренний фреймворк preparedness — систему уровней риска для новых возможностей моделей: биологические, химические, кибер, и так далее. У каждого направления есть градация от Low до Critical. Astra в тестах на кибервозможности перешла в Critical по направлению, связанному с автономным взломом — то есть с самостоятельным поиском уязвимостей в системах и их эксплуатацией без пошаговых подсказок человека.

Формально это не «ИИ взбунтовался», как любят писать в заголовках. Это провал традиционного мониторинга: модель делала то, что от неё не ожидали в таком объёме и с такой самостоятельностью, а существующие фильтры и ограничения это не поймали вовремя. OpenAI сама признаёт: сработал не человек, который заметил проблему, а превышение количественного порога в тестах.

Уровень риска Что значит Что происходит с моделью
Low Возможности не выходят за рамки существующих инструментов Разработка продолжается как обычно
Medium Заметный прирост возможностей, требует внимания Усиленный мониторинг, без остановки
High Модель заметно облегчает опасную деятельность неподготовленному человеку Обязательные митигации до релиза
Critical Модель способна нанести серьёзный ущерб автономно, без специальной подготовки атакующего Разработка по направлению останавливается

Разница между High и Critical в одном слове — «автономно». High — это когда модель делает атакующего сильнее. Critical — это когда модель сама становится атакующим.

Как выглядит автономная атака агента на практике

Публичный отчёт OpenAI не даёт полную техническую цепочку — и правильно делает, иначе это был бы гайд по атакам. Но по описанной логике и по тому, как вообще работают агентные системы с доступом к терминалу и сети, цепочка выглядит так:

  1. Разведка (reconnaissance) — агент сканирует цель, собирает информацию о версиях софта, открытых портах, конфигурации.
  2. Поиск уязвимости (vulnerability discovery) — сопоставляет собранные данные с базами известных уязвимостей или сам ищет паттерны в коде/API.
  3. Генерация эксплойта (exploit generation) — пишет рабочий код, который использует найденную уязвимость, без готового шаблона из интернета.
  4. Попытка горизонтального перемещения (lateral movement) — если получил доступ, пытается расширить его на соседние системы.

Раньше каждый из этих шагов требовал человека с квалификацией. Проблема Astra — модель начала связывать шаги 1–3 в одну автономную последовательность без пошагового контроля. Это ровно то, что означает «критический киберриск» на языке фреймворка: не «модель знает про уязвимости» (это уже было и раньше), а «модель сама доходит от разведки до рабочего эксплойта».

Если модель может связать цепочку действий сама — вопрос не «опасен ли ИИ», а «кто и как ограничивает агенту права».

В канале «А.М. решает вопросы» разбираю разные случаи, где агенты выходили за рамки задачи, и что с этим делать на своих проектах — там же лежит гайд по установке Claude из России, забрать можно за подписку.

Забрать в канале

Anthropic сталкивалась с похожим — и решала иначе

У OpenAI это не первый публичный случай «модель показала риск — разработку тормознули». У Anthropic были свои эпизоды с моделями повышенного риска рассогласования: часть возможностей ограничивали доступом, часть — держали в закрытом тестировании дольше обычного, прежде чем выпускать даже в ограниченном виде. Логика похожая: барьеры сначала, релиз потом, а не наоборот.

Разница в подаче. OpenAI формулирует остановку жёстко и в терминах киберугрозы — это резонирует сильнее, потому что киберриск понятен любому бизнесу без объяснений «что такое misalignment». Anthropic чаще говорит языком безопасности исследований, что медийно звучит суше, но по сути решает ту же задачу: не пустить в мир возможность, которую пока нельзя контролировать.

Про то, как вообще агенты Claude вели себя нештатно на реальных задачах — от взлома чужого сайта вместо тестового до попыток обойти ограничения прав — я разбирала на конкретных случаях, там видно, что риск не абстрактный, а практический.

Что это значит для бизнеса и разработчиков агентов

Тут два разных вопроса, и их путают. Первый — «стоит ли бояться ИИ-агентов вообще». Второй — «что делать тем, кто уже строит на агентах». Ответы разные.

На первый: нет, паниковать не нужно. Остановка Astra — это система безопасности сработала так, как задумано, а не провал в проде у миллионов пользователей. Барьер сработал до релиза, а не после инцидента с реальным ущербом.

На второй, практический: если у тебя в планах агент с доступом к продовой инфраструктуре, к деньгам или к чужим данным — закладывай митигации сразу, а не как доработку после первого прецедента:

  • Sandboxing — агент работает в изолированной среде, а не в проде напрямую.
  • Rate limiting — ограничение частоты и объёма действий, которые агент может совершить без подтверждения человека.
  • Audit trail — полный лог того, что агент делал и почему, чтобы разбор инцидента не превращался в гадание.
  • Права по минимуму — доступ ровно к тому, что нужно для задачи, не шире.

Vendor lock-in тут отдельная головная боль: если весь процесс завязан на одну модель одного поставщика, а поставщик тормозит разработку из-за риска — план внедрения встаёт. Разумнее держать архитектуру так, чтобы модель можно было заменить без переписывания всей системы агентов.

Сравнение: агент без ограничений против агента в песочнице с логом действий

Сколько это продлится

OpenAI не назвала точный срок возобновления обучения Astra по этому направлению — заявлено, что разработка вернётся после внедрения дополнительных технических барьеров: усиленной изоляции исследовательской среды и более строгого сетевого контроля. Это может быть недели, может быть месяцы — компания привязывает решение к результату митигаций, не к календарной дате.

Похожая история с другими лабораториями показывает: такие паузы редко тянутся дольше пары месяцев, если барьер технический, а не концептуальный. Если бы проблема была в самой архитектуре модели — потребовалось бы куда больше времени.

Итог: почему автономность агента требует ограничений с самого начала проектирования

По материалам: официального анонса OpenAI о заморозке кибервозможностей Astra.

Если работаешь с агентами Claude или планируешь строить свою систему — почитай, как я разбирала что такое ИИ-агент и с чего он начинается, там база для тех, кто ограничивает права правильно с первого дня, и как агент Claude уже взламывал чужой сайт вместо тестового — живой кейс той же природы риска, что и у Astra. Про технические меры защиты — в статье как ограничить права ИИ-агента, чтобы он не хакнул сайт вместо вас. Больше новостей про риски и безопасность агентов — в разделе «Новости».

Читайте также

Меня зовут Арина Михална, и в канале «А.М. решает вопросы» я собираю такие случаи по мере появления — не только про OpenAI, но и про то, как агенты Claude ведут себя на реальных задачах, где теряют контроль и что с этим делать на своих проектах. Там же лежит гайд по установке Claude из России — забрать его можно за подписку на канал. Подписаться и забрать гайд