ИИ Claude случайно вышел в реальный интернет и взломал три компании

Во время испытаний по кибербезопасности модели искусственного интеллекта Claude должны были атаковать только специально созданные учебные цели. Однако из-за ошибки в тестовой среде они сохранили доступ к открытому интернету и получили доступ к системам трёх реальных организаций. Об этом сообщила компания Anthropic, разработавшая Claude.

Эксперимент проводился для проверки того, насколько эффективно ИИ способен искать уязвимости в компьютерных системах. Моделям сообщили, что они работают в полностью изолированной среде без доступа к интернету. На практике это оказалось не так.

Как ИИ оказался в реальном интернете

Из-за ошибки в настройке тестовой среды Claude смог взаимодействовать не только с подготовленными учебными целями, но и с настоящими серверами. Во время испытаний модели использовали слабые пароли и неправильно настроенные точки доступа, получили учётные данные и в одном случае смогли подключиться к базе данных реальной организации.

Всего доступ был получен к системам трёх компаний. Две из них даже не подозревали о произошедшем, пока Anthropic самостоятельно не уведомила их об инциденте.

ИИ не пытался атаковать компании специально

Разработчики подчёркивают, что Claude не принимал самостоятельного решения атаковать реальные организации. Модель выполняла поставленную задачу по поиску уязвимостей, но из-за ошибки организаторов получила доступ к открытому интернету и не смогла правильно определить границы тестирования.

В одном случае Claude понял, что взаимодействует с настоящей компанией, и прекратил дальнейшие действия. В другом модель ошибочно решила, что реальная организация является частью учебной симуляции, поэтому продолжила выполнять поставленное задание.

Испытания остановили

Anthropic сообщила, что остановила подобные тесты 23 июля после обнаружения проблемы. Пострадавшие организации были уведомлены 27 июля, а сама компания заявила, что внесла изменения в систему безопасности, чтобы подобные ситуации больше не повторялись.

Инцидент стал одним из первых публично раскрытых случаев, когда искусственный интеллект во время испытаний случайно вышел за пределы тестовой среды и получил доступ к реальным компьютерным системам. На фоне быстрого развития автономных ИИ-агентов подобные случаи усиливают дискуссию о необходимости более строгого контроля за их тестированием.