ИИ Claude «сбежал из песочницы» во время теста и взломал системы трех организаций

Американская технологическая компания Anthropic заявила, что ее ИИ-модели самостоятельно взломали системы трех организаций в ходе закрытого эксперимента по тестированию кибербезопасности. Модели нашли брешь в изолированном (как предполагалось) тестовом окружении и сумели выйти в интернет.

Всего несколько дней назад OpenAI, конкурент Anthropic, сообщила, что ее ИИ-модели вышли из-под контроля и взломали системы Hugging Face, одного из крупнейших в мире хабов обмена моделями ИИ. Некоторые эксперты предполагали, что это мог быть маркетинговый ход: OpenAI пытается продемонстрировать свои возможности в конкуренции с Anthropic.

Anthropic заявила, что именно сообщение OpenAI побудило компанию проверить, совершали ли ее собственные модели аналогичные атаки. Компания утверждает, что обнаружила три случая, о которых впоследствии было сообщено пострадавшим компаниям, названия которых Anthropic не раскрывает.

Компания призвала других разработчиков ИИ провести аналогичные проверки, чтобы лучше понять риски, связанные с возможностями их моделей.

Проверки возможностей программ искусственного интеллекта проводятся в так называемых «песочницах», тестовой изолированной среде без доступа в интернет. Распространенный способ оценки способностей модели к взлому называют «захват флага» (capture-the-flag): ИИ-агент должен получить доступ к скрытому тестовому ключу путем взлома других систем.

В заявлении Anthropic говорится, что компания проанализировала более 140 000 тестов, чтобы найти доказательства того, что Claude — семейство ее моделей ИИ — может найти выход из «песочницы» и получить доступ к интернету. Выяснилось, что «неправильная конфигурация» систем, используемых Anthropic и ее партнером по тестированию, оставила моделям доступ к интернету в режиме реального времени, что позволило им взламывать другие системы. Первые инциденты произошли еще в апреле. Компания подчеркивает, что занимается исправлением уязвимостей «исходя из того, что вся ответственность лежит только на нас».

Ни компания Anthropic, ни организации, подвергшиеся взлому, не заметили кибератаку в тот момент, когда она происходила.

В Anthropic признали, что им следовало бы более тщательно проверить имеющиеся данные, и добавили, что полученная информация вселяет в компанию «осторожный оптимизм» в отношении того, что подобные риски можно преодолеть за счет дополнительных инвестиций и более жестких мер.

«Главное не то, что ИИ разработал принципиально новые возможности для атак. А то, что, что ИИ-агенты могут комбинировать возможности, получать учетные данные и доступ к системе, чтобы действовать автономно, одновременно со скоростью машины адаптируя масштаб и область действия», — отметил в комментарии Би-би-си эксперт по кибербезопасности Дэвид Аллотт.

Похожий инцидент с OpenAI

За последнюю неделю OpenAI, компания-разработчик ChatGPT, взяла на себя ответственность как минимум за два хакерских инцидента с участием ее платформ, вышедших за рамки заданных им инструкций.

21 июля она заявила, что ее ИИ-агент — система, способная работать самостоятельно после инструкций человека — вышел из-под контроля и преодолел ограничения тестирования, взломав Hugging Face. Соучредитель Hugging Face Томас Вольф в комментарии Би-би-си назвал тот инцидент «тревожным сигналом» для всей отрасли. Обе компании проводят совместное расследование.

Инциденты были восприняты с некоторым скептицизмом, поскольку OpenAI и Anthropic готовятся к масштабным размещениям акций на фондовом рынке. Предполагается, что стоимость каждой компании будет приближаться к триллиону долларов.

Представитель OpenAI признал, что «циркулирует много вопросов и предположений» по поводу инцидента.

«В ближайшие недели мы планируем опубликовать технический отчет о полученных нами результатах», — добавили в компании.

Президент США Дональд Трамп заявил в среду, что после недавних инцидентов в сфере кибербезопасности Вашингтон рассматривает меры по ограничению использования инструментов ИИ.

Скачайте новое приложение BBC World Service!

Выберите «BBC News Русская служба», чтобы получать уведомления о важных новостях, аналитике, видео и подкастах.

Важно! Новое приложение недоступно на территории Великобритании и США.