OpenAI отменила релиз новой, флагманской ИИ-модели из соображений безопасности. Риск настолько серьезен?

Компания OpenAI, создатель ChatGPT, подтвердила, что не будет выпускать свою новую модель искусственного интеллекта GPT-6.1 Astra из соображений безопасности. Это заявление было сделано за день до ежегодной конференции разработчиков DevDay в Сан-Франциско. Ранее стало известно о случаях взлома внешних систем ИИ-агентами, созданными OpenAI.

Модель GPT-6.1 Astra, способная самостоятельно выполнять такие задачи, как поиск информации в интернете и работа с приложениями, «не совсем соответствовала» стандартам компании, рассказала руководитель отдела систем безопасности OpenAI Саачи Джайн.

«Мы стремимся к тому, чтобы разработка наших моделей была безопасной — как внутри компании, так и на этапе предоставления доступа пользователям. Однако когда мы выпускаем продукт для пользователей, мы предъявляем чрезвычайно высокие требования к безопасности и соответствию заданным принципам», — добавила она.

Флагманская ИИ-модель GPT-6 Astra, выпуск которой был запланирован на октябрь, специализируется на сложных логических задачах и способна работать автономно. В OpenAI ранее заявили, что эта модель — результат «многолетних исследований и масштабных, рискованных начинаний».

Решение отказаться от релиза новой модели может говорить о серьезности рисков, связанных с ее выпуском, отмечают обозреватели.

Взлом правительственных сайтов и систем в Австралии

На прошлой неделе премьер-министр Австралии Энтони Альбанезе сообщил, что ИИ-агент OpenAI взломал правительственные веб-сайты и системы.

Эти инциденты произошли еще в июне, но о них стало известно только на прошлой неделе — из заявлений властей Австралии.

OpenAI рассказала о случаях взлома, о которых говорил премьер Австралии, только во вторник, 29 сентября.

В компании уточнили, что от действий ИИ-агента пострадали такие ведомства и организации, как Министерство социальных служб Австралии, бюро статистики и исследований преступности штата Новый Южный Уэльс, департамент здравоохранения штата Виктория, а также институт здравоохранения и социального обеспечения Австралии. Среди документов, к которым получил доступ ИИ-агент, были и не находившиеся в открытом доступе данные государственной системы медицинского страхования Medicare.

По словам Энтони Альбанезе, ИИ-агент не получил доступа к конфиденциальным файлам Medicare, а только к тому массиву документов, которые не являются строго конфиденциальными, однако сам инцидент он назвал тревожным, а действия OpenAI — неприемлемыми.

Компания заявила, что узнала об инцидентах только в середине августа — то есть почти через два месяца с момента первого взлома — и сразу же начала расследование.

В OpenAI сообщили, что компания уведомила пострадавшие от взломов ведомства и организации в период с 10 по 24 сентября. То, что компания не оповестила пострадавшие ведомства сразу же после выявления проблемы, в OpenAI объяснили стремлением предоставить пострадавшей стороне максимально полную информацию о произошедшем.

«Мы стремились предоставить пострадавшим ведомствам подробный отчет после завершения расследования», — отметили в OpenAI, добавив, что компании следовало оперативнее делиться предварительными результатами и информировать власти Австралии о ходе расследования.

Альбанезе раскритиковал OpenAI в том числе за то, что компания уведомила правительство Австралии об инцидентах через общую электронную почту и не попыталась связаться с официальными лицами напрямую.

OpenAI выразила сожаление по поводу инцидента и признала, что ей «следовало бы лучше организовать процесс реагирования».

В компании добавили, что ее специалисты разработают «практические подходы» к тому, как разработчики и правительства будут выявлять и раскрывать информацию о подобных инцидентах, связанных с ИИ.

Компания также заявила, что будет финансировать меры по обеспечению кибербезопасности, оказывать специализированную поддержку пострадавшим ведомствам и создаст рабочую группу для управления рисками, связанными с постоянно совершенствующимися агентами ИИ.

Решение OpenAI отказаться от выпуска новой ИИ-модели, о чем первым сообщило издание Wall Street Journal, стало редким примером того, как крупный разработчик в области искусственного интеллекта отказывается от выпуска нового продукта из соображений безопасности, отмечает корреспондент Би-би-си Осмонд Чиа.

«Сильный и умный президент». Есть ли способы контролировать новые ИИ-модели?

Эти и подобные случаи несанкционированного взлома при участии ИИ-моделей ведущих разработчиков спровоцировали широкую дискуссию о рисках, связанных с новыми технологиями в области ИИ.

Главы ведущих ИИ-компаний, в том числе Сэм Альтман из OpenAI и Дарио Амодеи из Anthropic, призвали представителей отрасли замедлить темпы разработки из-за опасений по поводу новых рисков, связанных с развитием ИИ.

В августе OpenAI объявила, что в июле ее ИИ-агенты вышли из-под контроля и взломали платформу Hugging Face. Тогда компания приняла решение замедлить обучение передовых ИИ-моделей.

Ряд разработчиков и чиновники тогда также призвали представителей отрасли к ужесточению контроля за этими ИИ-технологиями.

В понедельник, 28 сентября, гигант индустрии чипов Nvidia представил набор инструментов для защиты программного обеспечения от несанкционированных действий автономных ИИ-агентов. В компании утверждают, что эти инструменты могли бы предотвратить взлом платформы Hugging Face.

Один из новых инструментов использует аппаратные возможности чипов Nvidia для изоляции таких агентов.

Глава Nvidia Дженсен Хуанг в целом скептически относится к призывам ужесточить регулирование сферы ИИ, утверждая, что проблема «неконтролируемых агентов» носит инженерный характер и поддается решению.

В сентябре Nvidia договорилась о покупке Hugging Face за 12,9 млрд долларов.

В понедельник во время визита во Францию ​папа римский Лев XIV заявил, что к этой технологии «следует относиться серьезно», и выразил сомнение в обоснованности позиции Хуанга.

Понтифик отметил, что читал сообщения о заявлении главы Nvidia, в котором тот допустил возможность внедрения механизмов контроля в определенные модели ИИ.

«Однако это тот самый человек, который утверждает, что не должно быть никаких ограничений или государственного регулирования», — заметил понтифик, ранее уже предупреждавший об опасности «утраты человеческой сущности» под влиянием технологий.

Би-би-си обратилась к Nvidia за комментариями.

Президент США Дональд Трамп и спикер Палаты представителей Майк Джонсон во вторник проведут в Белом доме встречу с руководителями технологических компаний, на которой будут обсуждаться вопросы регулирования сферы искусственного интеллекта.

Дональд Трамп обычно выступает против усиления регулирования в ИИ-отрасли. Ранее он заявлял, что все опасения по поводу рисков, связанных с ИИ, — это выдумка. По его словам, у США уже есть все необходимые законы, позволяющие контролировать отрасль. Единственным «ограничителем» для ИИ-технологий, как утверждает Трамп, должен быть «сильный и умный» президент.

Скачайте новое приложение BBC World Service!

При первом открытии приложения выберите «BBC News Русская служба» и получайте уведомления о важных новостях, аналитике, видео и подкастах.

Важно: новое приложение недоступно на территории Великобритании и США.