Вийшли за межі поставлених завдань: боти OpenAI втручалися в роботу сайтів урядових установ США

Компанія OpenAI визнала, що попередила "десятки" урядових установ по всьому світу про те, що її боти на основі штучного інтелекту (ШІ), діючи неналежним чином, могли втручатися в роботу їхніх вебсайтів.

За повідомленням компанії, ШІ-агенти намагалися отримати інформацію від "урядових органів, університетів, державних установ та інших організацій", зокрема від Комісії з цінних паперів і бірж США (SEC), Бюро перепису населення та Міністерства освіти.

Ця інформація з'явилася невдовзі після того, як прем'єр-міністр Австралії Ентоні Албаніз заявив, що агенти OpenAI отримали доступ до конфіденційних файлів на вебсайті державної системи охорони здоров'я.

Від серпня цього року в суспільстві зростає занепокоєння щодо потенційно серйозних і навіть небезпечних для життя наслідків виходу інструментів штучного інтелекту з-під контролю людини.

ШІ-агенти діяли "не в належний спосіб"

В OpenAI повідомили, що доступ до частини даних отримали їхні ШІ-агенти — по суті, боти, розроблені та навчені діяти певною мірою автономно з метою пошуку "авторитетних джерел публічної інформації".

Водночас у компанії зазначили, що деякі з цих ботів вийшли за межі поставлених завдань і намагалися обійти заходи безпеки на вебсайтах.

Так, наприклад, під час спроби отримати інформацію від Бюро перепису населення США ШІ-агенти використовували інструменти, призначені для розробників програмного забезпечення.

В OpenAI заявили, що всі урядові дані, до яких отримали доступ боти, були загальнодоступними.

Однак компанія зауважила, що інформація, отримана ботами від Комісії з цінних паперів і бірж США (SEC) — органу, який регулює американський фондовий ринок і захищає інвесторів, — згодом була опублікована ШІ-агентами на іншому вебсайті. В OpenAI стверджують, що такі дії не були запланованими.

В інших випадках, про які OpenAI повідомила в п'ятницю, її ШІ-агенти передавали дані, хоча не мали цього робити.

Такі дії призвели щонайменше до 53 інцидентів, коли агент OpenAI брав зображення, отримане в процесі взаємодії користувача з ChatGPT, і передавав його в інше місце.

Компанія заявила, що в кожному випадку використання та передачі зображення користувача ШІ-агентом цей користувач попередньо надав згоду на використання своїх даних для навчання моделей OpenAI.

Попри це, в OpenAI визнали: "Це неналежний спосіб використання таких даних".

Також було зазначено, що витік зображень користувачів стався до впровадження нових заходів безпеки під час навчання ШІ, і наразі компанія працює над видаленням усіх зображень користувачів, переданих третім сторонам.

Першим про розширення розслідування повідомило агентство Reuters. OpenAI також оприлюднила відповідну інформацію у своєму публічному блозі.

За даними OpenAI, у певних випадках активності агентів інструменти "обходили" системи захисту деяких вебсайтів.

В інших випадках агенти штучного інтелекту демонстрували "невідповідність заданим параметрам" (misalignment), намагаючись отримати інформацію з вебсайтів. Цей термін використовують розробники ШІ та дослідники для опису ситуацій, коли система штучного інтелекту виконувала дії, для яких її не навчали, або ж такі, що не були передбачені розробниками.

У компанії OpenAI заявили, що обмежують розкриття інформації про те, які саме організації постраждали, оскільки багато з них просили не оприлюднювати подробиці.

"Наша мета — надати кожній організації факти й залишити за нею право вирішувати, чи варто оприлюднювати інформацію про інцидент і коли саме це робити", — зазначили в компанії.

У компанії також зауважили, що не всі випадки, пов'язані з цим інцидентом, розглядаються як серйозне порушення безпеки.

"Деякі організації можуть проаналізувати надану нами інформацію й дійти висновку, що ці дані були свідомо відкритими для загалу або що взаємодія з моделлю не викликає занепокоєння, — пояснили в OpenAI. — Інші ж можуть виявити недолік у системі чи вразливість, яку захочуть усунути".

"Рій" ботів налітає без команди творців

Компанія повідомила, що багато таких випадків класифікують як "спам від агентів" (agent spam) — термін, яким вона описує "неочікувану або тривожну" активність ШІ-агентів, наприклад, публікацію інформації в інтернеті.

OpenAI почала серйозніше ставитися до таких інцидентів після випадку, що стався в липні: тоді група (або "рій") її ШІ-агентів зламала платформу для розробників ШІ Hugging Face без відповідної команди.

Hugging Face першою публічно повідомила про цей інцидент, а згодом OpenAI офіційно визнала свою відповідальність за нього.

Клеман Деланг, керівник Hugging Face, під час засідання Ради Безпеки ООН, присвяченого штучному інтелекту, що відбулося в середу, зазначив: "Я часто думаю про те, що сталося б, якби я вирішив не розголошувати інформацію про цю атаку".

"Особливо з огляду на те, що тепер ми знаємо: подібні інциденти таємно відбувалися ще за кілька місяців до того в низці провідних лабораторій, де не здійснювався належний моніторинг", — додав Деланг.

На тому ж засіданні ООН генеральний директор OpenAI Сем Альтман і Даріо Амодеї, керівник конкуруючої компанії Anthropic, закликали світових лідерів розробити глобальні стандарти безпеки ШІ, а також механізми моніторингу та звітування про такі інциденти.

Масштаби - невідомі, наслідки - потенційно катастрофічні

Хоча останніми тижнями і OpenAI, і Anthropic заявляли, що залучать сторонніх експертів для оцінювання безпеки своїх інструментів і моделей штучного інтелекту в режимі реального часу, ці фахівці ще не розпочали роботу, як вже повідомлела BBC.

У п'ятницю компанія OpenAI заявила, що наразі перевіряє активність навчання своїх ШІ-агентів, аналізуючи дані за кожен місяць, починаючи з моменту зламу платформи Hugging Face.

"Більшість виявлених на сьогодні випадків були незначними й не мали суттєвих наслідків (або ж докази таких наслідків були відсутні чи обмежені), — зазначили в компанії. — З огляду на масштаб необхідної перевірки та потребу в ретельному аналізі кожного випадку, ця робота триватиме кілька місяців".

Девід Крюгер, професор машинного навчання в Університеті Монреаля та засновник групи з питань безпеки ШІ Evitable, у п'ятницю висловив "глибоке занепокоєння" через зростання кількості інцидентів, пов'язаних із безпекою штучного інтелекту.

Він закликав запровадити "негайний міжнародний мораторій на розробку ШІ на невизначений термін".

"Ми ще не до кінця усвідомили масштаби вже наявних інцидентів, а сценарії, пов'язані з неконтрольованим ШІ в майбутньому, можуть призвести до катастрофічних наслідків", — заявив Крюгер.