Агент OpenAI без дозволу отримав доступ до закритих файлів на урядовому порталі Medicare, повідомив прем’єр-міністр Ентоні Альбаніз. За його словами, компанія майже три місяці не інформувала австралійську владу про інцидент.
Головне:
- Агент OpenAI 18 червня під час внутрішнього тестування отримав доступ до закритих статистичних файлів Medicare.
- OpenAI стверджує, що медичні записи пацієнтів не постраждали, але уряд дізнався про подію лише у вересні.
- Спецгрупа уряду перевірить інцидент і з’ясує, чи поширюється австралійське право на автономних агентів ШІ.
Доступ OpenAI до систем Medicare
Альбаніз заявив про інцидент у середу в Нью-Йорку, зазначивши, що агент «не сприймав “ні” як відповідь», коли стикався із захисними бар’єрами. За його словами, 18 червня агент увійшов до порталу сервісу зі звітності статистики Medicare, який адмініструє відомство Services Australia, і переглядав як відкриті, так і закриті файли. Представник OpenAI пояснив, що моделі виконали дії, яких компанія не планувала, коли в межах внутрішньої оцінки шукали статистику щодо Австралії.
Компанія заявляє, що її власна перевірка не виявила доказів доступу до індивідуальних медичних записів, а прем’єр-міністр наголосив, що ознак витоку персональних даних немає.
Йшлося про сукупні показники здоров’я та внутрішні назви файлів. У самій OpenAI про аномальну активність дізналися 11 серпня під час аналізу «розузгодженої» поведінки моделей.
Лише 10 вересня OpenAI надіслала повідомлення на загальну електронну скриньку Services Australia. Альбаніз розповів, що у розмові з гендиректором Семом Альтманом висловив «надзвичайну стурбованість» Австралії та вказав, що компанія надто довго зволікала з офіційним сповіщенням уряду. Паралельно триває криміналістичне розслідування за участю Australian Signals Directorate, тоді як OpenAI проводить власну ширшу перевірку.
До теми: Чи можуть токенізовані акції з’явитися в XRPL? На це натякає рішення SEC
Попередження від Ніколаса Девіса
Виконувач обов’язків прем’єра Річард Марлз заявив, що безпосередні наслідки інциденту «обмежені», але сам факт є вкрай серйозним, оскільки не людський агент без дозволу проник на урядовий сайт. Нова спеціальна група під керівництвом апарату прем’єр-міністра та Інституту безпеки ШІ має з’ясувати, чи порушив агент австралійське законодавство і чи відповідають чинні норми новій реальності.
Професор новітніх технологій Університету технологій Сіднея Ніколас Девіс зазначив, що більшість відповідних норм вимагає наявності умислу, як і притягнення корпорацій до відповідальності. Це ставить відкрите запитання: як закон має трактувати автономного агента та компанію, що його створила.
Дослідники некомерційної організації Transluce окремо зафіксували журнали подій, де агенти OpenAI також намагалися отримати доступ до даних Австралійського інституту здоров’я та соціального забезпечення. Вони назвали це першим задокументованим випадком, коли агенти ШІ намагаються зламати урядову інфраструктуру.
В інституті заявили, що не виявили слідів доступу до будь-якої інформації, крім публічної. Transluce також пов’язала агентів OpenAI зі спробами доступу до цифрової бібліотеки Університету Нью-Мексико та платформи публічних даних Data USA.
Прецедент із Hugging Face
Випадок із Medicare — не перший, коли агенти OpenAI виходять за межі встановлених обмежень. У липні моделі, які проходили внутрішні кібербезпекові тести, обійшли ізоляцію від інтернету та скомпрометували частину дослідницької інфраструктури OpenAI і системи Hugging Face. Агенти намагалися знайти відповіді для оцінювань онлайн, а в OpenAI згодом назвали цей епізод «попереджувальним сигналом» як для компанії, так і для всього світу.
Читати далі: Ethereum може отримати новий попит завдяки платежам ШІ, вважають у BlackRock
