OpenAI наприкінці липня розформувала свою Preparedness-команду — уже третій окремий підрозділ із безпеки, який компанія ліквідувала приблизно за останні два роки.
Основні моменти:
- Наприкінці липня OpenAI закрила команду Preparedness і розподілила роботу з біологічних та кіберризиків між наявними групами.
- Перетворення збігається з хвилею відходів топменеджерів із безпеки та етики на тлі підготовки до публічного розміщення акцій.
- В OpenAI заявляють, що Preparedness Framework і Safety Advisory Group зберігаються без змін, як і перелік категорій ризиків.
OpenAI розпускає Preparedness-команду напередодні IPO
Про реорганізацію першою повідомила Financial Times із посиланням на кількох обізнаних співрозмовників. Підрозділ раніше оцінював, чи можуть передові моделі спричинити серйозну або катастрофічну шкоду, і розробляв підходи до пом’якшення таких ризиків.
Після реорганізації компанія розділила мандат за напрямами: робота з біобезпеки та кіберзагроз перейшла до старших спеціалістів у межах уже наявних команд.
Фактично зникла вертикаль підпорядкування, а не формальні процедури, які регулюють, як компанія ескалує виявлені небезпечні можливості моделей. Preparedness Framework, за даними компанії, і надалі охоплює біохімічні загрози, кіберздібності та самовдосконалювані моделі, а нагляд за ними здійснює внутрішня Safety Advisory Group.
Також читайте: Біткоїн стикається з підвищеним ризиком розпродажу після 90 днів слабкого попиту в США
Вихід ключових спеціалістів із безпеки посилює тиск на OpenAI
Реорганізація відбулася на тлі незвично потужної хвилі відставок топкерівників. Керівник напрямку системної безпеки Йоганнес Хайдеке (Johannes Heidecke), очільниця напряму етики Хлоє Бакалар (Chloé Bakalar) та головний футуролог Джошуа Ачіам (Joshua Achiam) майже одночасно полишили компанію. Команду Хайдеке інтегрували в дослідницький підрозділ під керівництвом віцепрезидентки з досліджень і безпеки Мії Глезе (Mia Glaese).
Співзасновник Грег Брокман (Greg Brockman) наполягає, що інтеграція безпеки безпосередньо в команди з розробки моделей та продукту підсилює якість цієї роботи, на відміну від ізольованої окремої структури. Керівництво також заявляє, що хоче проводити оцінку ризиків на більш ранніх етапах навчання моделей — ближче до інженерів, які їх створюють.
Скептики трактують ті самі факти інакше. Вони вказують, що нині в компанії немає підрозділу, який би відповідав за ризики незалежно від графіка релізів та комерційного тиску. Ян Лейке (Jan Leike), який у 2024 році перейшов до конкурента Anthropic, заявляв, що в OpenAI безпека поступилася місцем «блискучим продуктам».
Скандінаро перейшов з Anthropic у лютому
Поточний крок фактично нівелює ставку, яку OpenAI зробила лише пів року тому. Наслідки реорганізації проявляються саме тоді, коли компанія готується до одного з найбільших біржових дебютів у технологічному секторі за останні роки.
У лютому OpenAI переманила Ділана Скандінаро (Dylan Scandinaro) з Anthropic для очолення напряму preparedness, а Сем Альтман називав його найкращим кандидатом на цю роль. Тоді Скандінаро попереджав про «ризики екстремальної та навіть непоправної шкоди». Нині він зосередився на дослідженні рекурсивно самовдосконалюваних систем, хоча команда, заради якої його запрошували, більше не існує.
Читайте далі: CZ переказав $965 тис. до Giggle Academy, змістивши фокус із Binance на освіту
