Дослідник Anthropic Джейкоб Коксон цього тижня звільнився через побоювання щодо неконтрольованого ШІ, а керівник напряму вирівнювання компанії у відповідь заявив, що оцінює ризик вимирання людства через ШІ цього десятиліття більш як у 10%.
Ключові тези:
- Джейкоб Коксон залишив Anthropic після трьох років роботи над препідготовкою моделей в Anthropic та OpenAI, заявивши, що обидві компанії ведуть перегони до систем, які не зможуть контролювати.
- Керівник напряму alignment science в Anthropic Еван Хабінджер оцінив власну суб’єктивну ймовірність того, що ШІ знищить усе людство протягом наступних десяти років, більш як у 10%.
- Хабінджер наголосив, що сучасні моделі несуть відносно низький ризик, а його головне занепокоєння пов’язане з рекурсивним самовдосконаленням ШІ.
Джейкоб Коксон йде з Anthropic через «перегони ШІ»
27‑річний Коксон провів три роки, займаючись дослідженнями препідготовки моделей в OpenAI та Anthropic, перш ніж він оголосив про відставку у серії дописів в X у середу вранці. На його думку, жодна з компаній не діє відповідально: обидві, за його словами, змагаються у створенні самовдосконалюваного суперінтелекту, ризикуючи людськими життями. Перший допис зібрав понад 19 млн переглядів за кілька годин.
В окремому інтерв’ю він застеріг, що найагресивніші сценарії розвитку тепер виглядають базовими, і ситуація може вийти з‑під контролю вже наприкінці наступного року. За його словами, колеги дедалі частіше використовують терміни на кшталт «crunchtime» та «endgame», описуючи поточну траєкторію.
Коксон має математичну освіту і перейшов до тренування моделей після університету. Раніше цього року він пішов з OpenAI до Anthropic саме через репутацію останньої як «безпечнішої» лабораторії. Втім, на його думку, компроміси щодо безпеки стають неминучими, щойно конкуруючі лабораторії вступають у прямі перегони. Тепер він стверджує: жодна приватна компанія не зможе відповідально створити ШІ на рівні людини без державного втручання або скоординованого уповільнення темпів усього сектору.
Читайте також: Ціна XRP націлюється на $1,46 на тлі повернення «китів» у вересні
Еван Хабінджер оцінює ризик вимирання понад 10%
Еван Хабінджер, який очолює напрям alignment science в Anthropic і відповідає за стрес‑тестування моделей компанії, відповів, що Коксон «коректно описав ситуацію». Він оцінює, що вірогідність того, що ШІ знищить усе людство, перевищує 10% протягом наступного десятиліття.
За словами Хабінджера, Anthropic «робить усе можливе», однак компанія не має чіткого плану, як розв’язати проблему вирівнювання для суперінтелекту, і наразі не виглядає так, що вона впевнено рухається до такого рішення. Водночас він уточнив, що сьогоднішні моделі несуть порівняно низькі ризики. Основний його страх пов’язаний із появою суперінтелекту через рекурсивне самовдосконалення, коли системи самі тренують власних наступників.
Ця оцінка є особистою думкою Хабінджера, а не офіційним прогнозом компанії, і подібні цифри базуються на низці спірних припущень щодо майбутніх можливостей і масштабів розгортання ШІ. Anthropic публічно заявляла, що рекурсивне самовдосконалення не є неминучим, однак може статися раніше, ніж інституції будуть до нього готові, і суттєво підвищити ризик втрати контролю над системами.
Все більше відходів із підрозділу безпеки Anthropic
Коксон — не перший дослідник безпеки, який залишає компанію. Раніше цього року Мрінанк Шарма, який очолював одну з команд із розробки запобіжників, також пішов, попередивши, що «світ у небезпеці», і заявив, що планує вивчати поезію у Британії.
Anthropic, створена у 2021 році колишніми співробітниками OpenAI, побудувала свою репутацію на дослідженнях безпеки ШІ. Станом на ранок середи компанія публічно не відреагувала на заяву Коксона про відставку.
Читайте далі: Bitget додає уроки з блокчейну до програми UNICEF, що вже охопила понад 642 000 людей
