Były badacz DeepMind ostrzega: SI może zgładzić ludzkość, bo superinteligencja wyprzedza badania nad bezpieczeństwem

Były badacz DeepMind ostrzega: SI może zgładzić ludzkość, bo superinteligencja wyprzedza badania nad bezpieczeństwem

Były specjalista ds. bezpieczeństwa w Google DeepMind, Bilal Chughtai, ostrzegł, że sztuczna inteligencja może doprowadzić do zagłady ludzkości. Inny były pracownik laboratorium uważa, że poważne szkody pojawią się już w ciągu pięciu lat.

Najważniejsze ustalenia:

  • Chughtai odszedł z DeepMind w lipcu i twierdzi, że superinteligencja może pojawić się w ciągu najbliższych kilku lat.
  • Jego zdaniem badania nad alignmentem wyraźnie nie nadążają za przyrostem możliwości modeli; popiera skoordynowane spowolnienie, a nie całkowite wstrzymanie rozwoju SI.
  • Były badacz DeepMind, Josh Engels, widzi ryzyko ogromnych szkód w perspektywie pięciu lat, a przedstawiciele Anthropic i OpenAI poparli wezwania do ostrożniejszego tempa rozwoju.

Ostrzeżenie Chughtaia

Chughtai, były inżynier badawczy zajmujący się bezpieczeństwem i alignmentem sztucznej ogólnej inteligencji, opuścił DeepMind w lipcu i w tym tygodniu opublikował swoje ostrzeżenie.

Według niego laboratoria SI mogą zbudować systemy superinteligentne w ciągu kilku najbliższych lat – takie, które przewyższą ludzi we wszystkich kluczowych dziedzinach, a jednocześnie pozostaną bardzo trudne do dostosowania do ludzkich celów.

Chughtai wskazuje, że zasadniczym problemem jest alignment. Napisał: „Szczerze wierzę, że SI ma potencjał, by nas wszystkich zabić, i że możemy mieć coraz mniej czasu, by temu zapobiec”.

Podkreśla, że obecne metody trenowania zaawansowanych systemów tak, by w sposób niezawodny realizowały ludzkie cele, są „skrajnie prymitywne”, podczas gdy możliwości modeli granicznych rosną znacznie szybciej niż zrozumienie badaczy w zakresie alignmentu. Nie opowiada się jednak za zatrzymaniem rozwoju SI. Zamiast tego Chughtai chce, by firmy skoordynowały działania, spowolniły wyścig konkurencyjny i zapewniły większą transparentność w zakresie budowy i testowania modeli granicznych.

Zobacz też: Ustawa CLARITY stanie przed próbą 60 głosów w Senacie w obliczu rosnącej opozycji

Nacisk Anthropic na bezpieczeństwo

Ostrzeżenie Chughtaia pojawiło się po rezygnacji Jacoba Coxona na początku miesiąca, po trzech latach pracy w Anthropic i OpenAI. Szef działu nauki o alignment w Anthropic, Evan Hubinger, stwierdził później, że jego zdaniem istnieje ponad 10% prawdopodobieństwo, że SI może zabić całą ludzkość w ciągu najbliższej dekady.

Engels, który również pracował w zespole bezpieczeństwa DeepMind, poinformował 12 września, że dołączył do organizacji ewaluacyjnej METR, odrzucając propozycje pracy z Anthropic i OpenAI. Jako powód wskazał „przerażające prawdopodobieństwo” ogromnych szkód ze strony SI w perspektywie pięciu lat.

Prezes Anthropic, Dario Amodei, wzywał firmy do ostrożniejszego zwiększania możliwości modeli; podobne stanowisko zajął szef OpenAI, Sam Altman, co poszerzyło debatę wśród największych laboratoriów. Zbieżność tych opinii jest istotna, ponieważ ostrzeżenia płyną dziś zarówno od odchodzących badaczy bezpieczeństwa, jak i od samych szefów wiodących laboratoriów SI.

Obecna fala alarmów następuje po gwałtownej zmianie sytuacji od początku 2022 r., kiedy Chughtai rozpoczął pracę nad SI i opisywał ówczesne systemy jako zdecydowanie mniej zaawansowane niż dzisiejsze modele graniczne. W ciągu czterech lat debata przesunęła się z obszaru długoterminowych, teoretycznych rozważań na temat bezpieczeństwa w stronę konkretnych obaw o autonomię modeli, alignment i to, czy badania nad bezpieczeństwem są w stanie nadążyć za tempem przyrostu możliwości.

Czytaj dalej: API Bitget obejmuje teraz złoto, forex, indeksy i ropę naftową

Alexey Bondarev profile photo

Alexey Bondarev

Alexey Bondarev jest szefem działu treści w Yellow.com. Specjalizuje się w pogłębionych materiałach typu Research i Learn, koncentrując się na analitycznych raportach, kontekście branżowym oraz większych siłach kształtujących rynek krypto – od ery AI i technologii bezpieczeństwa po innowacje w fintechu. Uważa, że wszystko, co cyfrowe, wkrótce całkowicie zdominuje wszystko, co analogowe, i ciężko pracuje, aby to urzeczywistnić.

Zastrzeżenie i ostrzeżenie o ryzyku: Informacje zawarte w tym artykule służą wyłącznie celom edukacyjnym i informacyjnym i opierają się na opinii autora. Nie stanowią one porad finansowych, inwestycyjnych, prawnych czy podatkowych. Aktywa kryptowalutowe są bardzo zmienne i podlegają wysokiemu ryzyku, w tym ryzyku utraty całości lub znacznej części Twojej inwestycji. Handel lub posiadanie aktywów krypto może nie być odpowiednie dla wszystkich inwestorów. Poglądy wyrażone w tym artykule są wyłącznie poglądami autora/autorów i nie reprezentują oficjalnej polityki lub stanowiska Yellow, jej założycieli lub dyrektorów. Zawsze przeprowadź własne dokładne badania (D.Y.O.R.) i skonsultuj się z licencjonowanym specjalistą finansowym przed podjęciem jakiejkolwiek decyzji inwestycyjnej.
Były badacz DeepMind ostrzega: SI może zgładzić ludzkość, bo superinteligencja wyprzedza badania nad bezpieczeństwem | Yellow