El investigador de Anthropic Jacob Coxon dimitió esta semana por miedo a una IA incontrolable, y el responsable de alineamiento de la compañía respondió situando el riesgo de extinción por encima del 10% para esta década.
Puntos clave:
- Jacob Coxon dejó Anthropic tras tres años investigando preentrenamiento en Anthropic y OpenAI, denunciando que ambas compañías compiten por desarrollar sistemas que no pueden controlar.
- El responsable de ciencia de alineamiento de Anthropic, Evan Hubinger, sitúa sus probabilidades personales de que la IA acabe con toda la humanidad en más del 10% en los próximos diez años.
- Hubinger considera que los modelos actuales son de bajo riesgo y centra su preocupación en la autosuperación recursiva.
Jacob Coxon abandona Anthropic por la carrera de la IA
Coxon, de 27 años, pasó tres años investigando preentrenamiento en OpenAI y Anthropic antes de presentar su dimisión en un hilo publicado en X a primera hora del miércoles. Escribió que ninguna de las dos compañías actúa con responsabilidad y que ambas corren hacia una superinteligencia capaz de mejorarse sola, jugando con vidas humanas. La publicación inicial acumuló más de 19 millones de visualizaciones en pocas horas.
En una entrevista aparte advirtió de que los escenarios más agresivos ya se están materializando y de que la situación podría descontrolarse a finales del próximo año. Explicó que sus colegas utilizan ya términos como “crunchtime” y “endgame” para describir la trayectoria actual.
Coxon estudió Matemáticas antes de pasar al entrenamiento de modelos y dejó OpenAI a principios de año para unirse a Anthropic, atraído por su reputación en materia de seguridad. Sostiene que las concesiones en seguridad se vuelven inevitables cuando los laboratorios rivales compiten entre sí. Ahora argumenta que ninguna empresa puede desarrollar una IA a nivel humano de forma responsable sin intervención gubernamental o una desaceleración coordinada en toda la industria.
También te puede interesar: Precio de XRP apunta a 1,46 dólares con la vuelta de la acumulación de ballenas en septiembre
Evan Hubinger sitúa el riesgo de extinción por encima del 10%
Evan Hubinger, responsable de ciencia de alineamiento en Anthropic y encargado de someter sus modelos a pruebas de resistencia, respondió que Coxon había descrito la situación con precisión. En una estimación personal situó en más del 10% la probabilidad de que la IA acabe con todos los seres humanos en el plazo de una década.
Hubinger señaló que la empresa hace todo lo que puede, pero que no tiene un plan para resolver el problema del alineamiento en una superinteligencia, ni está claro que vaya camino de encontrarlo. Posteriormente matizó que los modelos actuales conllevan un riesgo bajo. Su preocupación se centra en la aparición de una superinteligencia mediante autosuperación recursiva, en la que los sistemas entrenan a sus propios sucesores.
La cifra responde al juicio personal de Hubinger y no a una previsión oficial de la compañía, y estimaciones de este tipo se apoyan en hipótesis controvertidas sobre las capacidades futuras y su despliegue. Anthropic ha declarado públicamente que la autosuperación recursiva no es inevitable, aunque podría llegar antes de que las instituciones estén preparadas y aumentar las probabilidades de que la humanidad pierda el control.
Dimisiones en el área de seguridad de Anthropic
Coxon no es el primer investigador de seguridad que abandona la empresa. Mrinank Sharma, que dirigía un equipo de salvaguardas en Anthropic, renunció a principios de año advirtiendo de que el mundo está en peligro, y anunció que se marchaba a estudiar poesía en el Reino Unido.
Anthropic, fundada en 2021 por antiguos empleados de OpenAI, ha cimentado su reputación en la investigación sobre seguridad y, hasta la mañana del miércoles, no había emitido una respuesta pública a la salida de Coxon.
Lee a continuación: Bitget incorpora lecciones sobre blockchain al programa de UNICEF que ya alcanza a más de 642.000 personas
