El exinvestigador de seguridad de Google DeepMind Bilal Chughtai ha advertido de que la inteligencia artificial podría acabar con la humanidad, mientras otro antiguo miembro del laboratorio ve probable que se produzcan daños graves en un plazo inferior a cinco años.
Claves:
- Chughtai dejó DeepMind en julio y sostiene que la superinteligencia podría emerger en los próximos años.
- Afirma que la investigación en alineamiento va por detrás del aumento de capacidades y defiende una desaceleración coordinada, no una paralización del desarrollo de la IA.
- El también exinvestigador de DeepMind Josh Engels ve riesgo de daños inmensos en cinco años, mientras figuras de Anthropic y OpenAI respaldan la idea de moderar el ritmo de avance.
La advertencia de Chughtai sobre la IA
Chughtai, exingeniero de investigación especializado en seguridad y alineamiento de inteligencia artificial general, abandonó DeepMind en julio y ha publicado esta semana su advertencia.
Sostiene que los laboratorios de IA podrían construir sistemas superinteligentes en los próximos años, potencialmente capaces de superar a las personas en prácticamente todos los ámbitos y, aun así, muy difíciles de alinear con los objetivos humanos.
Para Chughtai, el problema central es el alineamiento. “Creo sinceramente que la IA tiene el potencial de matarnos a todos y que podríamos estar quedándonos sin tiempo para evitar ese desenlace”, escribió.
Señala que las técnicas actuales para entrenar sistemas avanzados que persigan de forma fiable objetivos humanos siguen siendo “extremadamente rudimentarias”, mientras las capacidades de frontera mejoran mucho más rápido que la comprensión que tienen los investigadores sobre el alineamiento. No pide detener el desarrollo de la IA. Chughtai aboga por que las compañías coordinen una desaceleración, reduzcan la carrera competitiva y ofrezcan mucha más transparencia sobre cómo se construyen y prueban los sistemas de frontera.
También le puede interesar: Ley CLARITY afronta prueba de 60 votos en el Senado ante creciente oposición
El impulso de Anthropic en seguridad
La advertencia de Chughtai llega poco después de la dimisión, a principios de mes, de Jacob Coxon tras tres años repartidos entre Anthropic y OpenAI. El responsable de ciencia de alineamiento de Anthropic, Evan Hubinger, declaró después que veía una probabilidad superior al 10% de que la IA pudiera acabar con toda la humanidad en la próxima década.
Engels, que también trabajó en el equipo de seguridad de DeepMind, explicó el 12 de septiembre que se incorporó a la organización de evaluación METR tras rechazar ofertas de Anthropic y OpenAI, aludiendo a una “posibilidad aterradora” de daños inmensos causados por la IA en un horizonte de cinco años.
El CEO de Anthropic, Dario Amodei, ha pedido a las empresas que moderen el ritmo de aumento de capacidades, una posición que el CEO de OpenAI, Sam Altman, también ha respaldado, extendiendo el debate entre los principales laboratorios. Este consenso es relevante porque las advertencias ya no proceden solo de investigadores de seguridad que abandonan los equipos, sino también de directivos al frente de los mayores laboratorios de IA.
Las actuales señales de alarma se producen tras un giro rápido desde principios de 2022, cuando Chughtai empezó a trabajar en IA y describía los sistemas como muy inferiores a los modelos de frontera actuales. En apenas cuatro años, el debate ha pasado de teorías de seguridad a largo plazo a preocupaciones concretas sobre autonomía, alineamiento y sobre si la investigación en seguridad puede seguir el ritmo del aumento de capacidades.
Lea a continuación: La API de Bitget ya alcanza oro, forex, índices y crudo
