El exinvestigador de seguridad de Google DeepMind Bilal Chughtai ha advertido de que la IA podría acabar con la humanidad, mientras que otro antiguo miembro del laboratorio cree que podrían producirse daños graves en un plazo de cinco años.
Claves principales:
- Chughtai dejó DeepMind en julio y afirma que la superinteligencia podría aparecer en los próximos años.
- Sostiene que la investigación en alineamiento va por detrás del avance en capacidades y respalda una desaceleración coordinada, no la paralización del desarrollo de la IA.
- El también exinvestigador de DeepMind Josh Engels ve riesgo de daños inmensos en un horizonte de cinco años, mientras figuras de Anthropic y OpenAI se han sumado a los llamamientos para moderar el ritmo del desarrollo.
La advertencia de Chughtai sobre la IA
Chughtai, antiguo ingeniero de investigación centrado en la seguridad y el alineamiento de la inteligencia artificial general, abandonó DeepMind en julio y publicó su advertencia esta misma semana.
Sostiene que los laboratorios de IA podrían construir sistemas superinteligentes en los próximos años, potencialmente más capaces que las personas en prácticamente todos los ámbitos, pero aún muy difíciles de alinear con los objetivos humanos.
Para Chughtai, el problema central es el alineamiento. Escribió: “Creo sinceramente que la IA tiene el potencial de matarnos a todos y que podríamos estar quedándonos sin tiempo para evitar ese desenlace”.
Señala que los métodos actuales para entrenar sistemas avanzados de forma que persigan de manera fiable los objetivos humanos siguen siendo “extremadamente rudimentarios”, mientras que las capacidades de frontera avanzan mucho más rápido que la comprensión que tienen los investigadores sobre cómo alinearlas. No pide detener el desarrollo de la IA. En su lugar, propone que las empresas coordinen esfuerzos, reduzcan la carrera competitiva y aporten mucha más transparencia sobre cómo se construyen y se ponen a prueba los modelos de frontera.
También puede leer: La CLARITY Act se enfrenta a una prueba de 60 votos en el Senado mientras crece la oposición
El impulso de Anthropic a la seguridad
La advertencia de Chughtai llega después de la dimisión, a comienzos de mes, de Jacob Coxon tras tres años entre Anthropic y OpenAI. El responsable de ciencia de alineamiento en Anthropic, Evan Hubinger, afirmó después que veía una probabilidad superior al 10% de que la IA pudiera matar a todos los seres humanos en la próxima década.
Engels, que también trabajó en el equipo de seguridad de DeepMind, explicó el 12 de septiembre que se incorporó a la organización de evaluación sin ánimo de lucro METR tras rechazar ofertas de Anthropic y OpenAI, alegando una “posibilidad aterradora” de daños inmensos causados por la IA en un plazo de cinco años.
El CEO de Anthropic, Dario Amodei, ha instado a las compañías a moderar el aumento de capacidades, una posición que el CEO de OpenAI, Sam Altman, también ha respaldado, ampliando el debate entre los grandes laboratorios. El consenso es relevante porque las advertencias proceden ahora tanto de investigadores de seguridad que abandonan los laboratorios como de los propios ejecutivos que dirigen las principales firmas de IA.
Las actuales señales de alarma se producen tras un giro acelerado desde principios de 2022, cuando Chughtai empezó a trabajar en IA y describía los sistemas como mucho menos capaces que los modelos de frontera actuales. En apenas cuatro años, el debate ha pasado de teorías de seguridad a largo plazo a preocupaciones concretas sobre autonomía, alineamiento y la capacidad real de la investigación en seguridad para seguir el ritmo de los avances en capacidades.
Lea también: La API de Bitget ya llega a oro, forex, índices y petróleo crudo
