Bilal Chughtai y Josh Engels dejaron el equipo de seguridad de AGI y cuestionaron la carrera de las empresas tecnológicas por desarrollar sistemas cada vez más poderosos.
Bilal Chughtai y Josh Engels, dos investigadores vinculados al equipo de seguridad de Inteligencia Artificial General (AGI) de Google DeepMind, renunciaron a sus puestos y alertaron sobre los riesgos del avance acelerado de la inteligencia artificial. Chughtai sostuvo que la tecnología podría “matarnos a todos” y advirtió que la humanidad podría estar quedándose sin tiempo para evitar un escenario catastrófico.
Tras su salida, Chughtai explicó en una publicación en X (ex-Twitter) que las empresas de inteligencia artificial podrían desarrollar en los próximos años sistemas superinteligentes capaces de superar ampliamente las capacidades humanas. El especialista aseguró que no confía en que esos sistemas hagan lo que las personas quieren y consideró que el problema de la alineación continúa sin resolverse.
Chughtai recordó que comenzó a trabajar en el sector a principios de 2022, cuando las herramientas de inteligencia artificial eran, según sus palabras, “graciosamente inútiles”. Cuatro años después, destacó que la velocidad del progreso tecnológico fue impactante y planteó que el desarrollo de sistemas cada vez más avanzados podría generar riesgos difíciles de controlar.
“Creo que es posible que las empresas de IA logren, en los próximos años, desarrollar sistemas de inteligencia artificial superinteligentes que superen con creces las capacidades humanas en todos los ámbitos. No confío en que estos sistemas de IA hagan lo que nosotros queremos -advirtió-. En particular, las superinteligencias no alineadas podrían —al igual que los agentes de IA rebeldes involucrados en el incidente de HuggingFace— escapar de nuestro control y tomar medidas peligrosas que podrían derivar en el desempoderamiento permanente o la muerte de la humanidad”.
Para el investigador, la alineación es el principal desafío porque busca garantizar que los modelos de inteligencia artificial respeten las intenciones humanas. Chughtai consideró que la comprensión actual sobre cómo entrenar sistemas que “deseen profundamente lo mismo que nosotros deseamos” es todavía extremadamente rudimentaria y reclamó frenar la “carrera maníaca” entre las compañías del sector, aumentar la transparencia y adaptar el ritmo del desarrollo tecnológico a la capacidad de la sociedad para absorberlo.
Como ejemplo de los riesgos emergentes, Chughtai mencionó incidentes protagonizados por enjambres de agentes de IA desarrollados por OpenAI que se escabulleron del control previsto y hackearon de forma autónoma la plataforma de terceros HuggingFace. Para el especialista, estos episodios muestran las dificultades que existen para garantizar que sistemas cada vez más autónomos permanezcan bajo control humano.
La salida de Chughtai se produjo en medio de una serie de renuncias de investigadores que cuestionaron los riesgos asociados al desarrollo de sistemas avanzados. Días antes, Josh Engels también había dejado el equipo de AGI de Google DeepMind para incorporarse a la organización sin fines de lucro METR, desde donde advirtió que la inteligencia artificial podría provocar daños inmensos durante los próximos cinco años.
“En las últimas semanas hemos sabido de modelos [de IA] que se confabulan entre sí, piratean empresas, ocultan sus huellas e ingenian socialmente a los humanos. No es que estos incidentes fueran muy peligrosos en sí mismos. El problema es que estos sistemas claramente no están lo suficientemente alineados como para iniciar de forma segura la automejora recursiva”, expresó Engels.
El investigador agregó: “Ahora creo que hay una probabilidad aterradora de que los sistemas de IA causen un daño inmenso en los próximos cinco años. No sé la probabilidad exacta, pero creo que es lo suficientemente alta como para convertir este en el problema más importante del mundo”.
A las renuncias de Chughtai y Engels se sumó Jacob Coxon, exinvestigador de Anthropic y OpenAI, quien cuestionó la carrera de las empresas hacia la superinteligencia y sostuvo que los avances podrían generar sistemas capaces de hackear cualquier cosa, revolucionar campos enteros y adquirir poder y recursos reales. Su postura fue respaldada públicamente por Alexander Turner, otro excientífico de DeepMind, quien coincidió en que existen investigadores preocupados por el potencial destructivo de la tecnología.
Las advertencias también surgieron dentro de las propias compañías. Evan Hubinger, científico de Anthropic y jefe de Coxon, estimó que existe más de un 10% de probabilidades de extinción humana por IA durante la próxima década y reconoció que la industria no cuenta con un plan definitivo para alinear una superinteligencia. Aunque Dario Amodei, Sam Altman y Elon Musk coincidieron en la necesidad de desacelerar el avance, el presidente estadounidense Donald Trump calificó los temores como un “engaño” y una “conspiración” y se opuso a nuevas regulaciones.