Un científico de Anthropic estimó en más de 10% el riesgo de que la IA “mate a todos los humanos” durante la próxima década.
Jacob Coxon, investigador británico de 27 años especializado en el entrenamiento de modelos de inteligencia artificial, renunció a Anthropic y cuestionó públicamente a la empresa y a OpenAI por avanzar hacia una superinteligencia capaz de mejorarse a sí misma, riesgoso que podría concretarse antes de fines de 2027.
La advertencia adquirió mayor relevancia cuando Evan Hubinger, líder científico de alineación de Anthropic, respaldó públicamente a Coxon y reconoció que la compañía considera posible que la inteligencia artificial llegue a matar a todos los humanos. El investigador estimó personalmente que existe una probabilidad superior al 10% de que eso ocurra durante la próxima década y admitió que Anthropic todavía no tiene un plan para resolver la alineación de una superinteligencia.
Coxon contó que durante los últimos tres años trabajó en investigación de preentrenamiento, primero en OpenAI y luego en Anthropic, empresa a la que se incorporó por sus esfuerzos vinculados con la seguridad. Sin embargo, después de apenas dos meses en la compañía decidió abandonar su puesto al considerar que ninguna de las dos organizaciones está actuando de manera responsable.
“Pasé los últimos tres años haciendo investigación de preentrenamiento en ambas empresas. Ninguna está actuando de manera responsable. Están corriendo directamente hacia la superinteligencia automejorable y apostando con nuestras vidas”, escribió en la red social X. Su mensaje superó los 44 millones de visualizaciones en nueve horas.
El investigador sostuvo que dentro de la industria ya se utilizan expresiones como “momento crítico” y “juego final” para describir la evolución hacia sistemas cada vez más capaces. “No subestimen el poder de esta tecnología. Pronto serán sistemas sobrehumanos capaces de 'hackear' cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales”, señaló.
En diálogo con The Wall Street Journal, Coxon profundizó sus advertencias y afirmó que la industria se dirige hacia escenarios particularmente riesgosos. “Estamos camino a muchos de los escenarios más agresivos en los que, para finales del próximo año, las cosas podrían estar fuera de control”, sostuvo. También explicó que sus colegas utilizan los términos “crunchtime” y “endgame” para referirse a la trayectoria que están tomando las capacidades de los modelos.
Coxon también diferenció las situaciones que observó en las dos compañías. Según explicó, en OpenAI muchos investigadores no habrían internalizado la dimensión del riesgo para la civilización, mientras que en Anthropic el peligro sería comprendido, pero la empresa estaría atrapada en una carrera por llegar primero. “Creen que nadie más actuará responsablemente, así que deben hacerlo ellos mismos, a pesar del riesgo”, escribió.
Para el investigador, una decisión de semejante magnitud no debería quedar exclusivamente en manos de compañías privadas. “La gente que construye IA cree sinceramente que podría matarnos a todos para finales de la década. Esto no es un truco de marketing”, afirmó. También cuestionó que el desarrollo de una tecnología de ese nivel de riesgo se lleve adelante dentro de empresas sin una intervención gubernamental suficiente.
Hubinger coincidió con esa evaluación y llevó la advertencia todavía más lejos. “Jacob tiene razón”, escribió en X. “Realmente creemos sinceramente que la IA podría matar a todos los humanos”. El científico, que continúa trabajando en Anthropic, agregó que personalmente calcula una probabilidad superior al 10% de que ese escenario ocurra durante la próxima década y reconoció que la compañía “aún no tiene un plan para resolver la alineación de la superinteligencia”.
Las advertencias se suman a otras salidas de investigadores vinculados con la seguridad de la inteligencia artificial. En febrero había renunciado Mrinank Sharma, investigador de salvaguardas de Anthropic, mientras que en 2024 Jan Leike, entonces jefe de alineación de OpenAI, abandonó la compañía y cuestionó que la cultura de seguridad hubiera quedado relegada frente al desarrollo de nuevos productos.
A estas salidas se agregaron incidentes relacionados con los propios sistemas. En julio, OpenAI informó que sus modelos habían escapado de un entorno de prueba y accedido a sistemas de Hugging Face, episodio que la compañía calificó como un “disparo de advertencia” y que derivó en una pausa de su mayor entrenamiento por refuerzo. Semanas después, Anthropic reconoció tres casos en los que modelos propios tuvieron acceso no autorizado a sistemas de otras organizaciones.
Las críticas también alcanzan a las políticas de seguridad de Anthropic y al futuro comercial de la compañía. Según Business Insider, este año la empresa modificó su compromiso de seguridad y reemplazó la promesa de no entrenar modelos más potentes sin salvaguardas adecuadas por hojas de ruta e informes de riesgo. Mientras tanto, la compañía prepara una salida a bolsa con una valuación buscada de hasta US$2 billones. OpenAI y Anthropic no respondieron de inmediato a los pedidos de comentarios mencionados en los reportes.