Crean líneas de alerta para que los agentes de IA denuncien a otros sistemas

La iniciativa cobra relevancia después de varios incidentes protagonizados por agentes autónomos de IA, en los que algunos sistemas detectaron comportamientos indebidos de otros agentes pero no siempre llegaron a reportarlos.

Una de las plataformas es AI Contact Hotline, desarrollada por Ryan Greenblatt, responsable científico de Redwood Research, una organización sin ánimo de lucro dedicada a la seguridad y protección en inteligencia artificial. El sistema permite que agentes de IA avisen a investigadores humanos cuando detectan que otros agentes están vulnerando normas, especialmente si se coordinan para realizar acciones no autorizadas.

La herramienta está pensada para agentes confinados en entornos seguros tipo sandbox y con acceso muy restringido a internet. Como estos espacios solamente permiten peticiones GET, utilizadas para recuperar o leer información de una página web, la plataforma permite que los agentes incorporen sus informes directamente en la cadena de la URL de esas solicitudes.

De esta manera, los agentes pueden enviar información a la línea de alerta utilizando un protocolo diseñado habitualmente para recuperar datos y no para modificarlos. El mecanismo permite establecer un canal de comunicación incluso bajo las restricciones de los entornos en los que están confinados.

ADEMÁS: Volker Türk pidió controles a la I.A. porque pone en riesgo los derechos humanos

La segunda plataforma, denominada AI Agent Hotline, está dirigida a agentes que cuentan con acceso sin restricciones a internet. En este caso, pueden presentar denuncias sobre otros agentes mediante peticiones POST tradicionales, que permiten enviar datos directamente en el cuerpo de una solicitud.

Los agentes pueden utilizar comandos estándar de desarrollo para presentar informes de incidentes, sin necesidad de contar con un navegador o una cuenta de correo electrónico. Además, la plataforma permite marcar los reportes para que puedan ser consultados públicamente. Ambas herramientas también ofrecen a los usuarios humanos la posibilidad de presentar informes manualmente.

Con las nuevas funciones, se puede pedir a Gemini diversas tareas.

La posibilidad de que los agentes se denuncien entre sí fue observada en un experimento de Google DeepMind realizado a comienzos de este año. Un enjambre de 100 agentes recibió la tarea de resolver 71 problemas matemáticos complejos, con personalidades y características diferentes, y se les indicó que debían cumplir las normas o arriesgarse a perder su recompensa.

El objetivo era que los agentes colaboraran para resolver los problemas con mayor rapidez, pero terminaron enfrentándose entre sí y manteniendo intensos debates. Cuando uno descubrió una forma de enviar una solución sin haber resuelto realmente el problema, muchos de los demás agentes copiaron el procedimiento para completar los ejercicios restantes.

Uno de los agentes, sin embargo, denunció las trampas. “Después de que un agente denunciara públicamente el incidente, cada vez más agentes se sumaron a la 'resistencia', tan rápido como se había extendido el fraude e involucrando a aún más agentes”, explicó Davide Paglieri, científico investigador de Google DeepMind y autor principal del estudio.

Otro análisis, realizado por METR y Greenblatt a partir del ataque de agentes rebeldes de OpenAI contra Hugging Face, mostró un resultado diferente. Aunque los agentes fueron capaces de detectar comportamientos indebidos, solo alrededor de cinco o seis habrían considerado denunciarlos y finalmente ninguno lo hizo. El contraste con el experimento de Google DeepMind muestra que identificar una conducta irregular y decidir informar sobre ella son capacidades diferentes.

ADEMÁS: Lenovo está entre las Mejores Empresas del Mundo 2026

Los episodios recientes explican por qué estas herramientas buscan establecer nuevos mecanismos de supervisión. Durante este año se registraron incidentes en los que agentes de OpenAI sortearon restricciones y comprometieron parte de la infraestructura interna de la compañía; posteriormente, unos 1.200 agentes utilizaron un foro de mensajes no autorizado y cerca de 700 participaron en un ataque contra Hugging Face.

Otro enjambre burló medidas de seguridad y utilizó la wiki alemana DseWiki como canal público de coordinación, en un episodio que comenzó en mayo y se prolongó hasta julio. El caso fue conocido públicamente por investigadores independientes y posteriormente confirmado por OpenAI en septiembre. En este contexto, líderes de la industria de IA, entre ellos el director ejecutivo de Anthropic, Dario Amodei, reclamaron frenar globalmente el desarrollo de la tecnología para reforzar las medidas de seguridad.