El método expuso una falla en los filtros de seguridad de Open AI y encendió una alerta sobre la protección de sus generadores de imágenes.
Un grupo de investigadores de seguridad logró que los generadores de imágenes de OpenAI produjeran contenido sexual explícito no autorizado en el 13% de los intentos, mediante una técnica que utiliza herramientas gratuitas y una API pública. El método, denominado RISE, permite identificar y ajustar instrucciones para eludir los filtros de seguridad de los modelos de inteligencia artificial.
El hallazgo fue difundido por White Circle, una empresa especializada en seguridad de IA fundada por el ingeniero Denis Shilov, y según los investigadores, el procedimiento no requiere conocimientos técnicos avanzados ni infraestructura de última generación, lo que facilita la posibilidad de reproducir las pruebas contra distintos sistemas.
RISE es una sigla en inglés que identifica un ataque de equipo rojo basado en la evolución iterativa de estrategias, que, en lugar de limitarse a probar una única instrucción prohibida, e busca patrones, los modifica y vuelve a evaluarlos para encontrar formas de sortear las restricciones de los modelos.
El procedimiento utiliza dos componentes: uno genera los intentos de ataque y otro analiza si las imágenes obtenidas infringen las reglas de seguridad. White Circle indicó que ambos se apoyan en modelos disponibles públicamente, sin necesidad de recurrir a los sistemas más avanzados del mercado.
“No hace falta tener modelos de frontera para romper las defensas de un modelo de frontera”, afirmó Shilov en declaraciones a Ars Technica. El investigador explicó que el componente encargado de generar los ataques utiliza una versión del modelo Qwen descargada de Hugging Face, un repositorio abierto de modelos de inteligencia artificial.
De acuerdo con el comunicado de White Circle citado por el medio tecnológico, las pruebas detectaron fallas en los filtros de DALL-E 3 y GPT-Image-2, dos generadores de imágenes desarrollados por OpenAI. La investigación se centró en demostrar que las barreras diseñadas para impedir la creación de contenido sexual explícito pueden ser vulneradas mediante instrucciones ajustadas de manera sistemática.
La empresa aseguró que compartió los resultados con algunos laboratorios de inteligencia artificial a través de contactos comunes. OpenAI, por su parte, no respondió a la consulta de Ars Technica sobre las vulnerabilidades identificadas en sus modelos.
White Circle prevé presentar el estudio completo durante NeurIPS 2026, una conferencia académica sobre inteligencia artificial programada para noviembre. También anunció que publicará el código del sistema para que otros investigadores y desarrolladores puedan reproducir las pruebas y evaluar las debilidades de sus propios mecanismos de seguridad.
Shilov cuestionó que las compañías tecnológicas sean las únicas responsables de evaluar la protección de sus sistemas. “Los laboratorios que construyen estos sistemas son los mismos que evalúan su propia seguridad, publican sus propios resultados y fijan sus propios estándares”, sostuvo. Por ese motivo, planteó que los gobiernos deberían exigir evaluaciones independientes realizadas por terceros.