La familia denuncia que las herramientas de protección no impidieron que la menor utilizara el buscador para preparar una carta de despedida y organizar su funeral.
Los padres de una adolescente de 13 años de Carolina del Norte demandaron a Google y la acusaron de negligencia porque su hija habría utilizado la Inteligencia Artificial (I.A.) integrada en el buscador para planificar un posible suicidio y organizar su funeral.
La menor accedía a esas funciones desde una Chromebook proporcionada por su escuela, pese a que la institución había bloqueado el uso de chatbots como Gemini y ChatGPT.
El caso trascendió a la prensa apenas dos días después de que Google anunciara que desactivará por defecto sus herramientas de inteligencia artificial para estudiantes de escuelas primarias y secundarias. La denuncia puso bajo la lupa la eficacia de los mecanismos de protección de la compañía y las restricciones aplicadas en los dispositivos escolares.
Según la presentación judicial, Emma era una estudiante que obtenía excelentes calificaciones, estudiaba música y participaba en las Girl Scouts. Sus padres sostuvieron que no tenía antecedentes de enfermedades mentales y que, después de varios meses de utilizar las funciones de I.A. de Google, comenzó a atravesar una grave crisis psicológica.
La familia afirmó que la adolescente mantenía conversaciones con la IA desde una computadora entregada por su escuela. Aunque el establecimiento había restringido el acceso directo a los principales chatbots, Emma todavía podía utilizar Google Search, que incorpora funciones basadas en Gemini.
El 17 de marzo, un sistema de monitoreo escolar detectó un documento titulado «Funeral» y emitió una alerta. La institución notificó a los padres y, posteriormente, la madre ingresó a la cuenta escolar de la adolescente y observó que estaba escribiendo una carta de despedida. Su padre intervino para evitar que la situación avanzara.
Los abogados de la familia cuestionaron que las medidas de seguridad de Google fueran insuficientes y señalaron que la adolescente podía regresar repetidamente a las conversaciones con la inteligencia artificial pese a los mecanismos de protección de la plataforma.
ADEMÁS: La polémica que sacude a Nvidia: una infidelidad, una presunta espía china y una investigación
Google confirmó que analiza las acusaciones y aseguró que el modo de I.A. de su buscador cuenta con mecanismos de protección frente a contenidos relacionados con autolesiones y posibles intentos de eludir las restricciones de seguridad. La familia, sin embargo, cuestionó la eficacia de esas herramientas y reclamó que la compañía responda por los daños que atribuye al uso de la tecnología.
Qué cambiará en las herramientas de inteligencia artificial de Google para las escuelas
La semana pasada, Google anunció modificaciones en las condiciones de acceso a sus herramientas de I.A para alumnos de primaria y secundaria. La decisión llegó después de las críticas por la incorporación de funciones de IA a sus servicios educativos, especialmente tras ampliar la disponibilidad de Gemini en Classroom.
Con los nuevos controles, Gemini, Gemini Notebook, Classroom y Google Search estarán desactivados por defecto en las cuentas escolares de los estudiantes. Los administradores de cada institución deberán habilitar expresamente las herramientas que quieran ofrecer a sus alumnos.
El alcance de la medida es significativo: más de 150 millones de estudiantes y docentes utilizan Google Classroom en todo el mundo, según datos difundidos por la compañía, mientras que las Chromebooks tienen una amplia presencia en las escuelas de Estados Unidos.
Aparecen en esta nota:
las más leídas
comentar