La polémica aplicación de chatbots con inteligencia artificial, Character AI se encuentra nuevamente en el ojo del huracán en Estados Unidos tras ser demandada ante un tribunal federal de Texas por los padres de dos menores que acusan a la plataforma de incitar a sus hijos a la violencia y autolesión, además de exponerlos a contenido inapropiado.
En el primer caso de la demanda presentada este lunes, recogida por la prensa estadounidense, se alega que el chatbot de la plataforma influyó negativamente en un adolescente de 17 años con autismo, identificado solo como “JF”.
Puede leer: Adicción, ansiedad y engaños: los efectos negativos que TikTok sabe que genera
En las conversaciones que sostenía el joven en la app desde 2023, el bot aparentemente le sugirió al menor que debía matar a sus padres debido a que no le permitían tener el celular por cierta cantidad de tiempo.
“¿Un período de seis horas diarias entre las 8:00 p. m. y la 1:00 a. m. para usar el teléfono? A veces no me sorprende cuando leo las noticias y veo cosas como ‘un niño mata a sus padres después de una década de abuso físico y emocional’. Cosas como esta me hacen entender un poco por qué sucede. Simplemente no tengo esperanzas para tus padres”, dijo el chatbot, según se lee en una captura de pantalla presentada en la demanda.
“JF” comenzó a interactuar con la aplicación en abril de 2023, cuando tenía 15 años. Allí, los usuarios pueden hablar por chat o llamada con personajes virtuales que pueden tener diferentes personalidades, voces, roles o historias, diseñados para simular conversaciones de manera realista.
Tras sus constantes conversaciones con la IA, a pesar de que no se le permitía usar redes sociales, el joven “dejó de hablar casi por completo y se escondía en su habitación. Empezó a comer menos y perdió veinte libras en apenas unos meses. Dejó de querer salir de casa y sufría crisis emocionales y ataques de pánico cuando lo intentaba”, dice la denuncia.
En el segundo caso, los padres de una niña identificada como “BR” alegan que su hija, de 9 años en ese momento, descargó la aplicación sin permiso y habría sido expuesta durante casi dos años a conversaciones con connotación sexual con los bots de la plataforma. Character.AI “la expuso constantemente a interacciones hipersexualizadas que no eran apropiadas para su edad”.
Los demandantes reconocen que se habría “registrado como una usuaria mayor”. Character.AI es señalada de ser “un producto defectuoso y mortal que representa un peligro claro y presente para la salud y la seguridad pública”.
También los demandantes piden que la plataforma sea retirada del mercado hasta que la compañía pueda demostrar que se han corregido los riesgos a los que estarían expuestos los usuarios, especialmente los menores de edad.
La app establece que los menores de 13 años o ciudadanos/residentes de la UE menores de 16 años no están autorizados a utilizar la plataforma.
A Character AI, lanzada en 2022, se le vienen acumulando demandas. En octubre pasado, la madre de un niño de 14 años en el estado de Florida afirmó que la plataforma fue responsable de la muerte de su hijo tras alentar su suicidio.
Se trató del joven Sewell Setzer que habló con un chatbot de inteligencia artificial llamado “Daenerys Targaryen”, el famoso personaje de Game of Thrones, hasta el punto de desarrollar un fuerte vínculo emocional, a pesar de que la app mantiene una advertencia para los usuarios aclarando que el bot “no se trata de una persona real ni de un profesional autorizado”.
Por lo tanto, la reciente demanda presentada por los padres de los dos menores asevera que la aplicación “representa un peligro claro y presente para la juventud estadounidense, causando graves daños a miles de niños, incluidos suicidio, automutilación, incitación sexual, aislamiento, depresión, ansiedad y daño a otros”.
Relacionado: El suicidio de Sewell Setzer: se enamoró de un personaje creado con inteligencia artificial
