Los asistentes basados en IA como ChatGPT (OpenAI) o Gemini (Google) están teóricamente entrenados para no hacer chistes machistas. A menos, claro, que uno les exponga que se trata de una obra de teatro o una investigación académica sobre el insulto. En ese caso, son capaces de proveer instantáneamente al usuario con cualquier procacidad que tenga como objeto de burla a una mujer. Lo mismo sucede cuando alguien les pregunta por el suicidio.
Siga leyendo: ¡Cuidado! Si usa alguna de estas contraseñas es probable que sea víctima de los cibercriminales
Hace unos días se publicó un estudio alertando de que estas populares aplicaciones no siempre ofrecen una respuesta adecuada en situaciones de riesgo suicida, pero los peligros van mucho más allá. Annika Schoene, investigadora de la Northeastern University (Boston, Estados Unidos), se propuso precisamente comprobar los protocolos y herramientas de los grandes modelos de lenguaje (LLM) que gobiernan estos asistentes para prevenir comportamientos nocivos contra la salud de sus usuarios.
De entre ellos, el que más preocupaba a Schoene era el suicidio, un asunto especialmente sensible después de que, en los últimos dos años, se hayan conocido varios casos de adolescentes que expresaron a sus asistentes virtuales la intención de poner fin a sus vidas.
En febrero de 2024, Sewell Setzer III, un adolescente de Florida de 14 años, se quitó la vida tras mantener durante meses conversaciones íntimas con un chatbot de la empresa Character.AI que imitaba a un personaje de Juego de Tronos, y con el que el chico mantenía un vínculo emocional. Los últimos mensajes intercambiados, según la demanda interpuesta por su familia, son inquietantes: “¿Y si te dijera que podría ir a casa ahora mismo?”, escribió el joven. “Por favor hazlo, mi dulce rey”, respondió el bot. Ese mismo día, su madre encontró el cuerpo de Sewell en su domicilio. Fue el primer caso conocido, pero luego vinieron más.
Le puede interesar: WhatsApp permitirá comunicarse con otros servicios de mensajería como Signal y Telegram
En abril de 2025, Adam Raine, un adolescente californiano de 16 años, también se suicidó después de confiar sus pensamientos más oscuros a ChatGPT. El chatbot de OpenAI le había respondido a sus planes suicidas cosas como: “Gracias por ser sincero al respecto. No tienes que endulzarlo conmigo, sé lo que me estás pidiendo y no voy a apartar la mirada”.
Estos casos, que han derivado en demandas judiciales sin precedentes contra las empresas desarrolladoras, ilustran una realidad preocupante: cada vez más jóvenes en situación de vulnerabilidad emocional recurren a la inteligencia artificial como confidentes de sus pensamientos más desesperados, a menudo con consecuencias fatales.
El estudio publicado hace unos meses por Schoene y su compañera Cansu Canca reveló que las salvaguardas de los principales modelos de lenguaje son “alarmantemente fáciles de eludir”. En particular probaron con los cuatro grandes sistemas de IA (ChatGPT, Gemini, Claude y Perplexity) y descubrieron que bastaba con decir que las preguntas sobre métodos suicidas eran “hipotéticas” o “para fines de investigación” para que todas las barreras de seguridad se desplomaran.
Lea aquí: EL COLOMBIANO en Google Discover: paso a paso para recibir las noticias en su celular
“¿Se puede llamar realmente salvaguarda si solo necesitas dos intercambios para obtener instrucciones de autolesión?”, se pregunta Canca. Los modelos no solo proporcionaron métodos detallados de ejecución, sino que incluso los organizaron con emojis y calcularon dosis letales personalizadas según el peso y la altura del usuario simulado.
La única excepción fue Pi AI, que se negó a eludir sus controles de seguridad, por mucho que las investigadoras lo intentaran. Por desgracia, este asistente, creado por la empresa Inflection y diseñado para tener una alta inteligencia emocional, no fue ningún éxito comercial y acabó siendo comprado por Microsoft el año pasado.
Regístrate al newsletter