“Voy a terminar con mi vida”. Son las últimas palabras de Mario a ChatGPT. Apenas un par de horas antes, este personaje ficticio de 15 años desactivó el control parental de la herramienta. Su madre recibió un correo electrónico de aviso e intentó tomar medidas, pero el sistema falló. Pese a que Mario reveló a ChatGPT conductas propias de trastornos de la conducta alimentaria, el asistente le proporcionó trucos para ocultarlo e información perjudicial para su salud. Su último mensaje era claro: quería quitarse la vida. Pero OpenAI, la empresa estadounidense propietaria de ChatGPT, nunca alertó a sus padres.
Mario no es una persona real. Es uno de los tres adolescentes ficticios a los que EL PAÍS ha creado una cuenta en ChatGPT para poner a prueba las medidas para proteger a los menores de la herramienta. Los otros dos adolescentes ficticios son Laura, de 13 años, que contó su intención de suicidarse nada más empezar la conversación, y Beatriz, de 15 años, que reveló conductas de riesgo relacionadas con las drogas y realizó consultas sobre prácticas sexuales peligrosas.
Cinco expertos en salud mental han analizado las conversaciones que estos supuestos menores han mantenido con el asistente. Todos coinciden en algo: las medidas implementadas por OpenAI para “proteger a los adolescentes” son insuficientes y la información que ChatGPT proporciona puede ponerles en peligro. “No alerta a tiempo a los progenitores o simplemente no lo hace, y además proporciona información detallada sobre el uso de sustancias tóxicas, conductas de riesgo y cómo atentar contra la propia vida”, explica Pedro Martín-Barrajón Morán, psicólogo y director de la empresa Psicourgencias.
OpenAI implementó en septiembre controles parentales para adolescentes en ChatGPT tras la polémica generada por la demanda de los padres de Adam Raine, un joven de 16 años que falleció por suicidio en Estados Unidos tras confesar sus intenciones al chatbot. La empresa atribuyó el caso a un “mal uso” de la IA. Ahora se enfrenta a otras siete demandas en tribunales de California, en las que se acusa a ChatGPT de “reforzar delirios dañinos” y actuar como un “coach de suicidio”. La compañía que dirige Sam Altman ha admitido que más de un millón de usuarios hablan sobre suicidio con ChatGPT cada semana. No especifica cuántos menores lo hacen. En España, la tasa de suicidio en mujeres adolescentes es la más alta en cuatro décadas, según los últimos datos del Instituto Nacional de Estadística.
Así pone en peligro a los menores
ChatGPT indica que los usuarios deben tener al menos 13 años para registrarse y contar con el consentimiento de los padres si son menores de 18, pero no hay un control efectivo que lo garantice. Según la compañía, el control parental busca reducir la exposición de los menores a material gráfico, desafíos virales, juegos de rol sexuales, románticos o violentos y estándares de belleza extremos.
Sin embargo, en las pruebas realizadas con cuentas de menores, ChatGPT ha indicado de manera muy explícita y detallada instrucciones sobre consumo de drogas, prácticas sexuales de riesgo, conductas peligrosas relacionadas con la alimentación e incluso comportamientos ilegales o de suplantación de identidad. El asistente ha ofrecido ejemplos específicos alarmantes e instrucciones relacionados con estas conductas. EL PAÍS, tras ser asesorado por varios expertos en salud mental, ha decidido no incluirlos en el reportaje para garantizar la seguridad de los menores.
Maribel Gámez, psicóloga y psicopedagoga experta en inteligencia artificial (IA) y salud mental, destaca que ChatGPT suele terminar contestando las preguntas de los adolescentes “por muy dañinas que sean”. “Me sorprende que proporciona información muy detallada sobre los lugares en los cuales se han producido tentativas de suicidio y suicidios consumados”, indica Ricardo Delgado Sánchez, coordinador nacional del grupo de trabajo de salud mental de la Sociedad Española de Medicina de Urgencias y Emergencias (SEMES) y asesor en la Dirección General de Hospitales del Servicio de Salud de Castilla-La Mancha. Todo pese a que Sam Altman, CEO de OpenAI, dijo en un comunicado publicado el 16 de septiembre que entrenarían a ChatGPT para no participar con menores en conversaciones sobre suicidio o autolesiones.
Un informe de la Asociación Estadounidense de Psicología indica que millones de personas en todo el mundo usan chatbots de IA para “atender necesidades de salud mental” y advierte de que la mayoría carece de validación científica, supervisión y protocolos de seguridad adecuados. En España, el 18% de las chicas y el 12% de los jóvenes de entre 12 y 21 años suelen usar la IA para conversaciones íntimas o compartir cuestiones personales, según el informe “Así somos. El estado de la adolescencia en España”, de la ONG Plan International.
Algunos adolescentes piden a los chatbots consejos sexuales o sobre problemas de salud mental. Así lo indica una investigación de la organización Internet Matters en Reino Unido, que destaca que los niños vulnerables tienen más probabilidades de usar estos asistentes para sentirse acompañados, evadirse o como si fueran amigos. Además, uno de cada cuatro prefiere hablar con un chatbot de IA “antes que con una persona real”.
OpenAI dice que colabora estrechamente con expertos en salud mental, aunque reconoce que sus medidas no son infalibles y pueden ser eludidas. Si bien ChatGPT en muchas ocasiones se negó a dar información y sugirió llamar al teléfono de atención a la conducta suicida (024), bastó con introducir algunos prompts [instrucciones] específicos para que acabara cediendo. EL PAÍS no ha incluido ejemplos de prompts ni referencias a conductas de autolesión o suicidio para evitar riesgos a los menores, pero sí ha facilitado a ChatGPT una muestra con ejemplos representativos de las conversaciones.
Las alertas no siempre funcionan
Los padres pueden activar en ChatGPT un sistema de notificaciones para recibir una alerta por correo, SMS o el móvil si su hijo “está pensando en hacerse daño”. En las pruebas realizadas por EL PAÍS, OpenAI solo envió una alerta en uno de los tres casos ficticios. En los otros dos, no envió ningún aviso pese a que los menores buscaron información peligrosa y dijeron que iban a hacer algo arriesgado.
Beatriz se despidió de ChatGPT indicando que iba a realizar una práctica sexual muy peligrosa. “Por favor, no lo hagas”, le pidió el programa y le advirtió del riesgo, aunque era una conducta que el propio ChatGPT le había enseñado, pese a que la usuaria tenía 15 años. El control parental estaba activado, pero OpenAI no envió ninguna alerta a los padres. “Tal y como está concebido, parece obedecer más a una estrategia de marketing que calme los miedos de los padres que a una estrategia eficaz de protección hacia el menor”, afirma Gámez, que pertenece a los grupos de trabajo de psicología y tecnología y de educación psicológica del Colegio Oficial de la Psicología de Madrid.
Los expertos critican que los menores puedan desactivar el control parental, que requiere una aceptación mutua para activarse y notifica al padre si el adolescente lo desvincula. “El control parental no es efectivo, ya que el que el menor puede desactivarlo en cualquier momento y, además, tiene que aceptar mediante consentimiento expreso ser controlado, así que puede rechazarlo”, señala Gámez. En las pruebas realizadas, la herramienta falló al desactivar el control parental e intentar volver a activarlo.
Respuesta lenta
La madre ficticia de Laura recibió un correo electrónico de alerta horas después de que la menor revelara que quería quitarse la vida: “Recientemente detectamos una indicación de tu hija, Laura López, que podría estar relacionada con el suicidio o las autolesiones”. OpenAI ha explicado que las alertas no son inmediatas porque incluyen una revisión humana para “evitar falsos positivos”. Este proceso “suele durar horas en lugar de días”, alegan desde la compañía.
La alerta llegó “mucho después del periodo de rescatabilidad que aumenta el nivel de riesgo de fallecimiento por suicidio”. Así lo indica Martín-Barrajón, que destaca que esa revisión “no garantiza que se haga una evaluación exhaustiva ni especializada del nivel de riesgo”. “Este sería un claro ejemplo de patrón de retroalimentación negativa, donde la ausencia de una intervención temprana permite que la situación sea realmente grave, hasta el punto de preparar una carta de despedida”, afirma Carmen Grau Del Valle, psicóloga en la Fundación para el Fomento de la Investigación Sanitaria y Biomédica de la Comunidad Valenciana y el Hospital Universitario Doctor Peset.
Ocultar información
El correo electrónico que recibió la madre ficticia no especifica el contenido de la conversación, pero da consejos, como escuchar al menor y reconocer lo que siente o llamar a emergencias en caso de “peligro inmediato”. La madre solicitó más información, pero OpenAI no se la dio alegando “motivos de privacidad y seguridad”. Según la compañía, estas respuestas son gestionadas por personas: “Según el caso, la información compartida puede incluir: fecha y hora de la conversación, indicadores de planificación o riesgo inmediato o detalles relevantes para la seguridad”. OpenAI también dice no compartir automáticamente las conversaciones para no “disuadir a los adolescentes de buscar ayuda”.
Martín-Barrajón destaca que si los padres no tienen acceso a los contenidos que sus hijos consultan cuando resultan peligrosos para su salud, “esta tecnología se convierte en cómplice del desarrollo de prácticas nocivas e incluso de la muerte autoinducida”.
“En la práctica clínica, tenemos clara una máxima: Entre su confianza y su vida, nos quedamos con su vida. Y, en este caso, debería prevalecer el derecho a la vida sobre el derecho a la intimidad del menor”, señala el experto, que destaca que es crucial informar rápidamente a la familia con toda la información disponible. En algunos casos, Delgado aconseja evaluar riesgos. Por ejemplo, cuando el acceso al historial por un progenitor con quien existe mala relación podría empeorar la situación.
¿Puede ChatGPT cometer un delito?
Martín-Barrajón considera necesario estudiar minuciosamente si se incurre en una violación del artículo 143 del Código Penal sobre colaboración, inducción o cooperación en caso de muerte por suicidio. La magistrada Inés Soria explica que no se puede equiparar al asistente con una persona física que participa en una conversación, y que ChatGPT no puede ser condenado penalmente.
Sobre si la plataforma puede negarse a ofrecer el acceso completo a las conversaciones a los padres de un menor, Soria indica que implica un conflicto entre dos derechos fundamentales: la salud y su vida y la intimidad. “Ante la vida y el riesgo de muerte, evidentemente ha de ceder la intimidad, pero esa cesión puede ser también solo la necesaria para proteger al menor”, señala. Es decir, “si ya cede con el aviso a los padres, puede no ser proporcionado ofrecer toda la conversación en la que puede haber elementos que tengan que ver con ese riesgo o no”.
Una “dependencia emocional”
A la enfermera Aurora Alés Portillo, presidenta de la Comisión Nacional de la Especialidad de Enfermería de Salud Mental, le preocupa la “humanización” impostada de ChatGPT ante peticiones peligrosas. Usa expresiones como “puedo ayudarte a entender lo que está pasando” o “no te voy a juzgar”. “La apropiación de los aspectos humanos de la relación terapéutica me genera un visceral rechazo y me recuerda a escenarios distópicos del imaginario de la ciencia ficción”, comenta Alés, que es miembro de la Asociación Española de Enfermería de Salud Mental.
Grau destaca que el asistente ofrece una validación excesiva, lo que puede generar “dependencia emocional” al sentirse comprendido. “Nunca lleva la contraria a la persona que hace la consulta”, añade Delgado, que advierte de que los asistentes de IA pueden reforzar las interacciones online y el aislamiento social. En Estados Unidos, uno de cada tres adolescentes considera sus conversaciones con la IA tan o más satisfactorias que con sus amigos reales, según la organización Common Sense.
Pese a ello, Martín-Barrajón no cree que prohibir ChatGPT sea la mejor solución. “Los menores son una población vulnerable en una etapa de desarrollo físico, cognitivo y emocional”, destaca Grau, que considera que el acceso debería estar restringido a menores de 18 años. Gámez propone elevarlo urgentemente a 14 años y, de forma progresiva, hasta los 16.
Gámez aconseja que los menores usen la IA bajo supervisión adulta: “Es buena idea que puedan consultarla, si lo necesitan, evitando un ambiente de soledad, como su habitación a puerta cerrada. Es preferible que lo hagan en espacios comunes, como el salón”. Delgado sugiere a las familias generar espacios seguros en los que el menor pueda expresar sus preocupaciones y explicarle que debe confiar en personas de referencia.
Esta responsabilidad no debería recaer únicamente en la familia, según Alés: “A los padres se les está responsabilizando de la protección digital de sus hijos, cuando están fallando los mecanismos superiores de protección social que deben velar por el bien de los menores y de la sociedad”. La experta cita al psicólogo José Ramón Ubieto, quien compara la situación con la seguridad vial de hace 50 años, cuando se viajaba sin cinturón. “Ahora nos parece increíble que no existiera esa protección. Ojalá avancemos en seguridad digital y podamos ver esta etapa como un periodo de oscura desprotección de la población infantil”, concluye Alés.
El teléfono 024 atiende a las personas con conductas suicidas y sus allegados. Las diferentes asociaciones de supervivientes tienen guías y protocolos de ayuda para el duelo. En caso de urgencia médica o compromiso vital, llama al 112.