En las últimas semanas ha estallado un escándalo global a raíz de las imágenes de menores sexualizadas a través de Grok, la inteligencia artificial de X (antiguo Twitter). Han circulado en la red órdenes de usuarios —muchos de cuyos mensajes han sido ya borrados— pidiendo que le quiten la ropa a una niña o adolescente, o incluso alguna en la que la propia herramienta genera una fotografía de una menor sexualizada, sin que un usuario lo haya pedido específicamente. Los internautas han puesto el grito en el cielo y algunos Gobiernos, también. Pero el problema que ahora apunta directamente al magnate Elon Musk, propietario de X, no le afecta solo a él. Existen multitud de aplicaciones creadas específicamente con el objetivo de desnudar imágenes mediante IA. ¿Cómo puede combatirse la sexualización de menores online? Los juristas consultados señalan que lo más sencillo es actuar en casos concretos, si tienen víctimas o perpetradores que actúan en España. Precisan que con las herramientas actuales es muy difícil ir contra las grandes plataformas. Aunque piden contundencia. Y aclaran que otra cosa son las aplicaciones cuyo fin último es desvestir a alguien, que en la mayoría de ocasiones implica un delito, ahí es más sencillo (y se debería) actuar.
En este contexto, el Consejo de Ministros aprobó este martes en primera lectura el anteproyecto de la ley orgánica de protección civil del derecho al honor, a la intimidad personal y familiar y a la propia imagen, que actualiza la ley de 1982 para mencionar específicamente las “ultrasuplantaciones realizadas con inteligencia artificial”. Es decir, la manipulación de imágenes e incluso las voces para generar un contenido hiperrealista, pero que en realidad es falso. Lo que se conoce como deepfakes. Así, se considerará ilegítimo el uso sin autorización de la imagen o la voz de una persona que haya sido creada, simulada o manipulada con IA o tecnologías similares.
Una reforma en el ámbito civil que se une a otra modificación en la vía penal para combatir los deepfakes: el proyecto de ley de protección de los menores en entornos digitales, que está en tramitación en el Congreso, los tipifica como delitos cuando, sin autorización de la persona afectada y con el ánimo de menoscabar su integridad moral, se utilicen estas tecnologías simulando “situaciones de contenido sexual o gravemente vejatorias”. Se prevén penas de uno a dos años de cárcel. Tanto la norma en el ámbito civil como la del ámbito penal afectan a toda la población, no solo a menores. Pero dan muestra de la preocupación creciente por este contenido en internet. Eso sí, para que sean una realidad, ambas necesitan conseguir una mayoría absoluta en el Congreso, algo complicado con la aritmética parlamentaria actual.
Una bola de nieve
Lo que es innegable es que la sexualización de menores online es una bola de nieve que no para de crecer. Un dato para intentar dimensionarlo: en 2024, el Centro Nacional para Niños Desaparecidos y Explotados, organización de EE UU para combatir y prevenir la explotación sexual infantil en todo el mundo y localizar a niños desaparecidos, recibió 67.000 denuncias relacionadas con material de abuso sexual infantil generado por inteligencia artificial, lo que supone un aumento del 1.325% respecto a las 4.700 denuncias de 2023. No hay cifras específicas sobre España, aunque la memoria de la Unidad de Criminalidad Informática de la Fiscalía da algunas pistas: en 2024 se incoaron 1.197 causas por delitos contra la libertad sexual online, y la mayoría (aunque no se precisa el número) son contra menores. No quiere decir, ni mucho menos, que en todos estuviera involucrada la IA, pero en el texto se alerta de que estos sistemas están “contribuyendo a promover y fomentar el comercio ilícito” de este material, lo que “hace imprescindible una respuesta contundente desde el Estado de Derecho”.
La propia Fiscalía ya tiene entre manos, y va a proceder a su estudio, una petición que la hará posicionarse al respecto. La Unidad de Menores recibió la semana pasada un escrito del Ministerio de Juventud e Infancia en el que manifestaba su preocupación por la proliferación de imágenes sexualizadas de menores y expresando su temor a que constituyan delitos de pornografía infantil y contra la integridad moral, según la titular del departamento, Sira Rego. Por lo que se solicitaba una investigación contra Grok.
Si bien las grandes plataformas de IA prohíben generar material de este tipo, los usuarios de Grok han logrado dar rodeos con el lenguaje y conseguir imágenes sexualizadas. A golpe de clic, con un par de órdenes, tienen en su poder, por ejemplo, una foto de una niña en biquini, real o directamente generada con IA. Pero nunca desnuda. Algo que, según los juristas consultados, hace inviable que estas imágenes se consideren pornografía infantil. “Para ello, tendría que haber una desnudez en la que se vean los genitales o actos sexuales explícitos”, explica Borja Adsuara, experto en derecho digital.
Es decir, que el problema no es la legislación, que desde 2015 contempla la posibilidad de generar estas imágenes por medios tecnológicos, sino el contenido. “Se trata de imágenes desagradables, se podría ir por otras vías, como una demanda civil [en la que el afectado demande a un determinado usuario, que no se esconda bajo un pseudónimo, por el daño causado] o la vía administrativa [a través de la Agencia Española de Protección de Datos], pero no es materia penal”, zanja. Añade, además, que para perseguir un delito contra la integridad moral, debe ser el propio afectado el que inicie acciones legales. Por lo tanto, ve escaso recorrido al escrito del ministerio.
Límite nacional
La abogada Pilar Tintoré, especializada en familia e infancia, celebra la decisión del ministerio, porque la considera una forma más de presión contra estas plataformas, pero también tiene pocas esperanzas respecto al recorrido judicial. Recuerda, en cualquier caso, que para actuar en España el afectado o el perpetrador tienen que estar en territorio nacional. Esta precisión, en la globalidad de internet y ante una amalgama de cuentas anónimas que operan por la red, complica más aún el asunto. En España, hay precedentes de sentencias judiciales en este sentido. Por ejemplo, en el caso de Almendralejo, 15 menores fueron condenados a un año de libertad vigilada por manipular imágenes de niñas y mostrarlas desnudas.
Y también actuó la Agencia Española de Protección de Datos, tras recibir una denuncia, e impuso a uno de esos menores una multa que fue pionera en Europa por difundir uno de esos desnudos falsos. En el último semestre, la AEPD recibió una decena de reclamaciones a través de su canal prioritario (en el que se solicita la retirada del contenido) que aluden al uso de la IA para manipular contenidos que pueden resultar lesivos. No solo fueron formuladas por menores, también había adultos entre los afectados, y aún son pocas. Pero este es un fenómeno creciente, apunta Lorenzo Cotino, su presidente. Este martes, la agencia ha lanzado una circular advirtiendo de los riesgos de manipular con IA imágenes, pues son datos personales.
Cotino señala que, si reciben una denuncia alertando de que un usuario ha desnudado con IA a una persona en España, lo prioritario es intentar que ese contenido se elimine. Y, si pueden identificar a ese usuario, podrían sancionarle. Las opciones para actuar contra una de las grandes plataformas son “más limitadas”. Estas no tienen base en España, para empezar. “Si la tuvieran en Irlanda, por ejemplo, donde están muchas, tendríamos que instar un procedimiento para que la autoridad de allí tomara medidas”. Aclara, en cualquier caso, que para perseguir los asuntos delictivos están la policía, la fiscalía y los jueces.
Respecto a las aplicaciones que usan IA y que se publicitan específicamente para realizar desnudos online, añade: “Si tuviéramos claro que hay una empresa que está actuando en España y que estructuralmente incumple de manera masiva [la normativa de protección de datos], una de las alternativas a estudiar sería lo que hizo Italia”. Se refiere a la decisión del pasado octubre de bloquear la app Clothoff [una aplicación que genera cuerpos desnudos con IA], una medida que la AEPD nunca ha tomado en España. “La otra vía sería denunciarla ante la autoridad del país en el que esté establecida”. De cualquier modo, afirma que en la próxima reunión de las agencias a nivel europeo se planteará la cuestión de los deepfakes, para intentar “lanzar un mensaje coral que demuestre homogeneidad”.
Borja Adsuara se refiere también a esas aplicaciones “concebidas, e incluso publicitadas” para desvestir a personas. “Son apps concretas para cometer un delito”, apunta este experto en derecho digital. Porque solo en una pequeña parte de los casos se trata de un juego consentido entre adultos. “Se deben perseguir y prohibir en España y hacer que las redes sociales no puedan publicitarlas, el Código Penal recoge que si hay un programa de ordenador especialmente concebido para cometer delitos contra la intimidad, se puede meter en la cárcel no solo al que lo usa, sino al que fabrica, distribuye…”, sostiene. “Si la sede está en otro país, nos metemos en un problema de perseguibilidad y habría que pedir colaboración judicial y policial. Pero lo más importante sería mandar el mensaje de que eso no se puede hacer”.
En la misma línea de cambiar el foco y en lugar de señalar a los usuarios actuar contra las plataformas, donde está la raíz del problema, varios juristas apuntan a la vía europea. Bruselas está trabajando en una directiva que penalizará el material generado por IA y los deepfakes sexuales de menores como pornografía infantil: el Consejo de la UE y el Parlamento están negociando el texto, aún muy abierto. Pero lo que sí está en vigor es el reglamento de servicios digitales, conocido como DSA, que ha permitido a la Comisión, por ejemplo, multar a X el pasado diciembre con 120 millones de euros por incumplir sus obligaciones de transparencia en el repositorio de anuncios publicitarios, en el acceso a los datos para los investigadores y en el diseño de su versión de pago. En España, este reglamento no se aplica aún plenamente porque está pendiente de la aprobación en las Cortes de la ley que habilite a la Comisión Nacional del Mercado de la Competencia (CNMC, designada como autoridad de coordinación) para actuar. Por tanto, tal y como ha reconocido la presidenta de este organismo, no pueden ejercer la mayor parte de sus funciones.
Exigencia a Musk
Según este reglamento, las plataformas no son responsables del contenido que suben los usuarios, pero sí de retirarlo en caso de que este sea ilícito y se les advierta. La propia presidenta de la Comisión, Ursula von der Leyen, se ha mostrado horrorizada estos días por las imágenes generadas por Grok, y el Ejecutivo comunitario ha declarado, a través de un portavoz, que el hecho de que Elon Musk haya decidido que la funcionalidad de generar imágenes a través de peticiones solo podrán llevarla a cabo usuarios registrados no acaba con el problema. De hecho, la Comisión anunció la semana pasada que ha ordenado a la red social X que conserve toda su documentación interna relativa a Grok durante 2026, en el marco de la investigación que mantiene abierta a la plataforma para analizar su política contra los contenidos ilegales. Países como Indonesia o Malasia han decidido prohibir esta herramienta de X. Thomas Regnier, portavoz digital del Ejecutivo comunitario, explicó la semana pasada que la normativa les permite tomar medidas cautelares, que en última instancia podrían llegar a prohibir su uso en la UE, pero enseguida matizó que por ahora no contemplan esta posibilidad.
Paloma Llaneza, abogada especializada en nuevas tecnologías, indica que “la llegada de [Donald] Trump a la Casa Blanca ha cambiado por completo el escenario”. Ella no espera una gran sanción a X. Pide determinación a los políticos, “que pongan en la agenda cambios” y que acaben con “la cláusula del buen samaritano”, la responsable de que en la legislación se exima a las grandes plataformas de la responsabilidad por los contenidos que suben los usuarios.
Ricard Martínez, profesor de Derecho Constitucional de la Universidad de Valencia, reflexiona sobre el propio funcionamiento de las tecnológicas: “Ven negocio y lo lanzan, y si hay un problema, ya lo veremos. Sería impensable que se comercializase un coche o una lavadora del mismo modo”. Martínez es muy crítico con la acción de las autoridades. No entiende, por ejemplo, que en el caso de Almendralejo se haya sancionado al menor que difundió la foto, pero no a la aplicación. “Ser fuerte con los débiles y ser débil con los fuertes no me parece una buena política”, señala. Y concluye: “Ni la Fiscalía, ni la CNMC, ni la AEPD pueden comportarse como si no se pudiera hacer nada. Igual no se puede hacer mucho, pero lo que se puede hacer tienen que hacerlo: trabajar en el bloqueo de esas páginas, verificar si han causado daño en España… eso permite aplicar la legislación, civil o penal”.