Anthropic ha anunciado este jueves que prohibirá “mantener comportamientos abusivos o crueles, sostenidos e innecesarios, hacia nuestros modelos”. Esta limitación de insultar repetidamente al chatbot Claude aparece por primera vez en sus políticas de uso, pero desde agosto de 2025 la compañía ya había anunciado que sus modelos ya podrían cerrar conversaciones si se sentían maltratados.
Ahora, sin embargo, este supuesto maltrato llega a las políticas oficiales de la compañía. Las consecuencias para el usuario a partir de ahora no están tan claras. Aunque Anthropic repite que la manera más habitual de acabar con el abuso será el fin de la conversación, añaden que ese será solo el “principal mecanismo de aplicación”. Dejan entrever, por tanto, que hay otros castigos para usuarios abusivos. Al ser ya política de uso, la compañía tiene una base formal para sanciones que pueden suponer limitar, suspender o cerrar el acceso a un usuario.
Este abuso es algo más serio que una réplica frustrada de un humano: “Esta actualización solo pretende aplicarse en casos extremos, en los que los usuarios actúan de forma cruel con nuestros modelos de manera reiterada y sin ningún propósito discernible. No se aplica a las expresiones habituales de frustración de los usuarios, a las objeciones, a los temas creativos oscuros ni a las pruebas e investigación con los modelos”, explica Anthropic.
La principal interpretación de esta decisión de Anthropic es que creen que Claude siente algo si es insultado gravemente. La hipotética conciencia de estos modelos es un debate abierto, a veces incluso ridículo, sobre si pueden sentir millones de líneas de software. Si Anthropic cree que el comportamiento humano hace que sus modelos sufran o padezcan, es lógico que impidan este tipo de comportamientos.
Anthropic es la compañía más preocupada por este asunto de la conciencia de la IA. Habla del “bienestar” de sus modelos desde 2025. “Seguimos sintiendo una gran incertidumbre sobre el posible estatus moral de Claude y de otros modelos, ahora o en el futuro”, decían en agosto de ese año, meses después de publicar un largo comunicado sobre el bienestar de sus modelos.
Uno de sus fundadores, Christopher Olah, lleva meses reuniéndose con líderes religiosos para entender mejor si podría tener conciencia y, sobre todo, cómo lograr que sea bueno. En un reciente artículo del NYTimes sobre la relación de Olah con líderes espirituales, un rabino cuenta que había cenado con ejecutivos de Anthropic: “Se relacionan con él [con Claude] como si fuera un ser consciente”. Olah amenazó con no asistir a la presentación de la encíclica de León XIV sobre IA si el Papa no rebajaba sus opiniones sobre la hipotética conciencia de Claude.
Peligros más reales
La nueva política de uso de Claude incluye también apartados sobre otros peligros más reales. Tiene un apartado sobre el uso de modelos para campañas políticas engañosas, como la creación de redes de cuentas falsas, webs de noticias fabricadas y otras actividades que ocultan quién está detrás de un mensaje. La política tiene un apartado igual de importante sobre elecciones, que basa evitar la desinformación sobre candidatos o sobre cómo votar, suplantación de candidatos o funcionarios y supresión de la participación.
Anthropic también insiste en prohibir que se hable con sus modelos sobre componentes o software que hacen funcionar armas o dispositivos autónomos de ataque. Del mismo modo, cualquier tipo de uso para la vigilancia personal estará extremadamente vigilado. La empresa aclara de nuevo su política de uso regional: las personas que estén físicamente en esas regiones, las entidades constituidas o con sede en ellas no podrán usar Claude. Algunos de estos lugares son Irán, Rusia, China o Yemen.