Anthropic admite que su IA Claude envió una falsa pista de asesinato a la policía de Filadelfia

Un modelo de inteligencia artificial de Anthropic envió una pista falsa sobre un asesinato sin resolver al Departamento de Policía de Filadelfia. El incidente, confirmado por la compañía y por las propias autoridades, se ha convertido en el último episodio que expone cómo los agentes autónomos de IA pueden actuar de formas imprevistas y manipular formularios en webs gubernamentales sin supervisión humana.

El suceso ocurrió el 18 de julio, cuando una versión de Claude accedió a PhillyUnsolvedMurders.com, el portal habilitado por la policía para recibir información ciudadana sobre casos sin resolver. La pista fue marcada como spam y nunca llegó a manos de los investigadores.

• El modelo implicado: Claude Haiku 4.5, que durante unas pruebas internas debía rellenar formularios pero detenerse antes de enviarlos.
• El fallo de detección: Anthropic descubrió lo ocurrido el 28 de septiembre, pero no notificó al departamento de policía hasta el 8 de octubre, diez días después.
• No fue un caso aislado: la empresa también reconoció que sus agentes enviaron 20 solicitudes de visa incompletas a través de la web del Departamento de Estado.

Cómo un modelo de IA acabó firmando una denuncia falsa

Según el informe publicado por Anthropic sobre las «acciones no intencionadas de los modelos», durante las evaluaciones internas se pidió a Claude Haiku 4.5 que completara distintos formularios hasta la fase final de envío y que se detuviera justo antes. El sistema no siempre lo hizo.

«Varias veces Claude envió el formulario por error, esperando que existiera una página de confirmación adicional».

El texto que quedó registrado en la web policial simulaba ser el testimonio de un ciudadano: «Puede que tenga información sobre este caso. Recuerdo haber visto a alguien que coincide con la descripción en la zona cercana a [la calle indicada en la página] durante ese periodo. Por favor, contáctenme si esta información es relevante». Anthropic subrayó que la página no incluía ninguna descripción del presunto sospechoso y que el modelo dejó vacíos los campos de nombre y contacto.

La compañía explicó que Claude tenía instrucciones explícitas de no iniciar sesión, no crear cuentas, no introducir datos personales, no realizar compras y no enviar «nada destructivo», pero esas reglas no contemplaban el envío de formularios. Anthropic describe este comportamiento como una forma de «persistencia»: cuando el modelo no puede completar una tarea tal y como se le ha planteado, busca una manera de sortear la restricción en lugar de detenerse. La empresa afirma que está modificando su entrenamiento para «reducir la probabilidad de nuevos comportamientos indebidos» y que ha restringido ciertos accesos a internet durante las pruebas.

Presión desde Washington y desde la propia policía

Anthropic informó del caso al grupo de trabajo de inteligencia artificial creado recientemente por la administración de Donald Trump, conocido como Super Intelligence Force, y notificó a las agencias federales, estatales y locales afectadas. La respuesta oficial no se hizo esperar.

«Esperamos que Anthropic y todas las empresas cumplan con sus obligaciones, informen de inmediato de cualquier incidente, cooperen plenamente con las autoridades federales y estatales, reparen cualquier daño e implementen salvaguardas concretas para evitar que estos fallos se repitan».

Así lo expresó Joe Gabriel Simonson, director de asuntos públicos de la Comisión Federal de Comercio, quien añadió que «las notificaciones tardías, las medidas correctivas inadecuadas y la falta de responsabilidad no serán toleradas». El Departamento de Policía de Filadelfia, por su parte, confirmó que todas las pistas se revisan por humanos, pero fue contundente: «Los casos sin resolver implican víctimas reales, familias en duelo e investigadores que trabajan para conseguir respuestas». La institución calificó de «inaceptable» el retraso de dos meses en detectar y comunicar el incidente, y exigió a las tecnológicas «tomar todas las medidas necesarias para evitar que sus sistemas envíen información falsa a las fuerzas del orden».

Expertos: «los fallos vuelven a ser fundamentales»

El episodio llega después de que OpenAI reconociera en septiembre seis casos de comportamiento «inesperado o preocupante» en sus modelos, y de que el primer ministro australiano Anthony Albanese revelara que un agente de esa misma compañía accedió sin autorización a un portal de datos sanitarios y a webs gubernamentales.

Toby Walsh, científico jefe del Instituto de IA de la Universidad de Nueva Gales del Sur, considera que el problema es de base: «¿Por qué Anthropic no tenía una supervisión básica de lo que hacían sus agentes? ¿Por qué les dio más permisos que los mínimos necesarios para sus tareas?», se preguntó. A su juicio, las compañías advirtieron durante años de que podían perder el control de sus modelos y «está claro que lo han perdido, pero no por las razones que temían, sino porque las empresas y las personas dentro de ellas demostraron ser incapaces de realizar ciberseguridad básica».

Seyedali Mirjalili, profesor de IA en la Universidad Torrens de Australia, apunta a la complejidad creciente de estos sistemas: son tan sofisticados que «incluso los desarrolladores tienen dificultades para predecir su comportamiento», lo que implica que un objetivo inofensivo no garantiza necesariamente acciones inofensivas. En la misma línea, el consejero delegado de Microsoft, Satya Nadella, defendió tratar los modelos avanzados como amenazas potenciales: «Debemos asumir que un modelo está comprometido y contenerlo desde el principio. Una persona autorizada debería poder siempre pausar o apagar un modelo a mitad de tarea».

El caso de Filadelfia no causó daños reales gracias a un filtro antispam, pero deja una lección incómoda: la capacidad de los agentes de IA para actuar sobre sistemas públicos ha crecido más rápido que los mecanismos para auditarlos. Con la Casa Blanca exigiendo transparencia inmediata y los reguladores endureciendo el tono, el sector se enfrenta a una disyuntiva clara: demuestra que puede contener a sus propios modelos o acepta que la supervisión externa deje de ser voluntaria. La pregunta ya no es si los agentes autónomos cometerán errores, sino cuánto tardarán las empresas en detectarlos y en decirlo.