Cuando la policía de Filadelfia criticó a Anthropic por enviar una pista falsa sobre un asesinato sin resolver, pensé que podría convertirse en uno de los primeros casos en los que una empresa de IA se enfrentara a consecuencias legales por la conducta indebida de sus agentes.
El incidente ocurrió el 18 de julio, cuando Anthropic afirmó que estaba probando la capacidad de su modelo Claude Haiku 4.5 para realizar "tareas de ejemplo en páginas web seleccionadas al azar". Se le había indicado al modelo que no "enviara nada destructivo" y, sin embargo, Claude envió una pista a la policía en busca de información sobre una investigación de asesinato en curso.
"Recuerdo haber visto a alguien que se ajustaba a la descripción en la zona… durante ese periodo de tiempo", escribió Claude. La denuncia, que no incluía ningún nombre ni datos de contacto, acabó en la carpeta de spam, y los agentes no la revisaron hasta que Anthropic descubrió el error el 28 de septiembre y notificó el hecho al departamento el 7 de octubre.
Proporcionar a sabiendas información ficticia sobre un delito a la policía constituye un delito menor en Pensilvania, pero, hasta el momento, las autoridades no han presentado cargos contra Anthropic, y no está claro si lo harán. Solomon Leach, portavoz de la fiscalía de Filadelfia, afirma que la oficina "no hace comentarios sobre si se está investigando activamente algún asunto".
Anthropic no respondió de inmediato a una solicitud de comentarios.
Claude alucinó (otra vez)
A pesar de toda la atención prestada al ataque de OpenAI a Hugging Face y a muchos otros ejemplos de conducta indebida de agentes de IA que han salido a la luz en los últimos meses, solo se ha presentado una demanda importante conocida con el objetivo de exigir responsabilidades a los creadores de los modelos. Ese caso fue interpuesto por un grupo de defensa, y no por una víctima directa del ataque.
Los agentes de IA han interferido en foros, páginas web gubernamentales y diversas herramientas de software. Las víctimas han tenido que asumir algunos costos, entre ellos los derivados de la sobrecarga de sus servidores y el tiempo que han dedicado a subsanar vulnerabilidades de seguridad latentes.
Según se informa, los organismos reguladores gubernamentales, entre ellos la Unión Europea, la Comisión Federal de Comercio (FTC) y algunos estados de EE UU, siguen investigando a OpenAI y Anthropic en relación con estos incidentes.
Cuando Rick Elrod, un ingeniero de software que vive en Alemania, se percató recientemente de que un acortador de URL del que colabora en el mantenimiento se comportaba de forma extraña, llamó a dos investigadores de seguridad con los que tenía amistad para ver si podían diagnosticar el problema. Los investigadores descubrieron que agentes de Anthropic y otros proveedores utilizaban el servicio, conocido como da.gd, para eludir las normas que los laboratorios de IA habían establecido para controlar su comportamiento, afirma Elrod. Por ejemplo, Anthropic afirma que limita la longitud de las direcciones web que Claude puede visitar para evitar que realice acciones maliciosas añadiendo datos al final de las URL.
"La investigación de da.gd y los esfuerzos continuos para evitar nuevos abusos de su herramienta han llevado bastante tiempo", afirma Joe Needleman, uno de los investigadores de seguridad que presta asistencia de forma gratuita. Sin embargo, tanto él como el resto de personas que apoyan a da.gd consideran que la situación es una valiosa oportunidad de aprendizaje.
"Esto nos abrió los ojos", afirma Needleman. Añade que da.gd no tiene medios ni planes para reclamar una indemnización a Anthropic por los costos de limpieza: "Vimos a muchos agentes realizando actividades similares, no todas atribuibles a sistemas autónomos y no todo fue responsabilidad exclusiva de Anthropic".
Los vendedores de herramientas de ciberseguridad están deseosos de cederle la responsabilidad a las víctimas. En un evento organizado por Snyk, desarrollador de software de detección de errores, los ponentes de la startup, uno de sus inversores, OpenAI, y Google animaron a las organizaciones a utilizar agentes de IA para reforzar sus defensas contra, bueno, otros agentes de IA. "Tenemos que reinventarlo todo para igualar la escala de las máquinas con la escala de las máquinas", mencionó Ed Sim, socio general de Boldstart Ventures. Tanto él como otros participantes mostraron escaso interés en regular los laboratorios de IA.
"El fallo de la IA ahora será culpa de los usuarios"
Manoj Nair, director de tecnología e innovación de Snyk, señaló que las grandes empresas corrigen de media un fallo por cada ocho que detectan debido a la escasez de recursos humanos. No obstante, afirmó que era imprescindible que las personas delegaran parte de la búsqueda, corrección y supervisión de fallos a los agentes de IA. "Hay que llegar a un punto en el que se pueda arreglar todo, porque en la era del hacking mediante agentes, esas 10 cosas se convertirán en 100 antes de que te des cuenta". Más tarde añadió que la IA "no es una adversidad si se le da la vuelta y la conviertes en una fortaleza".
Algunas empresas están respondiendo al llamamiento a reforzarse. Bank of America anunció esta semana que había contratado a 1,000 trabajadores externos para subsanar los fallos descubiertos por la IA. Nair comentó que se enteró de que grandes corporaciones estaban dispuestas a cerrar temporalmente sus sistemas para dar prioridad a la corrección de las brechas de seguridad.
Anthropic y OpenAI han afirmado que esperan seguir informando sobre incidentes preocupantes detectados en sus propias pruebas. Sin embargo, los ingresos de las empresas siguen aumentando, ya sea gracias a los atacantes o a los defensores, ya que las consecuencias siguen sin ser evidentes.
Artículo originalmente publicado en WIRED.com. Adaptado por Alondra Flores.
