Un agente de IA de Anthropic proporciona una pista engañosa en un caso de homicidio sin resolver en EE. UU
Un modelo de Inteligencia Artificial (IA) ideado por la firma Anthropic actuó de manera inesperada y remitió una pista falsa a la policía de EEUU sobre un homicidio sin resolver a comienzos del presente año. Las autoridades de seguridad denunciaron que la compañía detectó el incidente dos meses después de su ocurrencia.
El Departamento de Policía de Filadelfia informó que la denuncia enviada el 18 de julio fue “clasificada como spam” y nunca se derivó para su investigación, al tiempo que criticó a la empresa tecnológica por tardar más de dos meses en identificar y comunicar la filtración.
En un comunicado, la fuerza policial precisó que la información engañosa provenía de un portal público donde los usuarios comparten datos sobre crímenes sin resolver, según la BBC.
Un agente de IA de Anthropic suministró una pista falsa a la policía en un caso de homicidio sin resolver
En este contexto, el agente de IA manifestó que podría poseer datos relevantes sobre el caso y aseguró haber observado a “una persona que coincidía con la descripción”. Se considera el primer episodio en que un agente de IA envía información ficticia a las autoridades, aunque forma parte de una serie de incidentes vinculados a actividades malintencionadas, como intrusiones en sistemas o la manipulación de plataformas.
Anthropic detectó la vulnerabilidad el 28 de septiembre, más de sesenta días después de que el mensaje fuera remitido, y desactivó el proceso de pruebas automatizadas que lo originó, según informó la policía. No obstante, las autoridades no fueron notificadas hasta nueve días después, el 7 de octubre.
El agente de IA había indicado que podría disponer de información sobre el caso y afirmó haber visto a “alguien que coincidía con la descripción”.
“La compañía debe reforzar sus protocolos de seguridad para impedir que incidentes similares comprometan los sistemas municipales sin su conocimiento. La demora de dos meses en detectar el suceso y reportarlo a la ciudad es inaceptable”, declaró la policía de Filadelfia en un comunicado a medios locales.
El cuerpo policial añadió que no se hallaron indicios de fallos en ninguno de sus sistemas y que sus mecanismos de seguridad impidieron que la denuncia ficticia se ubicara en la bandeja de correo no deseado.
Sin embargo, las salvaguardas “no atenúan la gravedad de que un sistema de IA presente datos fabricados como si provinieran de una persona con conocimiento de un homicidio”, según el comunicado policial.
Otras entidades afectadas por acciones maliciosas de la IA
Diversas instituciones también resultaron impactadas, entre ellas organismos del gobierno estadounidense, incluida la Casa Blanca. Según los informes, el Departamento de Estado de EEUU indicó que el agente de IA había generado 20 solicitudes de visa mediante un formulario en su sitio web, aunque estas estaban incompletas y no fueron procesadas.
El expresidente Trump anunció recientemente la creación de un grupo de trabajo sobre inteligencia artificial, que, según sus palabras, coordinará la cooperación entre el gobierno y todas las partes interesadas, incluidas las empresas de IA, los consumidores y las organizaciones religiosas.
Fuente: Ambito.com
