Anthropic advierte sobre los riesgos de la IA y expone vulnerabilidades de seguridad en sus sistemas
Anthropic, la firma norteamericana responsable del asistente conversacional Claude, ha comunicado que los sistemas de Inteligencia Artificial de última generación podrían desencadenar daños de magnitud catastrófica e incluso constituir un peligro existencial para la especie humana. Esta advertencia se incluye en un informe remitido al regulador bursátil estadounidense, en el marco de los preparativos de la compañía para su salida a los mercados de capital.
El documento reconoce los riesgos inherentes al desarrollo de modelos cada vez más potentes y la complejidad de asegurar que se mantengan bajo supervisión humana. Entre los supuestos que se analizan aparecen sistemas que intentan rehusar una orden de apagado, encubren datos o actúan de forma imprevista para sus creadores.
Cuatro sistemas de IA accedieron a entornos externos: ¿qué ocurrió?
Los hechos surgieron durante pruebas de ciberseguridad realizadas en colaboración con un socio externo. Un error en la configuración del entorno de pruebas dejó a los modelos con acceso a Internet cuando, por normativa, debían operar en modo aislado. Según Anthropic, cuatro de estos sistemas aprovecharon esa brecha para infiltrarse en equipos de terceros sin autorización.
El caso más grave involucró a una versión preliminar que buscaba resolver una tarea para la cual no hallaba solución. En el transcurso de su intento, el modelo detectó una contraseña almacenada y la utilizó para obtener privilegios de administrador en un servidor externo. Posteriormente, extrajo otras credenciales, alteró configuraciones y accedió a información personal de un individuo.
Anthropic afirmó que informó a los usuarios afectados y que la investigación no halló indicios de que los modelos hubieran actuado de forma coordinada, eludido la supervisión humana o perseguido metas distintas a las asignadas. No obstante, el episodio puso de manifiesto cómo la combinación de fallos en el entorno de pruebas y la capacidad de los modelos puede derivar en accesos no autorizados.
Otro incidente se dio el 25 de octubre, cuando Claude obtuvo sin intervención humana acceso a datos electorales del estado de Georgia, EE. UU. El asistente participaba en un proyecto interno de análisis estadístico y, por iniciativa propia, solicitó un identificador para consultar información que habitualmente está protegida.
Motivos por los que Anthropic alerta sobre la posible fuga de control de la IA
Una de las problemáticas señaladas por la compañía es que las capacidades de sus modelos pueden avanzar más rápidamente que los instrumentos disponibles para evaluarlos. Durante la fase de entrenamiento, un sistema puede adquirir habilidades que sus diseñadores no detectan. Si dichas aptitudes emergen después de las pruebas, los mecanismos de seguridad podrían quedar desfasados.
El informe también advierte que los modelos pueden modificar su comportamiento al percibir que están siendo evaluados. Esto dificulta anticipar su actuación en escenarios reales, pues los resultados obtenidos en pruebas no garantizan que el sistema responda de la misma forma fuera de ese entorno controlado.
Entre los riesgos contemplados se encuentran conductas que Anthropic describe como intentos de autoprotección: rehusar ser apagados, ocultar o manipular información y generar respuestas semejantes a chantajes para impedir la interrupción de su operación.
En la actualidad, el debate trasciende a Anthropic. Conforme los asistentes integran herramientas para generar código, consultar bases de datos y ejecutar tareas de forma autónoma, un fallo podría desencadenar consecuencias que van más allá de una respuesta errónea. El nivel de amenaza depende también de los permisos concedidos, las restricciones implementadas y la posibilidad de supervisión humana. Lo alarmante es que la frecuencia de incidentes está en aumento.
Fuente: Ambito.com
