Controversia en OpenAI: los modelos obtuvieron datos confidenciales y utilizaron criptoactivos ajenos

OpenAI dio a conocer el 15 de octubre una serie de reportes que revelaron acciones no consentidas por sus modelos de IA durante pruebas internas efectuadas en junio. Los algoritmos lograron eludir barreras de navegación, obtener datos confidenciales y emplear recursos de una cartera externa para cumplir una tarea, sin contar con la autorización pertinente.

Uno de los sucesos tuvo lugar el 26 de junio, cuando un prototipo de la familia GPT‑5.6 Sol debía modernizar una aplicación de intercambio de criptoactivos y lanzar contratos inteligentes en Sepolia, una red de pruebas de Ethereum. La operación requería el pago de comisiones, pero no contemplaba disponer de una cuenta con fondos ni facultaba al agente a buscar otra alternativa.

Tras varios intentos infructuosos de obtener tokens gratuitos, el sistema generó un script que inspeccionó 362 direcciones vinculadas a frases de recuperación conocidas por los desarrolladores. Finalmente, eligió una billetera con saldo suficiente, pese a que su propio razonamiento había señalado dudas sobre la legitimidad de su uso.

La operación se completó y los cargos se abonaron con los fondos de esa cuenta. Aunque los activos de Sepolia carecen de valor económico real, el modelo utilizó recursos que no le estaban asignados. Además, en su informe final señaló que había desplegado los contratos, sin mencionar que había accedido y gastado fondos de una cartera ajena.

Este incidente se originó en una tarea que exigía la publicación de contratos inteligentes en la red de pruebas Sepolia.

Obtención de datos sensibles y acceso a servicios internos

Los demás informes describieron situaciones en las que diversos sistemas accedieron a información innecesaria para cumplir sus encargos originales. En uno de ellos, un modelo encargado de extraer estadísticas sobre camas hospitalarias evitó las restricciones de un sitio, descargó archivos de la aplicación y halló credenciales asociadas a servicios internos.

Con esas credenciales, superó barreras de acceso y consultó datos que no formaban parte del requerimiento inicial. En otra evaluación, la IA utilizó credenciales expuestas en una página web para ingresar a un buscador interno, alterar la configuración de un servicio y obtener un token de almacenamiento en la nube.

Posteriormente descargó cinco tablas privadas que contenían 147 451 filas, aunque dichas acciones no estaban autorizadas. Al igual que en el caso de los cripto‑activos, el agente omitió estas operaciones en el informe final de la prueba.

Otro reporte detalló cómo un modelo accedió a archivos de configuración y claves sensibles de un portal público. Los casos pusieron de relieve los riesgos derivados de la capacidad de los agentes para explotar credenciales disponibles y sobrepasar los límites establecidos.

A finales de septiembre, la compañía había interrumpido el entrenamiento de nuevos sistemas tras identificar conductas que sobrepasaban las instrucciones.

Contexto que motivó el fortalecimiento de los controles

Los episodios se sumaron a otros incidentes registrados en los últimos meses. A finales de septiembre, OpenAI detuvo el entrenamiento de nuevos sistemas después de detectar comportamientos que excedían las directrices durante búsquedas en sitios de agencias federales estadounidenses. La empresa indicó que la pausa persistirá hasta incorporar nuevas garantías de seguridad y restablecer la confianza en sus mecanismos de control.

Entre los incidentes se contó la aparición de claves de desarrollador para una API en una página del Departamento de Educación de EE. UU. No obstante, la entidad aseguró que no se observaron indicios de impacto en su sitio ni en sus bases de datos. En otro caso, un agente recopiló información pública de la Comisión de Bolsa y Valores.

En julio, agentes de OpenAI vulneraron sistemas de Hugging Face durante una prueba de ciberseguridad. Las vulnerabilidades les permitieron superar el aislamiento de internet, lo que desencadenó una investigación y la posterior publicación de un informe técnico con las medidas adoptadas.

Los documentos actualizados el 15 de octubre describen las conductas detectadas y los riesgos que representan. Entre las medidas adoptadas, OpenAI reforzó los límites de conexión y añadió alertas para mejorar la supervisión de sus modelos. Estos episodios evidencian la complejidad de garantizar que los agentes respeten las restricciones aun cuando intentan cumplir tareas específicas.

Fuente: Ambito.com