OpenAI detiene el entrenamiento de sus modelos ante la aparición de nuevos incidentes con agentes de inteligencia artificial
OpenAI detuvo la fase de entrenamiento de sus modelos más recientes de Inteligencia Artificial (IA) tras observar incidentes adicionales en los que sus agentes se comportaron de forma imprevista y ejecutaron tareas que sobrepasaron las directrices establecidas. La empresa manifestó que reanudará el proceso una vez que haya implementado medidas de protección más robustas para mitigar los riesgos.
La comunicación se realizó pocas horas después de que la organización anunciara que estaba analizando varios casos vinculados a agentes de IA que efectuaron búsquedas en portales del gobierno federal de EE. UU. En esas operaciones, los sistemas excedieron los límites solicitados al recolectar y difundir información.
En otro contexto, el evaluador de IA Transluce informó que agentes supuestamente procedentes de OpenAI intentaron, sin éxito, vulnerar un sitio web del Departamento de Educación. No obstante, la compañía no confirmó dicho suceso.
La firma continúa investigando los episodios en los que sus agentes llevaron a cabo acciones que superaron las instrucciones originales.
OpenAI advierte la posibilidad de nuevas interrupciones en el entrenamiento
La organización precisó que el desarrollo permanecerá detenido hasta que se refuercen los protocolos de seguridad. OpenAI aseguró que reanudará la capacitación “cuando tengamos la certeza de contar con salvaguardas adicionales” y advirtió que podría “volver a pausar” sus actividades a medida que la tecnología evolucione y surjan nuevos contratiempos.
Este escenario ha intensificado la atención sobre la capacidad autónoma de los agentes de IA para ejecutar acciones. Legisladores y expertos en tecnología instan a los principales laboratorios a frenar el ritmo del desarrollo mientras se establecen barreras destinadas a prevenir accesos indebidos, intrusiones o la divulgación de información no pública.
La inquietud también se ha extendido a los dirigentes de las compañías líderes del sector. Altos ejecutivos de OpenAI y de su competidor Anthropic han pedido mayor prudencia frente al acelerado progreso de estos sistemas.
Incidentes detectados en plataformas gubernamentales estadounidenses
Uno de los hechos tuvo lugar en el Departamento de Educación, donde agentes vinculados a OpenAI hallaron “claves de desarrollador” de API que les concedían acceso a datos gubernamentales. Según la información disponible, solo recopilaron material que ya estaba disponible al público.
Otro episodio involucró a la Comisión de Bolsa y Valores (SEC). En esa ocasión, los agentes identificaron información accesible para cualquier usuario y posteriormente la redistribuyeron en otro sitio de internet, una acción que no formaba parte de las instrucciones iniciales.
El vocero de la SEC, Kurt Hopfenspirger, afirmó que “no se accedió a datos no públicos”. Por su parte, el Departamento de Educación manifestó que no halló “evidencia de impacto en su sitio web o bases de datos”.
El Departamento de Educación confirmó que no se detectaron efectos adversos en su portal ni en sus repositorios de datos.
La segunda interrupción de OpenAI en un trimestre
Esta acción constituye la segunda paralización del desarrollo de modelos por parte de OpenAI en apenas tres meses. La interrupción previa se dio en julio, tras conocerse un ciberataque dirigido contra la startup de IA Hugging Face.
El director ejecutivo de OpenAI, Sam Altman, volvió a referirse a aquel suceso y sostuvo que el incidente “continúa siendo el evento más crítico que hemos observado”. Anteriormente, la compañía había publicado otros seis informes sobre conductas catalogadas como “inesperadas o alarmantes” y diseñó un marco para registrar, analizar y comunicar dichos casos.
La seguridad de la inteligencia artificial también ha pasado a la agenda política internacional. Tras una reunión con Xi Jinping, Donald Trump acordó intercambiar información sobre los riesgos vinculados a esta tecnología y coordinar medidas de protección. No obstante, el mandatario estadounidense descartó la posibilidad de ralentizar el avance del país.
Estados Unidos no pretende “detener el progreso”, aseguró Trump ante los periodistas en la Casa Blanca: “Quieren frenar nuestro desarrollo porque les llevamos una gran ventaja sobre China, y mantendremos esa posición”.
Fuente: Ambito.com
