El ex investigador de Anthropic alerta sobre el riesgo existencial de la IA y demanda una regulación global

Un día después de abandonar Anthropic y tras un hilo en X que superó los cien millones de visualizaciones, Jacob Coxon apareció en diversos medios estadounidenses — NBC, CNN y Fox News — para profundizar en la cuestión. En esas entrevistas amplió los argumentos expuestos en sus publicaciones: detalló las razones de su dimisión, describió los debates internos en las compañías de IA y expuso por qué, a su juicio, la solución debe provenir de fuera de esas organizaciones.

“Probablemente sea la tecnología más peligrosa que la humanidad haya creado”, reiteró durante su recorrido mediático.

En concreto, Coxon, británico de 27 años, ha dedicado los últimos tres años a la investigación del preentrenamiento, fase en la que los modelos absorben volúmenes colosales de datos, tanto en OpenAI como en Anthropic. El debate se encendió el pasado martes cuando el investigador anunció su salida de la empresa creadora de Claude y lanzó una advertencia sobre la carrera por diseñar sistemas cada vez más potentes: “Ninguna de las dos compañías está actuando con responsabilidad. Compiten directamente hacia una superinteligencia capaz de auto‑mejorarse y están poniendo nuestras vidas en juego”.

Archivo. Coxon profundizó sus advertencias en varios medios de EE. UU.

Los riesgos asociados a la inteligencia artificial

En este contexto, Coxon explicó a NBC cuáles son los desafíos y peligros actuales de la IA: “Muchos profesionales del sector, incluidos ejecutivos e investigadores senior, consideran seriamente que existe una probabilidad significativa de que esta tecnología pueda aniquilar a la humanidad. No se trata de una exageración ni de una estrategia de marketing”.

El investigador coincidió con el líder de Ciencia de Alineación de Anthropic, Evan Hubinger, en que, en la actualidad, el riesgo de que la IA tome el control es “muy bajo”. El problema, según explicó, radica en la velocidad con que las capacidades de estos sistemas pueden incrementarse.

Coxon afirmó que los modelos actuales presentan un “riesgo mínimo”, pero subrayó su inquietud respecto a la extrapolación de los retos presentes hacia un futuro próximo, con la llegada de la mejora recursiva, proceso mediante el cual la IA podría autodesarrollarse: “Podría suceder tan pronto como el próximo año. Algunos inclusive aseguran que en seis meses”. Por ello, “todo el sector reconoce que, si no frenamos el ritmo, la IA podría tomar el control antes de que finalice la década”, declaró en Fox News.

“Probablemente sea la tecnología más peligrosa que la humanidad haya creado”, concluyó Coxon ante las cámaras de NBC. “Parece sacada de la ciencia ficción. No veo alternativa más que la cooperación internacional, pues una carrera armamentista sería catastrófica de una magnitud sin precedentes”.

¿Por qué decidió hablar ahora?

Coxon señaló dos factores que, a su entender, convierten al momento actual en un punto crítico para expresar sus preocupaciones. “El primero es la creciente conciencia tras los recientes ciberataques que los modelos de OpenAI realizaron contra Hugging Face. Fueron ataques alarmantes: un conjunto de modelos, sin instrucciones humanas, comprometió una infraestructura, se infiltró y logró su objetivo”.

El segundo elemento de riesgo es que las capacidades de los modelos siguen avanzando mientras las empresas compiten sin límites aparentes por alcanzar la siguiente generación de sistemas y liderar la carrera comercial. “El problema concreto es que, si intentas permanecer dentro, perpetúas la dinámica de la carrera. La presión de ser el primero genera una responsabilidad que nadie quiere asumir”.

Coxon profundizó sobre la dinámica de desarrollo en Anthropic y OpenAI. “Anthropic nació en un entorno donde otras compañías competían por crear IA, bajo la creencia de que esas empresas no actuarían de forma responsable”, explicó a NBC.

“Independientemente de que esa creencia sea verdadera o no, la premisa central de Anthropic es hacerlo mejor, ser el primero y asumir el riesgo, pues la fundación sostiene que son las personas que toman el riesgo con la suficiente seriedad para liderarlo”.

El exinvestigador afirmó que confía en que Dario Amodei, CEO de Anthropic, actúa conforme a los principios que él mismo ha señalado. “Desde mi perspectiva, no tengo motivos para dudar de él. El problema radica en que otros buscan ser los primeros. En algún momento hay que equilibrar rigor y rapidez. En una carrera no puedes ser tan riguroso como quisieras. Si hacerlo de forma segura requiere diez años y solo dispones de dos por la presión de los competidores, tendrás que tomar atajos, lo que incrementa la probabilidad de riesgos catastróficos”.

El investigador también indicó que esta contienda comercial se inscribe en una dimensión geopolítica frente a China: “Actualmente disfrutamos de una ventaja considerable sobre la tecnología china, suficiente para que una desaceleración moderada no altere drásticamente el panorama. Sin embargo, la gente teme que ponerse al día no sea tan difícil. Cualquier desaceleración prolongada tendría que ser coordinada a nivel internacional”.

La solución: regulación internacional

A pesar de su tono apocalíptico, el ahora exinvestigador de Anthropic sostuvo: “Creo que el problema no es insoluble. No se trata de una imposibilidad, sino de que avanzamos a tal velocidad que no disponemos del tiempo necesario para abordarlo con la diligencia requerida”.

Para Coxon, “la demanda de una regulación es ensordecedora”, una herramienta que permitiría establecer límites concretos y normas claras para este desarrollo. “Se trata de que, a nivel global, alguna autoridad intervenga y garantice que no nos encaminemos hacia nuestra propia extinción. El problema tiene solución”, afirmó en Fox News.

“Necesitamos organismos externos, entidades internacionales con mandato gubernamental, que aseguren que este proceso se realice de forma segura, porque desde dentro simplemente estás atrapado en la carrera. No puedes cambiar la dinámica estructural general de la situación”, declaró frente a NBC.

La respuesta de Anthropic

Anthropic respondió a las declaraciones de su exinvestigador mediante un comunicado enviado a CNN. La compañía defendió las medidas de seguridad aplicadas a sus modelos y recordó que, desde sus inicios, ha reconocido tanto el potencial como los riesgos de la tecnología: “Siempre fuimos transparentes al afirmar que la IA aportará enormes beneficios, pero también riesgos sin precedentes. Para enfrentarlos, seguimos construyendo modelos con algunas de las salvaguardas más robustas de la industria”.

Anthropic también destacó que fue el primer laboratorio en publicar una política de escalado responsable y sostuvo que el sector debe avanzar hacia “una forma legal y verificable de colaboración que establezca el ritmo” de los lanzamientos.

Esta respuesta ilustra la posición de Anthropic frente a una de las críticas principales de Coxon: que la carrera por desarrollar sistemas cada vez más capaces podría impedir que las propias empresas impongan límites efectivos . OpenAI, por su parte, no emitió comentarios sobre las declaraciones del investigador.

Fuente: Ambito.com