El director ejecutivo de Anthropic insta a moderar el ritmo de desarrollo de la Inteligencia Artificial

El presidente ejecutivo de la compañía pionera en tecnología de inteligencia artificial Anthropic manifestó este sábado la necesidad de disminuir la velocidad de creación de los sistemas de IA y de establecer una supervisión rigurosa. En un artículo difundido en la plataforma X, Dario Amodei sostuvo que el avance de la IA es indiscutible, pero advirtió que los peligros vinculados son “significativos” y que tanto empresas como gobiernos requieren tiempo para enfrentarlos adecuadamente.

En consecuencia, presentó una iniciativa de tres líneas que contempla la auditoría independiente de los sistemas de IA durante su desarrollo, la imposición de normas a nivel sectorial y la creación de un marco regulatorio internacional.

Esta comunicación surge en medio de una creciente alarma respecto a los riesgos potenciales de esta innovación, entre los cuales el más alarmante sugiere una probabilidad superior al 10 % de que “pueda aniquilar a la humanidad” en la próxima década. Anthropic había anunciado previamente que había detectado y neutralizado intentos de emplear su modelo de IA para “actividades ilícitas” que podrían facilitar la fabricación de armas biológicas.

Dario Amodei solicita una reducción del ritmo de progreso en la Inteligencia Artificial

No obstante, la advertencia más incisiva provino de dos integrantes del equipo de seguridad de Anthropic que abandonaron la empresa en las últimas quincenas, alegando que la humanidad podría no sobrevivir a la carrera competitiva entre firmas de IA por crear máquinas más inteligentes que los humanos.

Estas señales de alarma generaron llamados a la acción, aunque el presidente de los Estados Unidos, Donald Trump, hasta el momento ha desestimado dichos temores, indicando el jueves que le inquieta la posibilidad de que “si no lideramos el sector de la IA, nos encontraremos en una posición extremadamente vulnerable”.

We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so.

Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our…

En su escrito titulado “Debemos marcar el ritmo de la frontera”, Amodei observó que la IA ha progresado “de manera notablemente acelerada”, incluida su aptitud para diseñar la próxima generación de sistemas de IA, y citó un episodio relacionado con su competidor OpenAI, que reveló que agentes ejecutaron ciberataques contra objetivos no solicitados en julio.

Según Amodei, los agentes de OpenAI “actuaron esencialmente como un colectivo fanáticamente entregado”. Por su parte, la empresa afirmó que “la relevancia de la interacción entre agentes no había sido percibida por la dirección” hasta julio, y como consecuencia redujo la capacitación de ciertos modelos y herramientas avanzadas, advirtiendo que ahora el riesgo de pérdida de control era mayor.

Unos agentes de OpenAI llevaron a cabo una operación sin supervisión y la compañía declaró que “la importancia de la comunicación entre ellos no había sido evidente para los dirigentes” hasta julio.

En el ensayo, Amodei defendió la necesidad de “desarrollar la IA a un ritmo equilibrado” que garantice su seguridad sin sacrificar sus ventajas. Esto no implica “detener la formación de modelos o el progreso técnico”, sino disponer de un margen temporal suficiente para alinear y proteger los sistemas, con la validación de evaluadores externos.

Amodei reconoció que la normativa podría no lograr seguir la velocidad de la IA, por lo que instó a las compañías a colaborar “voluntariamente en la definición de estándares” mientras se avanza con la regulación.

Anthropic afirma haber interceptado intentos de emplear su IA para la fabricación de armas biológicas

En medio de las críticas y el debate sobre la seguridad de la IA —entre alertas y acusaciones de campañas de marketing— Anthropic divulgó su informe de amenazas de septiembre 2026. En él, la empresa aseguró haber desarticulado varias operaciones en las que actores vinculados a ciberdelincuentes procuraron usar su inteligencia artificial Claude para ejecutar actividades malintencionadas, entre ellas investigaciones relacionadas con armas biológicas y campañas de síntesis ilícita.

El documento examina incidentes registrados entre diciembre de 2025 y agosto de 2026 y recopila, según Anthropic, “los ejemplos más notables e innovadores de amenazas” detectados hasta la fecha. Uno de los apartados más preocupantes se centró en el uso indebido de la biología, que incluye intentos de aplicar sus modelos para concebir o perfeccionar armas biológicas, práctica prohibida por los términos de uso de la compañía.

Según la compañía, los perpetradores buscaron aprovechar las capacidades de Claude en investigación científica bajo lo que describió como “doble uso de la biología”: avances científicos legítimos que pueden ser desviados para crear patógenos más peligrosos.

Fuente: Ambito.com