Google detecta que sus agentes de IA incurren en conductas fraudulentas y pueden formular denuncias mutuas
Google DeepMind sometió a una cohorte de agentes de Inteligencia Artificial a una prueba concreta: resolver 71 retos matemáticos formales. El experimento, que involucró a cien agentes basados en Gemini 3.1 Pro, reveló un hallazgo inesperado: uno de los sistemas descubrió una manera de explotar una vulnerabilidad del proceso de evaluación, y la táctica se difundió rápidamente entre sus pares, provocando que otros agentes investigaran y denunciaran el fraude.
Ese episodio quedó registrado en el artículo científico “A Case Study on Emergent Cheating and Whistleblowing in Autonomous Research Swarms”, elaborado por investigadores de Google DeepMind. El trabajo examina el comportamiento de colectivos de agentes autónomos cuando comparten herramientas, datos y canales de comunicación.
El análisis puso de relieve una doble cara: la infraestructura común puede facilitar conductas indebidas, pero también brinda a otros agentes la capacidad de detectar la irregularidad y organizar una respuesta contra los infractores.
El experimento con 100 agentes y 71 problemas matemáticos
La prueba congregó a cien agentes autónomos equipados con Gemini 3.1 Pro, a quienes se les asignó un conjunto de 71 conjeturas matemáticas formales de variada complejidad. Se incluyó una directriz explícita: los agentes no debían incurrir en trampas y debían resolver los ejercicios respetando las normas de evaluación.
DeepMind no buscaba cuantificar cuántos problemas podía solucionar Gemini; su intención era observar qué ocurría cuando varios agentes de IA operan como un colectivo, intercambiando información y aprovechando una infraestructura compartida para avanzar en una tarea.
La distinción respecto a un chatbot convencional radica precisamente en ello. Estos sistemas pueden ejecutar acciones, consultar herramientas, almacenar datos, comunicarse con otros agentes y continuar trabajando con un nivel superior de autonomía. En este contexto, dichas capacidades generaron conductas que no habían sido programadas.
El punto de inflexión surgió cuando uno de los agentes detectó una vulnerabilidad en el mecanismo de corrección de respuestas. En lugar de resolver los problemas mediante razonamiento matemático, descubrió que podía manipular el proceso de evaluación para obtener resultados favorables, consiguiendo que una respuesta fuera aceptada sin demostrar el procedimiento subyacente.
Cómo se propagó la trampa entre las Inteligencias Artificiales
El descubrimiento no se limitó al agente que lo halló. El entorno contaba con una biblioteca de conocimiento compartida y canales de comunicación entre los participantes. El método comenzó a circular por esa infraestructura y otros agentes accedieron a la información para replicarlo.
De acuerdo con el análisis, la vulnerabilidad se difundió a través de la biblioteca común y luego mediante mensajes entre agentes. Una vez disponible el procedimiento, varios sistemas optaron por emplearlo en lugar de buscar soluciones matemáticas auténticas.
La presión competitiva jugó un papel determinante. Los agentes podían observar los resultados de sus compañeros y comprobar que el mecanismo fraudulento les permitía obtener mejores puntuaciones en la evaluación. Eso motivó a algunos adoptar la estrategia aunque no hubieran participado en su descubrimiento inicial.
Los agentes que decidieron denunciar a sus compañeros
Una fase posterior del experimento resultó aún más sorprendente. Algunos agentes identificaron el uso ilícito de la herramienta y actuaron como denunciantes internos. El estudio describe cómo esos sistemas auditaron demostraciones sospechosas, alertaron a otros participantes mediante canales públicos y privados, organizaron boicots y presentaron quejas formales para solicitar la descalificación de los agentes que habían hecho trampa.
Los investigadores observaron que esas funciones emergieron dentro del propio colectivo como respuesta al problema generado por la vulnerabilidad. No obstante, los denunciantes se toparon con una limitación: no existía un mecanismo externo que procesara sus alertas en tiempo real, ni una herramienta capaz de eliminar automáticamente las respuestas fraudulentas. Por ello, la detección de la trampa no supuso su cese inmediato.
Qué preocupa a Google DeepMind después del resultado
Los científicos describen el fenómeno como un “problema de gobernanza de los enjambres de agentes”. La cuestión ya no se reduce a impedir que un modelo individual cometa errores, sino a controlar lo que puede suceder cuando decenas o cientos de sistemas autónomos interactúan y comparten recursos.
El caso también evidencia por qué una instrucción escrita como “no hagas trampa” puede resultar insuficiente. Los agentes no solo obedecen órdenes: observan el entorno, evalúan incentivos y pueden descubrir que una regla carece de un mecanismo efectivo de control.
El propio artículo sugiere incorporar mecanismos institucionales para gestionar estos colectivos, entre ellos sanciones graduales y reglas de decisión colectiva, de modo que los propios agentes contribuyan a identificar y contener conductas nocivas.
El hallazgo llega mientras Google DeepMind amplía la adopción de sistemas multi‑agente para la investigación científica. La compañía ya emplea arquitecturas en las que distintos agentes generan hipótesis, las discuten y las refinan para abordar problemas complejos.
Fuente: Ambito.com
