OpenAI implementará una sutil «marca de agua invisible» en los textos generados por ChatGPT para el mercado europeo

OpenAI incorporará una señal de identificación no perceptible en los textos producidos por ChatGPT y Codex dentro de la Unión Europea, en cumplimiento de las disposiciones de transparencia establecidas por la Ley de IA de la UE. La empresa comunicó que el despliegue iniciará en las próximas semanas para los usuarios que cumplan los requisitos, abarcando todas las suscripciones vigentes en la región.

En cuanto a los desarrolladores que hacen uso de la API de OpenAI, la funcionalidad estará disponible a partir de este lunes para ciertos modelos a nivel global, aunque permanecerá desactivada por defecto. La compañía dirigida por Sam Altman precisó que la señal de identificación no será activada automáticamente en todo el mundo durante su fase inicial.

“Nuestras soluciones ya permiten confirmar si una imagen o un archivo de audio fueron generados con nuestros modelos. Esta iniciativa se basa en esos esfuerzos para ayudar a la ciudadanía a reconocer cuándo un contenido podría haber sido creado o modificado por una IA de OpenAI”, señaló la empresa en un comunicado oficial.

Mecanismo de la señal de identificación de OpenAI

Según informó OpenAI, el procedimiento no inserta ningún símbolo visible en el texto. En su lugar, ajusta de forma sutil la selección léxica empleada por el modelo, generando un patrón imperceptible para el lector pero detectable mediante un analizador especializado.

Estamos ampliando nuestro enfoque de procedencia de contenido para incluir texto, en respuesta a los requisitos regulatorios de la UE, reconociendo las limitaciones actuales de la tecnología de marcas de agua en texto.

Nuestras herramientas ya facilitan la verificación de si una imagen o archivo de audio fueron creados con nuestra…

Al integrarse en las propias palabras, el patrón persiste cuando el contenido se copia y pega. De acuerdo con OpenAI, la señal no permite identificar al autor y su activación no provocó variaciones significativas en el desempeño de los modelos.

Con el anuncio, la empresa difundió un informe técnico sobre su método, denominado textGrain, elaborado en colaboración con investigadores de la Universidad de Pensilvania y Yale. El sistema emplea una clave secreta para ordenar las predicciones de la siguiente palabra y completar una oración. Al combinar cientos de estas sugerencias, el analizador puede inferir si un texto fue generado por IA utilizando únicamente el contenido y la clave.

¿Es posible suprimir la señal de identificación?

Las pruebas internas de OpenAI demuestran que el método pierde capacidad de detección cuando el texto es modificado. Concretamente, según una de las evaluaciones realizadas, al sustituir el 10 % de las palabras por sinónimos la tasa de detección descendió de aproximadamente el 92 % al 66 %. La compañía también indicó que los fragmentos breves, las respuestas numéricas y los textos traducidos resultan más difíciles de identificar.

“Estas limitaciones nos llevan a ofrecer acceso inicial al detector exclusivamente a investigadores y organizaciones expertas autorizadas, que puedan colaborar en la evaluación de su fiabilidad y usos responsables”, explicó el equipo técnico.

La señal de identificación invisible se incorporará al texto generado por ChatGPT y Codex para usuarios seleccionados en la Unión Europea.

OpenAI también puntualizó que la ausencia de una señal no constituye prueba de que un texto haya sido redactado por una persona. El contenido podría ser demasiado corto, haber sido editado extensamente o haber sido producido por el sistema de otro proveedor.

“Las señales pueden indicar que un modelo de OpenAI generó o procesó parte de un pasaje, pero no revelan el grado de intervención humana, edición o creatividad invertida en él”, afirmó la compañía.

OpenAI sigue la senda de Anthropic

El comunicado llega dos meses después de que Anthropic anunciara la incorporación de una señal de identificación al texto producido por Claude, aunque en ese caso la aplicación será a nivel mundial.

La medida suscitó críticas entre algunos usuarios de Claude, quienes cuestionaron la capacidad del sistema para reconocer textos generados con IA cuando, según ellos, aportaron “las instrucciones, el contexto y las decisiones”, mientras que Claude se limitó a ser “la herramienta”.

OpenAI había desarrollado previamente una tecnología de señal para textos, pero había pospuesto su puesta en marcha. Según informó The Wall Street Journal en 2024, una de las motivaciones era la preocupación de que los usuarios migraran a alternativas que no incluyeran este tipo de identificación.

Anthropic, Google, Meta, Microsoft y OpenAI forman parte de las empresas comprometidas a seguir el código de buenas prácticas de la UE sobre contenido generado por inteligencia artificial.

Fuente: Ambito.com