Blog

OpenAI desplegó un sistema de marca de agua (watermarking) para texto generado por modelos de lenguaje, pero la implementación levantó señales de alerta entre expertos en regulación de IA: la solución está lejos de ser inviolable y plantea interrogantes sobre su valor real como herramienta de cumplimiento normativo.

El watermarking de texto consiste en incrustar señales estadísticas en las salidas de un modelo de lenguaje grande (LLM), de modo que un detector pueda identificar con cierta probabilidad si un fragmento de texto fue generado por IA. A diferencia del watermarking en imágenes o audio —donde se modifica un archivo binario—, en texto el proceso opera sobre la distribución de probabilidades de los tokens: el modelo ajusta sutilmente qué palabras elige, creando un patrón no visible para el ojo humano pero detectable algorítmicamente. OpenAI, según se informó, integró una variante de este mecanismo en sus APIs de generación de texto.

Por qué la industria lo califica de insuficiente

El problema central no es técnico, es de robustez. Los sistemas de watermarking de texto actuales son vulnerables a ataques simples: reescribir el fragmento con otra herramienta de IA, traducirlo y retro-traducirlo, o incluso hacer pequeñas ediciones manuales puede borrar la señal sin afectar el contenido del mensaje. Investigadores de universidades como Maryland y Stanford han demostrado en los últimos dos años que ningún esquema de watermarking textual existente es a la vez indetectable para el usuario, robusto frente a manipulaciones y verificable sin acceso al modelo original. Es lo que el campo llama el trilema del watermarking. Que una empresa del tamaño de OpenAI lance una implementación sin resolver ese trilema —y sin publicar el diseño técnico completo para escrutinio externo— genera desconfianza justificada en la comunidad regulatoria.

Cuándo aplica y cuándo NO como herramienta de cumplimiento

El watermarking de texto tiene utilidad real en escenarios acotados: detectar abuso masivo y automatizado de las APIs del propio proveedor (fraude a escala industrial, spam de contenido), hacer auditorías internas donde el sistema de detección y el de generación pertenecen al mismo operador, o generar evidencia forense en litigios cuando el atacante no tuvo incentivo ni capacidad para manipular el texto. Lo que no puede hacer —y aquí está el malentendido regulatorio más peligroso— es funcionar como garantía de cumplimiento en entornos adversariales: si un actor malicioso sabe que el texto está marcado, puede borrarlo. Tampoco sirve como control de calidad para identificar texto de IA en contextos de alto riesgo como evaluaciones académicas, procesos judiciales o información médica, donde el costo de un falso negativo es inaceptable.

El AI Act europeo y la obligación de revelación que cambia el juego

El Reglamento de Inteligencia Artificial de la Unión Europea (AI Act, Reglamento UE 2024/1689) establece en su artículo 50 una obligación explícita para los proveedores de sistemas de IA generativa: garantizar que los outputs generados artificialmente sean marcables de forma técnicamente robusta y detectable por herramientas automatizadas. La formulación europea es más exigente que una implementación voluntaria y parcial —incluye texto, imágenes, audio y video— y aplica a modelos de propósito general con impacto sistémico. El plazo de aplicación escalonado llega a su fase plena en agosto de 2026 para los modelos de mayor riesgo. El anuncio de OpenAI podría leerse como un movimiento anticipatorio para alinearse con esa exigencia, aunque los detalles técnicos disponibles no permiten confirmar que la implementación cumple el estándar europeo de “detección técnicamente robusta”.

América Latina: sin obligación de marca de agua, con exposición igual o mayor

Ningún país de América Latina tiene hoy una norma equivalente al artículo 50 del AI Act que obligue a los proveedores de LLMs a implementar watermarking. Brasil avanza con el Projeto de Lei 2338/2023 de regulación de IA, que en su texto actual establece principios de transparencia algorítmica pero no prescribe mecanismos técnicos específicos como el marcado de salidas. México, Argentina y Colombia tampoco cuentan con regulación sectorial que lo exija. Sin embargo, la exposición al problema es concreta: contenido generado por IA circula masivamente en campañas electorales, plataformas de desinformación y procesos académicos en toda la región, sin que existan controles técnicos mínimos ni autoridades con capacidad técnica para auditar proveedores extranjeros. La brecha no es regulatoria solamente —es también de capacidad institucional para exigir cumplimiento a empresas que operan desde fuera de la jurisdicción.

Para los equipos jurídicos y de compliance que evalúan riesgos asociados al uso de IA generativa en sus organizaciones, el punto operativo más inmediato es este: no traten el watermarking como un control de riesgo suficiente en ningún proceso donde la autenticidad del texto tenga consecuencias legales o reputacionales. Si la política interna de uso de IA requiere trazabilidad del origen de los contenidos, el watermarking de proveedor puede ser una capa adicional, pero no la única. Los metadatos de auditoría, los logs de uso de API y los procesos de revisión humana siguen siendo el núcleo de cualquier framework de gobernanza de IA que resista un escrutinio externo.

La marca de agua que se borra con un copia-pega y un segundo modelo no es cumplimiento normativo: es su apariencia.

Los sistemas de inteligencia artificial de frontera procesan volúmenes crecientes de datos personales, pero no existe aún un estándar consolidado para medir cuán bien —o cuán mal— los gestionan. El Future of Privacy Forum (FPF) publicó un análisis que plantea la ausencia de benchmarks de privacidad como un problema estructural del desarrollo de IA, no como una deuda técnica menor.

Un benchmark, en el contexto de los modelos de IA, es un conjunto estandarizado de pruebas que permite comparar el desempeño de distintos sistemas bajo condiciones equivalentes. Existen benchmarks consolidados para capacidades como razonamiento matemático, comprensión lectora o generación de código. Para privacidad, en cambio, la práctica es fragmentaria: cada laboratorio evalúa lo que considera relevante, con criterios propios, lo que impide comparaciones significativas entre modelos o versiones.

Por qué la falta de benchmarks de privacidad no es un detalle técnico

Un modelo de lenguaje de gran escala puede memorizar fragmentos de sus datos de entrenamiento y reproducirlos ante consultas específicas. Puede inferir atributos sensibles —condición de salud, orientación sexual, situación financiera— a partir de información aparentemente inocua. Puede ser utilizado como vector para extraer datos personales de terceros que interactúan con el sistema. Ninguno de estos riesgos es hipotético: son comportamientos documentados en la literatura académica. El problema, según el FPF, es que sin métricas estandarizadas no hay forma de saber si un modelo mejora, empeora o simplemente desplaza esos riesgos de una capa a otra entre versión y versión.

La ausencia de benchmarks también debilita la rendición de cuentas regulatoria. Cuando una autoridad de control pregunta si un sistema de IA cumple con el principio de minimización de datos o con la obligación de no retener información personal más allá de lo necesario, la respuesta hoy es mayormente narrativa, no cuantificable. Eso convierte la evaluación de conformidad en un ejercicio retórico.

Qué debería medir un benchmark de privacidad en IA: tres dimensiones críticas

El análisis del FPF sugiere que cualquier framework de evaluación creíble debería operar al menos en tres planos distintos:

• Riesgo de memorización y extracción: capacidad del modelo para reproducir datos personales presentes en el corpus de entrenamiento ante prompts diseñados para elicitarlos.
• Inferencia de atributos sensibles: hasta qué punto el sistema puede derivar información protegida —categorías especiales de datos, en términos del RGPD o de legislaciones latinoamericanas equivalentes— a partir de inputs no sensibles.
• Comportamiento en despliegue: cómo el modelo gestiona datos personales en tiempo real durante interacciones con usuarios, incluyendo si retiene, reutiliza o transmite esa información a capas del sistema no declaradas.

Estas dimensiones no son independientes: un modelo puede rendir bien en memorización y mal en inferencia, o viceversa. Por eso el FPF argumenta que los benchmarks deben ser multidimensionales y no colapsar la privacidad en un único puntaje.

Cuándo aplica este enfoque y cuándo no

El argumento del FPF aplica con mayor fuerza a los llamados modelos de frontera: sistemas de gran escala, de uso general, entrenados con datos masivos y desplegados en contextos donde procesan información de millones de personas. Para modelos más acotados —entrenados con datos propios, sin acceso a internet, en entornos cerrados— el riesgo de memorización y extracción es estructuralmente menor, aunque no desaparece. El marco tampoco resuelve por sí solo el problema de la privacidad diferencial en entrenamiento, que requiere decisiones de diseño previas al benchmark, no evaluables a posteriori.

El vacío regulatorio en América Latina se amplifica sin métricas

Brasil, Argentina, México, Colombia y Chile cuentan con legislaciones de protección de datos personales que imponen obligaciones sobre el tratamiento automatizado de información. La Lei Geral de Proteção de Dados brasileña (LGPD) reconoce el derecho a revisión de decisiones automatizadas y exige transparencia sobre la lógica aplicada. La Ley 25.326 argentina —cuya reforma lleva años pendiente en el Congreso— y la Ley Federal de Protección de Datos Personales en Posesión de los Particulares (LFPDPPP) de México también establecen principios de finalidad y proporcionalidad que aplican al tratamiento por sistemas de IA. El problema es que ninguna de estas normas define cómo demostrar el cumplimiento cuando el agente que trata los datos es un modelo de lenguaje. Sin benchmarks reconocidos, las empresas que despliegan IA en la región pueden afirmar conformidad sin posibilidad real de verificación independiente.

La Autoridad Nacional de Protección de Datos de Brasil (ANPD) y la Agencia de Acceso a la Información Pública de Argentina (AAIP) han iniciado consultas sobre IA, pero ninguna ha emitido aún guías técnicas sobre evaluación de privacidad en modelos de lenguaje. En ese vacío, la iniciativa de estandarización que propone el FPF podría funcionar como referencia para reguladores que necesitan criterios operativos antes de que los primeros casos lleguen a sus despachos.

Lo que hace medible la gobernanza también la hace exigible

El título del documento del FPF —”lo que se mide se gobierna”— no es un slogan vacío. En la historia de la regulación tecnológica, los estándares técnicos han precedido o acompañado a las normas jurídicas con mayor frecuencia que lo contrario. Los requisitos de auditoría del AI Act europeo, por ejemplo, asumen implícitamente la existencia de metodologías de evaluación comparables. Sin esa infraestructura de medición, la regulación opera sobre declaraciones de intención, no sobre evidencia.

El documento completo del Future of Privacy Forum está disponible en fpf.org y constituye una referencia de trabajo para equipos legales, de producto y de gobernanza que ya están evaluando —o deberían estar evaluando— el comportamiento de los modelos que despliegan.