Etiqueta: Ai Privacy

OpenAI desplegó un sistema de marca de agua (watermarking) para texto generado por modelos de lenguaje, pero la implementación levantó señales de alerta entre expertos en regulación de IA: la solución está lejos de ser inviolable y plantea interrogantes sobre su valor real como herramienta de cumplimiento normativo.

El watermarking de texto consiste en incrustar señales estadísticas en las salidas de un modelo de lenguaje grande (LLM), de modo que un detector pueda identificar con cierta probabilidad si un fragmento de texto fue generado por IA. A diferencia del watermarking en imágenes o audio —donde se modifica un archivo binario—, en texto el proceso opera sobre la distribución de probabilidades de los tokens: el modelo ajusta sutilmente qué palabras elige, creando un patrón no visible para el ojo humano pero detectable algorítmicamente. OpenAI, según se informó, integró una variante de este mecanismo en sus APIs de generación de texto.

Por qué la industria lo califica de insuficiente

El problema central no es técnico, es de robustez. Los sistemas de watermarking de texto actuales son vulnerables a ataques simples: reescribir el fragmento con otra herramienta de IA, traducirlo y retro-traducirlo, o incluso hacer pequeñas ediciones manuales puede borrar la señal sin afectar el contenido del mensaje. Investigadores de universidades como Maryland y Stanford han demostrado en los últimos dos años que ningún esquema de watermarking textual existente es a la vez indetectable para el usuario, robusto frente a manipulaciones y verificable sin acceso al modelo original. Es lo que el campo llama el trilema del watermarking. Que una empresa del tamaño de OpenAI lance una implementación sin resolver ese trilema —y sin publicar el diseño técnico completo para escrutinio externo— genera desconfianza justificada en la comunidad regulatoria.

Cuándo aplica y cuándo NO como herramienta de cumplimiento

El watermarking de texto tiene utilidad real en escenarios acotados: detectar abuso masivo y automatizado de las APIs del propio proveedor (fraude a escala industrial, spam de contenido), hacer auditorías internas donde el sistema de detección y el de generación pertenecen al mismo operador, o generar evidencia forense en litigios cuando el atacante no tuvo incentivo ni capacidad para manipular el texto. Lo que no puede hacer —y aquí está el malentendido regulatorio más peligroso— es funcionar como garantía de cumplimiento en entornos adversariales: si un actor malicioso sabe que el texto está marcado, puede borrarlo. Tampoco sirve como control de calidad para identificar texto de IA en contextos de alto riesgo como evaluaciones académicas, procesos judiciales o información médica, donde el costo de un falso negativo es inaceptable.

El AI Act europeo y la obligación de revelación que cambia el juego

El Reglamento de Inteligencia Artificial de la Unión Europea (AI Act, Reglamento UE 2024/1689) establece en su artículo 50 una obligación explícita para los proveedores de sistemas de IA generativa: garantizar que los outputs generados artificialmente sean marcables de forma técnicamente robusta y detectable por herramientas automatizadas. La formulación europea es más exigente que una implementación voluntaria y parcial —incluye texto, imágenes, audio y video— y aplica a modelos de propósito general con impacto sistémico. El plazo de aplicación escalonado llega a su fase plena en agosto de 2026 para los modelos de mayor riesgo. El anuncio de OpenAI podría leerse como un movimiento anticipatorio para alinearse con esa exigencia, aunque los detalles técnicos disponibles no permiten confirmar que la implementación cumple el estándar europeo de “detección técnicamente robusta”.

América Latina: sin obligación de marca de agua, con exposición igual o mayor

Ningún país de América Latina tiene hoy una norma equivalente al artículo 50 del AI Act que obligue a los proveedores de LLMs a implementar watermarking. Brasil avanza con el Projeto de Lei 2338/2023 de regulación de IA, que en su texto actual establece principios de transparencia algorítmica pero no prescribe mecanismos técnicos específicos como el marcado de salidas. México, Argentina y Colombia tampoco cuentan con regulación sectorial que lo exija. Sin embargo, la exposición al problema es concreta: contenido generado por IA circula masivamente en campañas electorales, plataformas de desinformación y procesos académicos en toda la región, sin que existan controles técnicos mínimos ni autoridades con capacidad técnica para auditar proveedores extranjeros. La brecha no es regulatoria solamente —es también de capacidad institucional para exigir cumplimiento a empresas que operan desde fuera de la jurisdicción.

Para los equipos jurídicos y de compliance que evalúan riesgos asociados al uso de IA generativa en sus organizaciones, el punto operativo más inmediato es este: no traten el watermarking como un control de riesgo suficiente en ningún proceso donde la autenticidad del texto tenga consecuencias legales o reputacionales. Si la política interna de uso de IA requiere trazabilidad del origen de los contenidos, el watermarking de proveedor puede ser una capa adicional, pero no la única. Los metadatos de auditoría, los logs de uso de API y los procesos de revisión humana siguen siendo el núcleo de cualquier framework de gobernanza de IA que resista un escrutinio externo.

La marca de agua que se borra con un copia-pega y un segundo modelo no es cumplimiento normativo: es su apariencia.

Los sistemas de inteligencia artificial de frontera procesan volúmenes crecientes de datos personales, pero no existe aún un estándar consolidado para medir cuán bien —o cuán mal— los gestionan. El Future of Privacy Forum (FPF) publicó un análisis que plantea la ausencia de benchmarks de privacidad como un problema estructural del desarrollo de IA, no como una deuda técnica menor.

Un benchmark, en el contexto de los modelos de IA, es un conjunto estandarizado de pruebas que permite comparar el desempeño de distintos sistemas bajo condiciones equivalentes. Existen benchmarks consolidados para capacidades como razonamiento matemático, comprensión lectora o generación de código. Para privacidad, en cambio, la práctica es fragmentaria: cada laboratorio evalúa lo que considera relevante, con criterios propios, lo que impide comparaciones significativas entre modelos o versiones.

Por qué la falta de benchmarks de privacidad no es un detalle técnico

Un modelo de lenguaje de gran escala puede memorizar fragmentos de sus datos de entrenamiento y reproducirlos ante consultas específicas. Puede inferir atributos sensibles —condición de salud, orientación sexual, situación financiera— a partir de información aparentemente inocua. Puede ser utilizado como vector para extraer datos personales de terceros que interactúan con el sistema. Ninguno de estos riesgos es hipotético: son comportamientos documentados en la literatura académica. El problema, según el FPF, es que sin métricas estandarizadas no hay forma de saber si un modelo mejora, empeora o simplemente desplaza esos riesgos de una capa a otra entre versión y versión.

La ausencia de benchmarks también debilita la rendición de cuentas regulatoria. Cuando una autoridad de control pregunta si un sistema de IA cumple con el principio de minimización de datos o con la obligación de no retener información personal más allá de lo necesario, la respuesta hoy es mayormente narrativa, no cuantificable. Eso convierte la evaluación de conformidad en un ejercicio retórico.

Qué debería medir un benchmark de privacidad en IA: tres dimensiones críticas

El análisis del FPF sugiere que cualquier framework de evaluación creíble debería operar al menos en tres planos distintos:

• Riesgo de memorización y extracción: capacidad del modelo para reproducir datos personales presentes en el corpus de entrenamiento ante prompts diseñados para elicitarlos.
• Inferencia de atributos sensibles: hasta qué punto el sistema puede derivar información protegida —categorías especiales de datos, en términos del RGPD o de legislaciones latinoamericanas equivalentes— a partir de inputs no sensibles.
• Comportamiento en despliegue: cómo el modelo gestiona datos personales en tiempo real durante interacciones con usuarios, incluyendo si retiene, reutiliza o transmite esa información a capas del sistema no declaradas.

Estas dimensiones no son independientes: un modelo puede rendir bien en memorización y mal en inferencia, o viceversa. Por eso el FPF argumenta que los benchmarks deben ser multidimensionales y no colapsar la privacidad en un único puntaje.

Cuándo aplica este enfoque y cuándo no

El argumento del FPF aplica con mayor fuerza a los llamados modelos de frontera: sistemas de gran escala, de uso general, entrenados con datos masivos y desplegados en contextos donde procesan información de millones de personas. Para modelos más acotados —entrenados con datos propios, sin acceso a internet, en entornos cerrados— el riesgo de memorización y extracción es estructuralmente menor, aunque no desaparece. El marco tampoco resuelve por sí solo el problema de la privacidad diferencial en entrenamiento, que requiere decisiones de diseño previas al benchmark, no evaluables a posteriori.

El vacío regulatorio en América Latina se amplifica sin métricas

Brasil, Argentina, México, Colombia y Chile cuentan con legislaciones de protección de datos personales que imponen obligaciones sobre el tratamiento automatizado de información. La Lei Geral de Proteção de Dados brasileña (LGPD) reconoce el derecho a revisión de decisiones automatizadas y exige transparencia sobre la lógica aplicada. La Ley 25.326 argentina —cuya reforma lleva años pendiente en el Congreso— y la Ley Federal de Protección de Datos Personales en Posesión de los Particulares (LFPDPPP) de México también establecen principios de finalidad y proporcionalidad que aplican al tratamiento por sistemas de IA. El problema es que ninguna de estas normas define cómo demostrar el cumplimiento cuando el agente que trata los datos es un modelo de lenguaje. Sin benchmarks reconocidos, las empresas que despliegan IA en la región pueden afirmar conformidad sin posibilidad real de verificación independiente.

La Autoridad Nacional de Protección de Datos de Brasil (ANPD) y la Agencia de Acceso a la Información Pública de Argentina (AAIP) han iniciado consultas sobre IA, pero ninguna ha emitido aún guías técnicas sobre evaluación de privacidad en modelos de lenguaje. En ese vacío, la iniciativa de estandarización que propone el FPF podría funcionar como referencia para reguladores que necesitan criterios operativos antes de que los primeros casos lleguen a sus despachos.

Lo que hace medible la gobernanza también la hace exigible

El título del documento del FPF —”lo que se mide se gobierna”— no es un slogan vacío. En la historia de la regulación tecnológica, los estándares técnicos han precedido o acompañado a las normas jurídicas con mayor frecuencia que lo contrario. Los requisitos de auditoría del AI Act europeo, por ejemplo, asumen implícitamente la existencia de metodologías de evaluación comparables. Sin esa infraestructura de medición, la regulación opera sobre declaraciones de intención, no sobre evidencia.

El documento completo del Future of Privacy Forum está disponible en fpf.org y constituye una referencia de trabajo para equipos legales, de producto y de gobernanza que ya están evaluando —o deberían estar evaluando— el comportamiento de los modelos que despliegan.

La inteligencia artificial generativa está permitiendo que departamentos jurídicos internos absorban trabajo que antes delegaban a estudios externos. El caso de Alturas Capital Partners —una firma de inversión inmobiliaria que redujo drásticamente su dependencia de abogados externos para contratos de arrendamiento— ilustra una tendencia que replantea la cadena de valor del asesoramiento legal.

Durante décadas, los departamentos de legal in-house operaron como coordinadores: definían la estrategia, priorizaban los asuntos y derivaban el trabajo voluminoso —revisión de contratos, due diligence, investigación jurídica— a estudios especializados. Ese modelo asumía una asimetría de capacidades: los externos tenían el músculo procesal, las horas facturables y los especialistas. La IA generativa está erosionando esa asimetría de forma sistemática.

Alturas Capital Partners: el contrato de arrendamiento como caso de prueba

Según se informó en MIT Sloan Management Review, Alturas Capital Partners reorientó su flujo de trabajo de lease review hacia herramientas de IA generativa, lo que le permitió internalizar tareas que antes externalizaba y ahorrar cientos de miles de dólares en honorarios a estudios externos. El tiempo de ciclo de esas operaciones —que antes se estancaba durante días en colas de trabajo externo— se comprimió de forma significativa. No se trata de un caso aislado: es el prototipo del cliente que ya no necesita al estudio para cierto tipo de trabajo.

La pregunta que ese desplazamiento plantea no es tecnológica sino estratégica: si un cliente puede automatizar la revisión de contratos estándar, ¿qué le queda al estudio externo para ofrecer? La respuesta incorrecta es “bajar precios”. La respuesta que emerge de los análisis del sector es “subir en la cadena de valor”: pasar de la ejecución repetitiva al juicio experto, la gestión de riesgo complejo y la representación litigiosa donde la IA aún no puede sustituir al profesional.

Qué trabajo resiste la automatización y qué ya no

La distinción operativa más útil para un estudio jurídico hoy es la que separa el trabajo de volumen del trabajo de juicio. El trabajo de volumen —revisión de contratos estandarizados, extracción de cláusulas, checklists de due diligence, research de jurisprudencia conocida— es el primero en migrar a herramientas internas de los clientes. El trabajo de juicio —negociación de cláusulas atípicas, litigios con alta incertidumbre procesal, asesoramiento regulatorio en terreno gris, estructuras transaccionales complejas— mantiene mayor resistencia a la automatización porque requiere contexto acumulado, responsabilidad profesional y criterio bajo incertidumbre.

El problema es que el trabajo de volumen representaba históricamente entre el 40% y el 60% de los ingresos de muchos estudios medianos, según estimaciones del sector legal global. Perder ese segmento sin reemplazarlo con servicios de mayor complejidad implica una contracción de ingresos estructural, no cíclica.

Cuándo aplica este desplazamiento y cuándo no

Este fenómeno no es uniforme. Afecta principalmente a estudios que facturan trabajo repetitivo para clientes corporativos con departamentos de legal in-house suficientemente maduros para adoptar y operar herramientas de IA. Las firmas boutique especializadas en litigio complejo, derecho penal económico o arbitraje internacional tienen menor exposición inmediata. Tampoco aplica de igual forma en mercados donde los departamentos internos son pequeños o donde la regulación local requiere firma de abogado habilitado para actos específicos —lo que en varios países de América Latina sigue siendo la norma para escrituras públicas, presentaciones judiciales y ciertos registros.

El riesgo es mayor para estudios que compiten por precio en segmentos de contratos masivos: revisión de contratos de trabajo, arrendamientos comerciales, términos y condiciones, NDAs. Esos son exactamente los documentos que los modelos de lenguaje actuales manejan con mayor precisión.

El marco regulatorio latinoamericano como variable diferenciadora

En América Latina, la adopción de IA en departamentos jurídicos internos enfrenta fricciones adicionales que los estudios pueden convertir en ventaja competitiva. Brasil, cuyo Marco Legal de IA (PL 2.338/2023) avanza en el Congreso con disposiciones sobre sistemas de alto riesgo —incluyendo aplicaciones en servicios profesionales—, obliga a cualquier empresa que despliegue IA en decisiones con efectos jurídicos a documentar sus procesos de supervisión humana. En Argentina, la Resolución 1/2024 de la Secretaría de Innovación Pública establece lineamientos para el uso de IA en organismos públicos, pero el sector privado opera aún sin un marco equivalente. En México, la discusión en torno a una ley de IA sigue en etapa exploratoria, sin proyecto consolidado.

Esa asimetría regulatoria crea una oportunidad para los estudios que comprendan el marco de cada jurisdicción: el asesoramiento sobre cómo desplegar IA internamente de forma legalmente válida —qué tareas pueden automatizarse sin incurrir en responsabilidad profesional, qué outputs requieren revisión humana certificada— es en sí mismo un servicio de alto valor que los departamentos internos de los clientes no pueden generar por sí solos.

La respuesta estratégica: especializarse en lo que la IA del cliente no puede validar

Los estudios que están respondiendo con mayor eficacia al desplazamiento no compiten con la IA del cliente: la complementan. Ofrecen lo que los modelos no pueden ofrecer con validez jurídica autónoma —firma profesional responsable, representación ante autoridades, criterio en zonas de ambigüedad normativa— y agregan capas de servicio que las herramientas internas no contemplan: auditorías de los propios sistemas de IA del cliente, revisión de los outputs generados, gestión de incidentes cuando un contrato generado automáticamente produce un litigio. Este último punto —el abogado como auditor de la IA del cliente— es el nicho emergente con mayor proyección en el mediano plazo.

Para los estudios medianos de la región, el camino más concreto es identificar qué porcentaje de sus ingresos actuales proviene de trabajo repetitivo para clientes corporativos, modelar el escenario en que ese trabajo migra a herramientas internas en los próximos 24 meses, y diseñar hoy la oferta que captura al cliente en la capa superior. No hay tiempo suficiente para esperar a que el desplazamiento sea evidente en el estado de resultados.

El estudio que sobrevive no es el que bloquea la IA de su cliente, sino el que le cobra por entender lo que esa IA no puede hacer sola.

Las nuevas leyes de inteligencia artificial no deberían limitarse a prohibir usos concretos: expertos del sector advierten que sin marcos sólidos de gobernanza de datos en su base, cualquier regulación de IA nace con un déficit estructural de confianza. El argumento no es retórico — apunta directamente a cómo los parlamentos y agencias regulatorias están diseñando sus marcos normativos.

La discusión parte de una premisa técnica que los legisladores suelen pasar por alto: un sistema de inteligencia artificial es tan confiable como los datos con los que fue entrenado y con los que opera. Si esos datos son de mala calidad, están mal clasificados, carecen de linaje documentado o no tienen propietario formal (data owner), la ley que regule el sistema producirá resultados impredecibles. La gobernanza de datos no es un prerrequisito burocrático — es la infraestructura de confiabilidad sobre la que descansa cualquier obligación regulatoria significativa.

El AI Act europeo como caso de referencia: qué exige y qué supone

El Reglamento de Inteligencia Artificial de la Unión Europea (AI Act, Reglamento 2024/1689) es el instrumento más detallado vigente hasta la fecha. Para los sistemas de IA de alto riesgo — que incluyen decisiones de crédito, empleo, educación y servicios esenciales — el texto exige explícitamente prácticas de gobernanza de datos: los conjuntos de datos de entrenamiento, validación y prueba deben cumplir con criterios de calidad, relevancia, completitud y ausencia de sesgos en la medida de lo posible. El artículo 10 del AI Act es, en la práctica, un mandato de data governance codificado en derecho comunitario. Sin embargo, muchas organizaciones aún no cuentan con los procesos internos para cumplirlo.

El problema no es únicamente europeo. Los marcos que se están discutiendo en Asia, América del Norte y América Latina replican, con variantes, la misma tensión: regular el output de los sistemas de IA sin establecer estándares vinculantes sobre la calidad y el gobierno de los datos que los alimentan. Expertos señalan que esa brecha produce leyes que son formalmente exigibles pero operativamente difíciles de auditar.

Seguridad de datos como componente de la regulación de IA: el eslabón que falta

Más allá de la calidad, el eje de seguridad aparece como el segundo componente crítico. La convergencia entre datos sensibles y sistemas automatizados amplía la superficie de riesgo: un modelo de lenguaje grande que procesa datos médicos o financieros sin controles de acceso granulares, sin cifrado en reposo y en tránsito, y sin mecanismos de auditoría representa una exposición que ninguna cláusula de responsabilidad puede compensar ex post. La regulación de IA que no contemple requisitos mínimos de seguridad de datos queda incompleta en su arquitectura de riesgos.

Esta lectura es consistente con lo que frameworks como el NIST AI Risk Management Framework (AI RMF 1.0) y el Marco de Gestión de Riesgos de IA del NIST ya establecen como buenas prácticas: la función “Map” del NIST AI RMF exige identificar los datos utilizados, su procedencia y los riesgos asociados a su tratamiento antes de desplegar cualquier sistema. Cumplir esa función requiere capacidades de data lineage y clasificación de datos que, en muchas organizaciones de la región, todavía no existen de forma sistemática.

Cuándo aplica este enfoque y cuándo no alcanza

Este argumento es más robusto para sistemas de IA de alto riesgo — los que toman o influyen en decisiones con impacto directo sobre personas físicas — que para aplicaciones de bajo impacto. Un chatbot de atención al cliente con datos públicos plantea un perfil de riesgo diferente al de un sistema de scoring crediticio entrenado con historiales bancarios. Los marcos regulatorios que no distinguen entre ambos escenarios tienden a sobrecargar a las organizaciones con menor capacidad técnica sin reducir los riesgos reales. La proporcionalidad entre nivel de riesgo y exigencia de gobernanza es el principio que más frecuentemente aparece en los debates legislativos actuales.

América Latina frente a este debate: Brasil, México y la brecha de implementación

En la región, el panorama regulatorio de IA avanza de forma desigual. Brasil tiene el proyecto de ley de IA más avanzado (PL 2338/2023), que retoma la estructura de riesgo del AI Act europeo y establece obligaciones de transparencia y auditoría para sistemas de alto riesgo — pero no fija aún estándares específicos de gobernanza de datos con el nivel de detalle del artículo 10 europeo. México, por su parte, no cuenta con una ley específica de IA, aunque la Ley Federal de Protección de Datos Personales en Posesión de los Particulares (LFPDPPP) y el Reglamento del INAI cubren parcialmente el tratamiento automatizado de datos personales. En Argentina, la Agencia de Acceso a la Información Pública (AAIP) publicó en 2023 recomendaciones no vinculantes sobre IA y datos personales, pero sin fuerza normativa equivalente a un reglamento sectorial.

La brecha no es solo legislativa: es de capacidad instalada. Según el modelo de madurez CDMC del EDM Council, pocas organizaciones latinoamericanas superan el nivel 1 o 2 de las 14 capabilities evaluadas, lo que significa que los procesos de catalogación, clasificación y linaje de datos todavía son fragmentarios o inexistentes en gran parte del tejido empresarial regional. Exigir por ley estándares de gobernanza de datos para IA sin acompañar esa exigencia con guías de implementación crea obligaciones nominales que no se traducen en mejoras reales.

La pregunta que deberían hacerse los legisladores de la región antes de aprobar sus leyes de IA no es si deben incluir gobernanza de datos — sino si tienen claro qué nivel de madurez técnica existe en el mercado al que le van a aplicar esa exigencia.

Los modelos de lenguaje de gran escala no razonan: procesan patrones estadísticos con una sofisticación que imita el razonamiento, pero sin comprensión real. Esa distinción —técnica en apariencia— tiene consecuencias jurídicas y regulatorias concretas para América Latina, donde varios países están construyendo marcos de IA sin haber resuelto esta pregunta de base.

Cuando un modelo como GPT-4 o Gemini responde una pregunta legal, diagnóstica un síntoma o explica una decisión de crédito, no está siguiendo una cadena lógica de causas y efectos. Está prediciendo qué token viene a continuación en función de patrones aprendidos sobre miles de millones de documentos. La diferencia importa: un sistema que razona puede, en principio, justificar sus conclusiones paso a paso. Un sistema que predice, no. Lo que se parece a una justificación es, en muchos casos, otra predicción estadística.

Por qué el “razonamiento” de los LLMs es una ilusión funcional

Los modelos de lenguaje aprenden a asociar estructuras lingüísticas con resultados esperados. Cuando se les pide que “muestren su razonamiento”, generan texto que se parece a un razonamiento —porque ese tipo de texto aparece frecuentemente en los datos de entrenamiento— sin que exista un proceso inferencial subyacente verificable. Esto no los hace inútiles: son herramientas extraordinariamente potentes para síntesis, redacción y recuperación de información. Pero sí los hace inadecuados, sin salvaguardas adicionales, para cualquier función que requiera explicabilidad genuina o responsabilidad sobre una decisión.

El problema se agrava cuando se encadenan varios LLMs en flujos de trabajo agénticos —los llamados “agentes de IA”— donde la salida de uno alimenta la entrada del siguiente. Cada eslabón de esa cadena hereda la incertidumbre del anterior, sin que ninguno pueda “darse cuenta” de que está propagando un error. En esos sistemas, la trazabilidad de una decisión incorrecta es casi imposible sin instrumentación explícita de cada paso.

Cuándo aplica esta distinción y cuándo no cambia nada práctico

Para tareas de bajo riesgo —redactar un borrador, resumir un documento, generar código de prueba— la distinción entre predicción y razonamiento es, en la práctica, irrelevante. El usuario puede revisar el output y corregir errores sin consecuencias graves. El problema aparece en contextos de alto impacto: decisiones sobre crédito, libertad condicional, diagnóstico médico, selección de personal o interpretación jurídica automatizada. Allí, la incapacidad del modelo de razonar genuinamente colisiona con los requisitos de explicabilidad que ya exigen varias normas vigentes.

En la Unión Europea, el AI Act clasifica estos usos como sistemas de IA de alto riesgo (Anexo III) y exige documentación técnica, supervisión humana y explicaciones comprensibles de las decisiones automatizadas. En América Latina, el cuadro regulatorio es más fragmentado pero avanza: Brasil incorporó en su Estrategia Nacional de Inteligencia Artificial (EBIA) lineamientos sobre explicabilidad y trazabilidad; Colombia emitió en 2023 el CONPES 3975 y una guía de ética de IA que menciona explícitamente la obligación de poder explicar decisiones automatizadas; y Chile avanza en su proyecto de ley de IA, que retoma la lógica del AI Act europeo en materia de sistemas de alto riesgo.

El nudo jurídico: explicabilidad sin razonamiento real

Si un LLM no razona, no puede explicar genuinamente por qué llegó a una conclusión. Puede generar texto que suene a explicación, pero esa explicación es en sí misma una predicción estadística, no una reconstrucción causal del proceso. Esto crea una tensión directa con normas que exigen explicaciones “inteligibles” o “comprensibles” para el afectado. El artículo 22 del RGPD europeo y sus equivalentes en la Ley 25.326 de Argentina —que habilita decisiones automatizadas solo con garantías específicas— asumen implícitamente que quien decide puede también explicar. Con los LLMs actuales, esa asunción no se sostiene.

En México, la LFPDPPP no tiene un artículo equivalente al 22 del RGPD, pero el INAI ha señalado en criterios recientes que el tratamiento automatizado de datos personales que produce efectos jurídicos debe estar documentado y ser auditable. Esa auditabilidad, aplicada a un LLM, requiere algo más que logs de input/output: requiere mecanismos de interpretabilidad del modelo —una disciplina técnica todavía emergente conocida como XAI (Explainable AI)— que la mayoría de las organizaciones desplegando estos sistemas en la región no ha implementado.

Qué implica esto para los marcos regulatorios que se están diseñando hoy

Los legisladores y reguladores de la región que están redactando normas de IA enfrentan una elección de diseño: regular los LLMs por sus capacidades declaradas (lo que los proveedores dicen que hacen) o por sus capacidades técnicas reales (lo que los modelos efectivamente pueden y no pueden hacer). La distinción entre predicción estadística y razonamiento genuino debería ser un criterio explícito en las definiciones de “sistema de IA de alto riesgo” en cualquier marco regional. Sin esa distinción, una norma puede quedar vaciada de contenido: un proveedor podría argumentar que su modelo “explica” sus decisiones simplemente porque genera texto con forma de explicación.

La solución técnica más robusta disponible hoy combina LLMs con sistemas simbólicos verificables —motores de reglas, árboles de decisión auditables, bases de conocimiento estructuradas— en arquitecturas híbridas donde el componente estadístico y el componente lógico tienen roles diferenciados y trazables. Eso no elimina los riesgos, pero sí permite aislar qué parte del proceso tomó qué tipo de decisión. Regular esa arquitectura —no solo el modelo— es el desafío pendiente.

Para quienes diseñan marcos de IA en la región: una norma que exige explicabilidad sin definir qué cuenta como explicación válida no protege a nadie. La pregunta técnica sobre si los LLMs razonan no es filosófica —es el fundamento de cualquier régimen de responsabilidad que pretenda funcionar.