La falla estructural de los LLMs que ningún parche puede corregir

Un equipo de investigadores presentó este mes en la Conferencia Internacional sobre Aprendizaje Automático (ICML), uno de los eventos más prestigiosos del campo, una conclusión que sacude los cimientos de la industria de inteligencia artificial: los modelos de lenguaje de gran escala —los LLMs que alimentan asistentes como ChatGPT, Gemini o Claude— no pueden hacerse completamente seguros frente a ataques maliciosos. No es un problema de implementación ni de configuración. Es, según los investigadores, una falla inherente a su arquitectura.

El problema está en el diseño, no en el código

La forma en que los LLMs procesan el lenguaje —tratando instrucciones del sistema y datos externos con mecanismos similares— crea una superficie de ataque que, en teoría, no admite cierre definitivo. Los llamados prompt injection attacks, en los que un actor malicioso embebe instrucciones ocultas en textos que el modelo va a procesar, explotan precisamente esta confusión entre “qué es una orden” y “qué es un dato”. El paper presentado en ICML sostiene que esta ambigüedad no puede eliminarse sin alterar de raíz el funcionamiento del modelo.

Dicho de otro modo: cada vez que una empresa despliega un agente de IA capaz de leer correos, resumir documentos o navegar por la web, está exponiendo ese sistema a un vector de ataque que ningún filtro de salida ni política de uso puede neutralizar completamente.

Implicancias para las organizaciones que ya adoptaron IA generativa

El hallazgo llega en un momento en que la adopción empresarial de LLMs se acelera en toda América Latina. Según relevamientos de la industria, compañías en Brasil, México, Colombia y Argentina incorporaron capacidades de IA generativa en procesos internos durante 2024 y 2025, muchas veces sin una evaluación formal de riesgo tecnológico. La vulnerabilidad estructural identificada por los investigadores agrega una capa crítica a esa conversación.

Desde una perspectiva de data governance, el escenario es particularmente delicado: si un agente de IA puede ser manipulado para exfiltrar información, alterar respuestas o eludir controles, los datos personales que procesa quedan expuestos a riesgos que las políticas internas actuales difícilmente contemplan. En jurisdicciones como Brasil —donde la LGPD establece responsabilidades claras sobre el tratamiento seguro de datos— o Argentina —con la Ley 25.326 y su régimen de seguridad de la información—, una brecha derivada de esta vulnerabilidad podría generar consecuencias regulatorias significativas para el controlador del sistema.

¿Qué pueden hacer las empresas mientras tanto?

La respuesta honesta es que no existe una solución técnica completa disponible hoy. Sin embargo, los especialistas en seguridad recomiendan un conjunto de medidas de mitigación que reducen —sin eliminar— la superficie de ataque:

• Principio de mínimo privilegio: limitar las capacidades del agente de IA estrictamente a lo necesario para su función. Un asistente que solo necesita leer no debería tener permiso de escritura ni acceso a sistemas externos.
• Sandboxing y monitoreo de salidas: implementar capas de verificación sobre lo que el modelo produce antes de que esa salida tenga efectos en sistemas reales.
• Auditorías de prompt y logs: registrar las interacciones del modelo para detectar patrones anómalos, práctica que además alinea con las obligaciones de accountability exigidas por marcos como la Ley de Protección de Datos Personales de Colombia (Ley 1581) o la normativa chilena en discusión.
• Evaluación de riesgo previa al despliegue: tratar los LLMs como cualquier otro sistema crítico sujeto a threat modeling, no como herramientas de productividad de bajo riesgo.

Un debate que recién empieza

La publicación del paper en ICML abre una discusión que trasciende lo técnico. Si la vulnerabilidad es estructural e irresoluble en los términos actuales, los reguladores deberán plantearse si los marcos de IA de alto riesgo —como los que empiezan a articularse en la región siguiendo la influencia del AI Act europeo— deben incorporar requisitos específicos sobre la resiliencia de sistemas basados en LLMs frente a ataques de manipulación.

Para las organizaciones que ya tienen estos sistemas en producción, la recomendación inmediata es revisar los modelos de amenaza vigentes bajo una premisa nueva: la IA generativa no es un sistema cerrado y controlable de la misma manera que el software tradicional. Aceptar esa diferencia es el primer paso para gestionarla con responsabilidad.