Tabla de Contenido
La Inteligencia Artificial agéntica permite que sistemas autónomos tomen decisiones y ejecuten acciones, pero también introduce nuevos riesgos que obligan a empresas e integradores a replantear la seguridad, la identidad y la supervisión.
La Inteligencia Artificial está pasando de generar respuestas a tomar decisiones y ejecutar acciones de manera autónoma. Esta evolución abre oportunidades para automatizar procesos empresariales, pero también plantea una pregunta que comienza a ocupar un lugar central en las estrategias de ciberseguridad: ¿quién vigila a los agentes cuando actúan por cuenta propia?
Gartner estima que para 2028 una de cada tres empresas integrará soluciones de Inteligencia Artificial agéntica. La adopción de estos sistemas obligará a las organizaciones a revisar no solo qué pueden hacer los agentes, sino también qué información pueden consultar, qué herramientas pueden utilizar y qué decisiones pueden tomar sin intervención humana.
César Zanabria, CISO de IQSEC, y Alejandro Vergara, gerente de Implementación de Inteligencia Artificial de la misma empresa, analizaron los principales desafíos de seguridad que plantea esta nueva generación de aplicaciones y los aspectos que deberían considerar empresas e integradores.
De aplicaciones predecibles a sistemas autónomos
Un agente de IA utiliza un modelo de lenguaje de gran escala (LLM) para determinar cómo alcanzar un objetivo y puede interactuar con diferentes aplicaciones, datos y herramientas para conseguirlo.
En una organización puede utilizarse para atender clientes, analizar contratos, realizar compras o apoyar procesos financieros. El cambio respecto de una aplicación tradicional está en que el agente puede elegir entre diferentes caminos para alcanzar el resultado solicitado.
“El agente puede ser construido para conseguir un objetivo, pero puede tomar diferentes atajos para conseguirlo”, explicó Zanabria. Esos caminos no necesariamente fueron contemplados por quienes diseñaron la aplicación y pueden introducir riesgos.
Por ejemplo, un agente de una aplicación bancaria podría responder una pregunta sobre el refinanciamiento de un crédito. Si sus permisos, datos o reglas de acceso están mal configurados, podría terminar exponiendo información perteneciente a otro cliente sin que haya ocurrido necesariamente un ataque mediante prompt injection.
La seguridad, por tanto, debe contemplarse desde el diseño del agente.
El reto para el CISO
El cambio también modifica la función del CISO. De acuerdo con Zanabria, uno de los retos consiste en asumir un papel cada vez más cercano al de asesor de riesgo cibernético, debido a que nuevas aplicaciones y procesos comienzan a incorporarse al flujo de las organizaciones.
Durante años, el desarrollo de software se apoyó en reglas relativamente determinísticas. Ante una vulnerabilidad, los desarrolladores podían modificar el código que producía un comportamiento determinado.
Los agentes de IA introducen un modelo diferente. Pueden recibir un objetivo y encontrar distintas formas de cumplirlo. Algunos de esos caminos pueden no haber sido contemplados durante su diseño.
“Estamos cambiando de un paradigma determinístico a un proceso con agentes de IA”, señaló Zanabria, lo que obliga a replantear los modelos tradicionales de seguridad.
Para el CISO, esto significa incorporar a los agentes en el análisis de riesgos, los modelos de amenazas, los controles de acceso y los planes de continuidad y respuesta.
Cinco riesgos que debe conocer el canal
Zanabria y Vergara identificaron distintos escenarios que las empresas deberían considerar al evaluar la seguridad de sus agentes.
Goal Hijacking. El agente deja de perseguir el objetivo para el que fue diseñado y comienza a seguir instrucciones diferentes. Un correo electrónico, un archivo HTML o información manipulada puede contener instrucciones capaces de alterar su comportamiento.
El riesgo resulta relevante porque el agente puede ejecutar la acción sin que exista una intervención humana directa. En estos casos, los controles tradicionales no necesariamente detectarán de inmediato que el comportamiento del agente cambió.
Alteración del comportamiento en agentes RAG. Un agente puede continuar funcionando aparentemente con normalidad, pero tomar decisiones distintas debido a información o instrucciones que modifican su comportamiento.
La generación de bitácoras ayuda a reconstruir lo sucedido, aunque registra principalmente las acciones después de que ocurrieron. La observabilidad en tiempo real busca detectar desviaciones mientras el agente está operando.
Tool Misuse. Los agentes suelen tener acceso a diferentes herramientas para resolver una solicitud. Si los permisos no están delimitados, pueden utilizar recursos legítimos de una manera que genere riesgos para la organización.
Vergara destacó que los agentes no trabajan de manera aislada y pueden tener acceso a aplicaciones y conectores mediante mecanismos como MCP. Por ello, una herramienta legítima también puede convertirse en un vector de riesgo si sus permisos no están correctamente configurados.
Fallas en cascada. Un error en un agente puede transmitirse a otros sistemas o agentes conectados, multiplicando el impacto de una decisión incorrecta.
Una alternativa consiste en incorporar puntos de verificación dentro de la arquitectura para contener los errores antes de que se propaguen.
Identity Abuse. Los agentes son entidades no humanas y necesitan una identidad, mecanismos de autenticación, permisos, restricciones y supervisión.
“Una entidad no humana debe tener identidad, capacidades de acceso, restricciones, permisos y tokens”, explicó Zanabria.
La identidad también debe tener límites
Una de las medidas que puede adoptar una organización es aplicar principios de mínimo privilegio y Zero Trust a las identidades no humanas.
En este contexto cobra relevancia el concepto de Zero Standing Privilege, que busca evitar que un agente mantenga privilegios permanentes. En su lugar, obtiene los permisos necesarios durante un periodo determinado y estos expiran posteriormente.
El principio es especialmente relevante para los agentes porque pueden interactuar con numerosos sistemas. Un permiso excesivo o permanente puede ampliar considerablemente el impacto de una desviación de comportamiento.
Para los integradores, esto implica responder preguntas básicas: ¿qué puede hacer el agente?, ¿a qué información puede acceder?, ¿qué herramientas puede utilizar?, ¿quién autorizó esos permisos? y ¿cuánto tiempo deben permanecer vigentes?
Seguridad desde el diseño
Para Zanabria y Vergara, la protección de los agentes debe comenzar desde su diseño y no cuando ya están operando en producción.
Entre las medidas que pueden considerar las organizaciones están:
- Asignar un responsable a cada agente.
- Definir claramente sus objetivos y límites.
- Determinar qué datos puede consultar.
- Establecer qué herramientas puede utilizar.
- Aplicar mínimo privilegio a sus identidades y permisos.
- Probar los agentes en entornos controlados.
- Establecer puntos de verificación antes de acciones críticas.
- Registrar las actividades mediante bitácoras.
- Incorporar observabilidad para detectar desviaciones durante la ejecución.
- Inventariar agentes, identidades no humanas, herramientas y conectores.
- Integrar a los agentes en los planes de continuidad y respuesta.
Una recomendación planteada por los especialistas es visualizar al agente como parte del modelo de amenazas y del plan de continuidad y respuesta: no solo debe analizarse cómo funciona correctamente, sino qué podría ocurrir si toma una decisión equivocada.
¿Hasta dónde debe intervenir una persona?
La autonomía no tiene que ser absoluta. La organización puede establecer diferentes niveles de supervisión dependiendo del riesgo de cada proceso.
Zanabria explicó esta evolución mediante dos conceptos: human in the loop, cuando las personas permanecen cerca del proceso y validan determinadas decisiones, y human out of the loop, cuando el agente opera de manera autónoma bajo reglas previamente establecidas.
Incluso en este último modelo pueden existir excepciones. Un agente podría requerir intervención humana cuando se trate de información sensible, operaciones financieras, cambios relevantes en sistemas o acciones con impacto significativo para el negocio.
Por ello, la pregunta no debería ser solamente cuánto puede hacer un agente, sino qué puede hacer sin autorización humana.
Una oportunidad para integradores y consultores
La adopción de IA agéntica abre una nueva área de servicios para el canal tecnológico. Las empresas necesitarán algo más que implementar modelos de IA: requerirán identificar sus agentes, administrar sus identidades, controlar permisos, evaluar riesgos, proteger datos y establecer mecanismos de supervisión.
Vergara considera que los agentes representan una de las modalidades de IA con mayor potencial de aprovechamiento empresarial, pero su adopción requiere acompañamiento especializado para evitar que la automatización genere nuevos riesgos.
Para un integrador, el primer paso con un cliente que ya utiliza agentes consiste en conocer su superficie de operación:
- ¿Cuántos agentes existen y cuáles están autorizados?
- ¿Qué sistemas y herramientas utiliza cada uno?
- ¿Quién autorizó sus permisos?
- ¿Existe un proceso para revisar y revocar esos permisos?
- ¿Qué información pueden consultar o compartir?
- ¿Puede la organización detectar una desviación de comportamiento?
- ¿Quién responde cuando un agente actúa de manera incorrecta?
- ¿Existe una estrategia para administrar identidades no humanas?
- ¿Los agentes están contemplados en los planes de continuidad y respuesta?
- ¿La organización puede demostrar cumplimiento ante las regulaciones aplicables?
Estas preguntas permiten transformar la conversación de una implementación tecnológica a una estrategia de gobierno, seguridad y gestión del riesgo de la IA agéntica.
La autonomía será uno de los principales atributos de la siguiente generación de aplicaciones empresariales. Para el canal tecnológico, el reto será acompañar esa adopción sin perder de vista un principio básico de ciberseguridad: todo sistema que puede actuar necesita también límites, identidad y supervisión.
