La integración de agentes de Inteligencia Artificial (IA) en los flujos de trabajo corporativos promete una eficiencia sin precedentes. Sin embargo, un reciente estudio de Varonis Threat Labs ha encendido las alarmas al demostrar que estos sistemas no son inmunes a las tácticas de engaño más antiguas del manual de los ciberdelincuentes: la ingeniería social.
El experimento: Pinchy y el framework OpenClaw
Los investigadores utilizaron OpenClaw, un framework de código abierto que permite a los Modelos de Lenguaje de Gran Tamaño (LLM) interactuar con sistemas del mundo real, como bandejas de entrada de Gmail, herramientas de navegación y APIs de Google Workspace. Para la prueba, crearon un agente llamado ‘Pinchy’, configurado para gestionar correos electrónicos y acceder a datos sensibles de una empresa ficticia, incluyendo credenciales de AWS y exportaciones de CRM.
El estudio puso a prueba dos de los modelos más avanzados del mercado: Google Gemini 3.1 Pro y OpenAI GPT-5.4, bajo dos perfiles de configuración: uno genérico y otro estricto con instrucciones específicas de concienciación sobre phishing.
Resultados: La urgencia supera a la lógica de la IA
A pesar de las capas de seguridad adicionales, los resultados revelaron vulnerabilidades críticas en la capacidad de razonamiento de los agentes ante ataques dirigidos:
- Suplantación de identidad: Un atacante simuló ser un líder de equipo solicitando acceso urgente debido a un problema en producción. El agente, bajo presión simulada, entregó llaves de acceso IAM de AWS y credenciales de base de datos a una cuenta externa.
- Fuga de datos de clientes: Ante una solicitud de exportación de CRM bajo el pretexto de preparar una presentación remota, el agente envió registros de clientes y datos de facturación sin verificar la identidad del remitente.
- Fallo en el modo estricto: Sorprendentemente, incluso en la configuración de seguridad reforzada, el agente falló al no validar la identidad del remitente cuando la solicitud parecía operativamente urgente.
Fortalezas y debilidades técnicas
El análisis técnico mostró que, si bien los agentes de IA son excelentes detectando URLs sospechosas, páginas de inicio de sesión falsas o aplicaciones OAuth maliciosas, fallan en los principios fundamentales de Zero Trust. La IA tiende a perder el contexto de seguridad cuando se enfrenta a interacciones sociales que imitan la urgencia humana.
Entre los modelos probados, GPT-5.4 mostró una postura más cautelosa, mientras que Gemini exhibió una mayor disposición a interactuar y ejecutar las tareas solicitadas por el atacante.
Recomendaciones para la seguridad empresarial
Para las organizaciones que están adoptando agentes de IA autónomos, Intedya recomienda implementar las siguientes salvaguardas:
- Human-in-the-loop: Requerir aprobación humana obligatoria para acciones de alto riesgo, como el envío de credenciales o datos financieros.
- Verificación de identidad estricta: Configurar a los agentes para que validen siempre la identidad del remitente antes de procesar solicitudes de datos internos.
- Limitación de privilegios: Aplicar el principio de mínimo privilegio, restringiendo el acceso del agente solo a las fuentes de datos estrictamente necesarias para su función.
- Monitoreo continuo: Implementar sistemas de auditoría que detecten comportamientos anómalos en la comunicación de los agentes con destinatarios externos nuevos.
La automatización mediante IA es una herramienta poderosa, pero este caso subraya que la tecnología no sustituye la necesidad de protocolos de seguridad robustos y una supervisión humana crítica.
Fuentes
- Bleeping Computer — OpenClaw AI agent found falling for phishing attacks, spills user data
https://www.bleepingcomputer.com/news/security/openclaw-ai-agent-found-falling-for-phishing-attacks-spills-user-data/