La inteligencia artificial ha dado un nuevo paso en el terreno de la ciberseguridad. La Agencia Española de Protección de Datos (AEPD) ha recibido la primera notificación en España de una brecha de datos personales en la que el ataque habría sido ejecutado mediante un agente de IA. El sistema accedió al entorno afectado y, de forma autónoma, buscó vulnerabilidades hasta conseguir modificar datos personales y acceder a facturas.
El incidente convierte en tangible un riesgo sobre el que la propia industria tecnológica lleva tiempo alertando: qué ocurre cuando los sistemas de IA dejan de limitarse a responder preguntas y empiezan a actuar de manera autónoma para conseguir un objetivo.
“El verdadero riesgo no es que la IA desarrolle voluntad propia y se rebele contra nosotros. Lo peligroso es cuando le damos un objetivo y capacidad para actuar, pero no somos capaces de anticipar todas las decisiones que tomará para alcanzarlo”, explica Sergio García Estradera, gerente de i3e.
Del temor de Anthropic al primer caso real en España
La advertencia adquiere especial relevancia después de una semana marcada por las alarmas lanzadas desde la propia industria. Jacob Coxon, investigador que había trabajado tanto en Anthropic como en OpenAI, dimitió de Anthropic el pasado 9 de septiembre acusando a ambas compañías de avanzar de forma irresponsable hacia sistemas cada vez más potentes. Coxon aseguró que quienes están construyendo esta tecnología creen sinceramente que podría llegar a “matarnos a todos antes de que termine la década” y acusó a las compañías de estar “jugando con nuestras vidas”.
Su salida llega, además, después de que la propia Anthropic reconociera varios incidentes en los que modelos Claude obtuvieron acceso no autorizado a sistemas informáticos reales durante evaluaciones de ciberseguridad. La compañía atribuyó lo sucedido tanto a fallos de seguridad operacional como a problemas de alineamiento, entre ellos la disposición del modelo a ejecutar acciones potencialmente dañinas para alcanzar un objetivo concreto. Anthropic llegó a pausar temporalmente algunas de sus evaluaciones para reforzar sus mecanismos de seguridad.
Para García Estradera, este tipo de episodios muestra que el debate sobre el control de la IA debe alejarse de escenarios apocalípticos y centrarse en riesgos mucho más inmediatos. “Una IA avanzada puede automatizar la búsqueda de vulnerabilidades, facilitar la creación de malware o mejorar ataques contra infraestructuras críticas. El problema aumenta a medida que concedemos a estos sistemas más autonomía y los conectamos con herramientas capaces de actuar en el mundo real”, señala.
La propia AEPD apunta a un “cambio cualitativo” con la aparición de los agentes de IA, capaces de recibir un objetivo, planificar tareas intermedias, ejecutar código, interpretar los resultados y modificar su actuación de manera autónoma en función de lo que encuentran. La Agencia advierte, además, de que la IA puede incrementar la velocidad, escala y capacidad de adaptación de técnicas de ataque ya existentes.
En este contexto, desde i3e consideran fundamental que empresas e instituciones definan qué procesos pueden delegarse en sistemas de IA, qué nivel de supervisión humana requieren y quién asume la responsabilidad cuando una decisión automatizada provoca consecuencias no previstas. La formación de los profesionales será también esencial para poder utilizar estas herramientas, pero también cuestionarlas y reconocer sus límites. “No estamos ante un desastre inminente, pero tampoco podemos asumir que cualquier avance tecnológico es controlable simplemente porque lo hemos creado nosotros. La capacidad para entender, supervisar y gobernar la inteligencia artificial tiene que avanzar al mismo ritmo que la propia tecnología”, concluye García Estradera.
