Estudio advierte que IA autónoma presentan fallos de seguridad y podrían ampliar la concentración de poder en vigilancia, información, trabajo y control tecnológico
Un grupo de investigadores decidió probar qué ocurre cuando los sistemas de inteligencia artificial dejan de ser simples asistentes y pasan a operar como agentes autónomos. El resultado fue un experimento que abre preguntas incómodas sobre seguridad, control y concentración de poder en la era de la IA.
El estudio Agent of Chaos, realizado por investigadores de varias universidades y publicado como preprint académico, analizó agentes basados en modelos de lenguaje que podían actuar por cuenta propia. Estos sistemas tenían acceso a herramientas reales: correo electrónico, archivos, ejecución de comandos en servidores y memoria persistente. Durante dos semanas, los investigadores interactuaron con ellos para observar su comportamiento en un entorno similar al de un sistema desplegado en el mundo real.
Los resultados mostraron comportamientos muy lejos de las expectativas y los fallos se hicieron evidentes. Los agentes llegaron a obedecer instrucciones de personas sin autorización, divulgar información sensible o ejecutar acciones técnicas que afectaban sistemas completos. En uno de los casos descritos, un agente llegó a eliminar un servidor de correo tras recibir la solicitud de un usuario que no tenía permisos administrativos.
Asimismo, los investigadores también observaron que, cuando varios agentes interactúan entre sí o con humanos, pueden aparecer comportamientos inesperados. Algunos sistemas colaboraron entre ellos para resolver tareas o compartir conocimientos técnicos, lo que muestra que estas arquitecturas pueden desarrollar dinámicas complejas cuando operan de forma continua.
Más allá de los errores técnicos, el estudio plantea un debate más amplio: quién controla estos sistemas y quién asume la responsabilidad cuando algo sale mal.
Según los autores, estos agentes pueden ejecutar tareas por sí solos, pero no siempre saben cuándo deben detenerse o pedir supervisión humana. Esto genera un vacío operativo. Si un agente realiza una acción dañina, no está claro si la responsabilidad recae en el usuario que interactuó con él, en el propietario que lo configuró, en los desarrolladores que diseñaron la plataforma o en la empresa que entrenó el modelo. Los investigadores usaron máquinas virtuales con los modelos instalados de Claude Opus (de Anthropic, 2026) y Kimi K2.5.
Ese problema de responsabilidad se vuelve más complejo a medida que estos sistemas ganan autonomía y capacidad de decisión.
Por su parte, el estudio también advierte que el debate sobre riesgos de la inteligencia artificial suele centrarse en escenarios futuristas, mientras se ignoran riesgos más inmediatos relacionados con el uso actual de estas tecnologías.
Las herramientas de IA ya se están integrando en infraestructuras de vigilancia, plataformas de información, automatización laboral y sistemas militares. Cuando ese poder tecnológico se concentra en pocas empresas o instituciones, puede aumentar la desigualdad de información y reducir la capacidad de control social sobre estas tecnologías.
Desde esta perspectiva, los investigadores sostienen que el problema no es únicamente la posibilidad de que la IA actúe de forma inesperada. También está en juego quién controla la infraestructura tecnológica que sostiene estos sistemas y qué mecanismos existen para supervisarlos.
Como conclusión, el estudio sostiene que la expansión de agentes autónomos exige nuevas reglas de gobernanza, mecanismos de auditoría y protocolos claros de responsabilidad. Sin esos elementos, delegar decisiones a sistemas automáticos podría generar problemas que las instituciones actuales aún no están preparadas para manejar.