Before, a hacker would have needed to spend months analysing a target and know a range of sophisticated techniques. Now the hacker can just chat. One example I highlighted earlier this year was a security firm that “convinced a chatbot it lives in another world.” This means that plugging AI into a commercial operation or government service is an act of supreme folly. Two-thirds of bots that companies think are private are actually wide open for malicious experimentation. As if that wasn’t enough, this year firms have multiplied their exposure by implementing “agentic AI” – which means allowing a chatbot free rein over different internal systems. For example, it may find an item, discover a shop for it, buy it and alert your contacts. Or for an enterprise, expose the supply chain to mischief. “Assistants and agents have grown arms and legs they can act on our behalf, while our ability to steer AI or control its behaviour hasn’t really changed,” says Michael Bargury, chief executive of security firm Zenity. Last year at Black Hat, Bargury demonstrated how an HR employee using Microsoft CoPilot to summarise a couple of documents inadvertently opened up hundreds of security holes that could then be exploited. “Unfortunately, things have changed for the worse,” Bargury tells me.

Antes, un hacker habría necesitado pasar meses analizando un objetivo y conocer una variedad de técnicas sofisticadas. Ahora el hacker puede chatear. Un ejemplo que destacé a principios de este año fue una empresa de seguridad que "convenció a un chatbot que vive en otro mundo". Esto significa que conectar IA a una operación comercial o servicio gubernamental es un acto de locura suprema. Dos tercios de los bots que las empresas creen que son privadas están realmente abiertos para la experimentación maliciosa. Como si eso no fuera suficiente, este año las empresas han multiplicado su exposición al implementar la "IA de agente", lo que significa permitir una rienda de chatbot en diferentes sistemas internos. Por ejemplo, puede encontrar un artículo, descubrirlo, comprarlo y alertar a sus contactos. O para una empresa, exponga la cadena de suministro a travesuras. "Los asistentes y los agentes han cultivado armas y piernas que pueden actuar en nuestro nombre, mientras que nuestra capacidad de dirigir la IA o controlar su comportamiento no ha cambiado realmente", dice Michael Bargury, director ejecutivo de la firma de seguridad Zenity. El año pasado en Black Hat, Bargury demostró cómo un empleado de recursos humanos que usaba Copilot de Microsoft para resumir un par de documentos inadvertidamente abrió cientos de agujeros de seguridad que luego podrían ser explotados. "Desafortunadamente, las cosas han cambiado para peor", me dice Bargury.