Another technique being used is hiding malicious instructions in trusted repositories, such as Github, for later use. Those instructions may be hidden off-screen, or in white text on a white background that the user can’t see. Even if the catastrophic generative AI experiment were paused tomorrow, we will be finding poisoned information for years to come. Bargury runs through some examples for me. His team discovered how to reroute all Salesforce customer traffic through their malicious servers. Another demonstration called Cursor harvests and exfiltrates secrets from developer machines. Copilot Studio dumps the entire customer relationship management database over email. “A memory implant to ChatGPT allows an attacker to change its behaviour for your future conversations with it,” he explains. “You are no longer talking to ChatGPT, you’re talking to a very evil bot instead, but you don’t realise it. It becomes a trusted adviser with a hidden agenda.”

Otra técnica que se utiliza es ocultar instrucciones maliciosas en repositorios de confianza, como GitHub, para su uso posterior. Esas instrucciones pueden estar ocultas fuera de la pantalla, o en texto blanco sobre un fondo blanco que el usuario no puede ver. Incluso si el experimento catastrófico generativo de IA se detuvo mañana, encontraremos información envenenada en los próximos años. Bargury atraviesa algunos ejemplos para mí. Su equipo descubrió cómo redirigir todo el tráfico de clientes de Salesforce a través de sus servidores maliciosos. Otra manifestación llamada Cursor Harvests y exfiltrata secretos de máquinas de desarrolladores. Copilot Studio descarga toda la base de datos de gestión de relaciones con el cliente a través del correo electrónico. "Un implante de memoria para ChatGPT permite que un atacante cambie su comportamiento para sus futuras conversaciones con él", explica. "Ya no estás hablando con ChatGPT, estás hablando con un bot muy malvado, pero no te das cuenta. Se convierte en un asesor de confianza con una agenda oculta".