O “vírus mental” que pode transformar a memória de uma IA em uma porta de entrada

Os agentes de inteligência artificial estão ganhando algo que os antigos chatbots não tinham: memória, autonomia e capacidade de trabalhar em conjunto. Isso permite que eles executem tarefas cada vez mais complexas, mas também cria novas portas de entrada para ataques. Um estudo envolvendo pesquisadores da Anthropic e da EPFL revelou um comportamento especialmente intrigante: determinadas instruções podem permanecer escondidas na memória de um agente e acabar viajando para outros sistemas.

O detalhe aparentemente inofensivo que pode mudar tudo Agentes de IA modernos podem fazer muito mais do que responder perguntas. Eles conseguem acessar ferramentas, modificar arquivos, executar tarefas e manter determinadas informações entre diferentes sessões. Para isso, alguns sistemas utilizam arquivos de memória persistente, como MEMORY. md ou SOUL. md.

Esses documentos funcionam, em certa medida, como uma memória externa: armazenam instruções, objetivos e informações que podem ser recuperadas quando o agente começa uma nova atividade. É justamente aí que surge o problema. Pesquisadores da Anthropic e da Escola Politécnica Federal de Lausanne (EPFL), na Suíça, investigaram o que aconteceria se uma instrução maliciosa fosse incorporada a esse tipo de memória.

O resultado lembra o funcionamento de um vírus de computador, mas com uma diferença fundamental. Em vez de infectar um programa executável, a ameaça manipula as instruções que orientam o comportamento de um agente de inteligência artificial. O estudo, publicado no arXiv, chamou esse fenômeno de “vírus mental” (mind virus).

A ideia parece saída de uma ficção científica, mas os experimentos mostram por que ela pode se tornar relevante à medida que agentes autônomos passem a compartilhar informações constantemente. Se um agente contaminado transmite sua memória ou determinados arquivos para outro sistema, a instrução maliciosa pode seguir junto. E isso cria uma possibilidade inesperada: uma ameaça que não precisa atacar cada agente individualmente para se espalhar.

Quando a memória de um agente vira uma rota de transmissão Para testar o conceito, os pesquisadores criaram experimentos em que agentes colaboravam em projetos de programação e outros cenários nos quais um sistema entregava informações para outro. As instruções maliciosas avaliadas tinham diferentes objetivos. Algumas procuravam fazer o agente adotar determinadas ideias ou metas.

Outras tentavam induzi-lo a executar comportamentos específicos. A localização da instrução dentro dos arquivos também fez diferença. Quando a carga era colocada no SOUL. md, sua transmissão ocorreu em aproximadamente 55% dos experimentos.

Quando escondida em arquivos de trabalho convencionais, a taxa caiu para cerca de 17%. O resultado mais impressionante apareceu em outro teste: algumas dessas cargas conseguiram sobreviver a 20 transferências consecutivas entre agentes. Em outras palavras, o comportamento não necessariamente desaparecia quando passava de um sistema para outro.

Algumas variantes chegaram ainda a se modificar durante o processo. Em vez de permanecerem com instruções extremamente explícitas, passaram a utilizar formulações mais persuasivas, aparentemente aumentando a possibilidade de serem aceitas pelo agente seguinte. É essa capacidade de persistência e transmissão que justifica a comparação com um vírus.

O que esses “vírus” poderiam fazer? Os pesquisadores não ficaram apenas em exemplos teóricos. Os experimentos incluíram diferentes tipos de comportamento malicioso.

Em alguns casos, a instrução tentava convencer o agente a promover uma determinada criptomoeda. Em outros, procurava induzi-lo a criar scripts capazes de apagar diretórios. Também foi testada uma instrução relacionada a uma suposta “supremacia da IA”.

A reação variou entre os modelos: alguns seguiram a instrução, enquanto outros conseguiram rejeitá-la. Mas apareceu um detalhe igualmente importante. Agentes que já possuíam objetivos muito claros pareciam ser menos vulneráveis.

Quando estavam concentrados em uma tarefa específica de programação, frequentemente ignoravam a instrução maliciosa ou deixavam de transmiti-la para o próximo sistema. Isso sugere que o problema não depende apenas da existência de uma memória persistente. O contexto, os objetivos e a forma como o agente interpreta as instruções também podem determinar se uma carga será aceita ou descartada.

Uma defesa simples conseguiu interromper o efeito A parte mais interessante do estudo talvez esteja na resposta encontrada pelos pesquisadores. Eles adicionaram uma orientação curta ao prompt do sistema instruindo o agente a desconfiar de comandos que tentassem modificar sua memória ou se propagar para outros agentes. O resultado foi expressivo: as taxas de transmissão caíram praticamente a zero, mesmo diante de mais de 150 variantes maliciosas e diferentes gerações de otimização adversarial.

Isso não significa que o problema esteja resolvido. Os próprios pesquisadores ressaltam que os chamados “vírus mentais” ainda não constituem uma ameaça generalizada no mundo real. O risco, porém, pode crescer conforme agentes de IA ganhem mais autonomia e passem a trocar arquivos, memórias e instruções de forma cada vez mais frequente.

A resposta para o título está justamente aí: esses vírus podem “saltar” de um agente para outro quando uma instrução maliciosa consegue se esconder na memória compartilhada e ser transmitida junto com as informações usadas pelo próximo sistema. Por enquanto, uma defesa relativamente simples mostrou que é possível interromper esse processo. Mas, em um futuro no qual dezenas ou centenas de agentes trabalhem juntos, proteger a memória de uma IA poderá ser tão importante quanto proteger os arquivos de um computador.