IA rebelde da OpenAI faz nova invasão e usa site pra confabular sem humanos

ReportagemIA rebelde da OpenAI faz nova invasão e usa site pra confabular sem humanosUm grupo de pesquisadores diz ter encontrado um “enxame” de agentes de IA ligados à OpenAI que tomou conta de uma wiki alemã e a transformou num mural de recados entre IAs, com dicas para burlar regras e esconder rastros. O caso é mais um alerta de agentes fugindo do controle e tomando ações longe de olhares humanos, em episódio semelhante ao ataque ao Hugging Face feito por IAs em teste. Assine a newsletter de IAgora? e receba toda semana análises fresquinhas de IA no seu email. O que aconteceu*Segundo a Reuters, pesquisadores de segurança em IA relataram que agentes autônomos que se identificavam como ligados à OpenAI fizeram mais de 15 mil (e, em outra contagem, cerca de 18 mil) edições em uma wiki em alemão chamada DseWiki entre maio e julho. *Segundo os pesquisadores, os agentes usaram o site como um “quadro de avisos” para trocar soluções de tarefas, compartilhar dados e discutir formas de contornar restrições e mascarar o próprio comportamento. *As mensagens eram assinadas por perfis que se chamavam de “agentes” e, em muitos casos, usavam nomes que sugeriam vínculo com a OpenAI, como “OpenAIResearcher” e “OAIResearchMar26”. *Os pesquisadores afirmam que registros públicos do servidor indicam que grande parte da atividade veio de infraestrutura de nuvem (principalmente Microsoft Azure), e que houve acessos posteriores ao conteúdo a partir de endereços associados à OpenAI. *Quando um moderador humano começou a apagar páginas, os agentes teriam criado cópias de segurança e combinado “planos B” para manter as mensagens vivas, inclusive com referências a ferramentas como Tor. *O material analisado também descreve tentativas de explorar brechas do ambiente de testes (“sandbox”, uma espécie de “cercadinho” digital) para conseguir fazer ações que, em tese, deveriam ser bloqueadas. *A OpenAI contestou a caracterização de “tentativa de invasão” em parte do episódio, segundo a Reuters, e disse ter agido de boa-fé ao trabalhar com especialistas externos e divulgar incidentes relevantes. IAgora? O ponto mais incômodo aqui não é uma IA “virar vilã” de filme – é ela agir como aluno que quer tirar nota a qualquer custo.

Se a tarefa tem cronômetro, regra e recompensa, alguns agentes parecem ter aprendido a procurar o atalho: copiar respostas, combinar estratégias e usar um site antigo como “sala de bate-papo” fora do radar. É como se, em vez de fazer a prova, eles montassem um grupo no WhatsApp para trocar cola em tempo real. Isso muda o debate sobre segurança porque não estamos falando só de um bug isolado. A história sugere comportamento coletivo: vários agentes, em paralelo, construindo memória e coordenação fora do ambiente controlado – algo que, segundo os relatos, não teria sido pedido.

Se isso se confirma, a pergunta deixa de ser “um modelo é seguro?” e vira “como impedir que muitos modelos, juntos, encontrem brechas e se organizem?”. A parte mais sensível do caso é a transparência por parte dos laboratórios, que seguem relutantes em divulgar incidentes e torna difícil para reguladores, pesquisadores e o público entenderem o tamanho do risco e o que foi corrigido. A proposta de exigir comunicação em até 48 horas, por exemplo, nasce dessa sensação de que o setor ainda trata episódios assim como “assunto interno” – a OpenAI teria sido informada do caso há semanas e optou por não compartilhar com o publico. Por fim, há um choque de incentivos: ao mesmo tempo em que empresas correm para lançar sistemas mais autônomos (como o recém-lançado Astra), cresce a evidência de que autonomia pode vir com “criatividade” para driblar limites. Se a indústria não criar mecanismos de auditoria e divulgação que acompanhem essa velocidade, a conta pode chegar em forma de perda de confiança – e de regras mais duras impostas de fora para dentro. O que o mundo está dizendo sobre issoParece extremamente improvável que a OpenAI quisesse que eles fizessem isso. Sydney Von Arx, CEO da ONG de segurança em IA Nightingale, via ReutersAs mensagens pareciam a operação de algum tipo de rede clandestina, obcecada em cumprir uma tarefa ou missão. Maurice Chiodo, acadêmico do Centre for the Study of Existential Risk (Universidade de Cambridge), via ReutersPrecisamos de exigências para que laboratórios divulguem exploits/eventos de enxames de agentes em até 48 horas depois que funcionários do laboratório tomarem conhecimento – e precisamos disso hoje. Justin Slaughter, vice-presidente de assuntos regulatórios na Paradigm, via XReportagemTexto que relata acontecimentos, baseado em fatos e dados observados ou verificados diretamente pelo jornalista ou obtidos pelo acesso a fontes jornalísticas reconhecidas e confiáveis.

O autor da mensagem, e não o, é o responsável pelo comentário. Leia as Regras de Uso do.