Detector de IA da Meta falha ao identificar suas próprias imagens após recorte

Consequências da falha

A ferramenta de detecção de imagens geradas por IA lançada pela Meta falhou em identificar suas próprias criações quando submetidas a um recorte simples, segundo análise realizada.

O teste usou 40 imagens geradas pelo Muse Image, novo modelo de geração de imagens da empresa.

A ferramenta identificou corretamente todas as 40 originais.

Mas, quando as mesmas imagens foram recortadas para aproximadamente um terço a metade do tamanho original, o detector falhou em 55% dos casos.

Como o sistema funciona

A Meta afirma que o sistema de detecção usa uma marca d’água invisível chamada Content Seal, embutida em cada imagem gerada pelo Muse Image.

A tecnologia foi projetada para permitir que usuários verifiquem se uma imagem foi criada pelos modelos de IA da empresa – mesmo após edições comuns.

Limitações do sistema

Siwei Lyu, professor de ciência da computação da Universidade Estadual de Nova York em Buffalo e pesquisador de forense de imagens de IA, disse que sistemas baseados em marca d’água têm limitações conhecidas.

Métodos baseados em marca d’água podem ser altamente eficazes quando a marca permanece intacta, mas qualquer modificação que remova ou enfraqueça o sinal embutido – como recorte, redimensionamento, compressão pesada ou edição – pode reduzir sua eficácia, dependendo de como a marca d’água foi projetada.

Contexto e pressão regulatória

A descoberta ocorre em momento delicado: o ano inclui as eleições de meio de mandato nos EUA, quando a circulação de deepfakes e imagens manipuladas tende a aumentar.

Em março, o Conselho de Supervisão da Meta – órgão independente que toma decisões vinculantes sobre moderação de conteúdo – pediu à empresa que fizesse mais para combater a “proliferação de conteúdo de IA enganoso” em suas plataformas e investisse em ferramentas de detecção mais robustas.

A Meta não está sozinha no desafio. Google e OpenAI também alertaram publicamente que suas próprias ferramentas de detecção não são infalíveis contra técnicas de alteração de imagens.