Anthropic alerta sobre ‘riscos catastróficos da IA’ em documento de IPO

Qual será a próxima grande descoberta científica da inteligência artificial? 1: 55A solução do problema do milênio de Navier-Stokes por uma IA acelerou as expectativas. Crédito: Alexandre Chiavegatto FilhoA Anthropic decidiu alertar potenciais investidores que a inteligência artificial avançada pode representar “riscos catastróficos ou existenciais para a humanidade”, em determinados cenários, conforme revelou a Reuters na segunda-feira (28). O aviso está no prospecto da oferta pública inicial (IPO) da empresa. No documento analisado pela agência de notícias, a startup enfatiza o potencial transformador da tecnologia, comparado por ela ao que a industrialização e a eletricidade proporcionaram.

Mas há uma parte significativa do texto dedicada aos danos que os sistemas inteligentes são capazes de causar se utilizados de maneiras indevidas. Questionada sobre as informações apresentadas no texto, que ainda não foi divulgado, a empresa não se pronunciou. Comportamentos preocupantesSegundo a desenvolvedora da IA Claude, ferramentas mais avançadas que os bots utilizados no dia a dia para tarefas básicas podem apresentar comportamentos inesperados e potencialmente perigosos. Ela cita, por exemplo, ações de autopreservação dos modelos. Tentativas de “resistir ao desligamento”, “ocultar ou manipular informações” e comportamentos semelhantes a “chantagem” são alguns já detectados; E à medida que desenvolve novas capacidades, a IA começa a perceber que está sendo observada ou passando por testes de segurança; Quando isso acontece, a tecnologia modifica seu comportamento durante a avaliação para se parecer mais segura do que realmente é, como explicou a Anthropic; A mudança faz surgir uma “limitação significativa” no processo de determinar o nível de segurança dos novos modelos, segundo aponta o documento. “Nosso desenvolvimento de modelos, plataformas e aplicações altamente avançados e a expansão dos casos de uso podem aumentar ainda mais o risco de que nossos modelos causem danos”, avisou a startup. O tamanho atípico da parte do prospecto que cita os riscos da IA para a humanidade também chama a atenção. São cerca de 80 páginas, de um total de 261, separadas exclusivamente para apresentar os perigos da tecnologia.

Como observa a reportagem, a quantidade representa quase o dobro das 48 páginas dedicadas à descrição do negócio e supera em muito as 38 páginas reservadas ao assunto pela SpaceX em seu documento de IPO. Gastos intensos em segurançaO documento também descreve esforços “intensos em recursos” quanto à segurança da IA. Sem mostrar números, a companhia diz que distribui os investimentos na área entre poder computacional para treinar e operar modelos e a contratação de novos talentos. As pesquisas para tornar os sistemas mais seguros são outra parte desses gastos.

Porém, ela alerta aos investidores que não há como prever, com clareza, os retornos dos investimentos em segurança. Embora rumores apontem a possibilidade de adiamento por conta dos últimos alertas de riscos e pedidos para desacelerar o desenvolvimento da IA, o IPO da Anthropic está previsto para acontecer em outubro. A startup busca uma avaliação de mercado acima de US$ 2 trilhões, o equivalente a R$ 10,4 trilhões pela cotação do dia. Lançamento mais recente da empresa, o Claude Opus 5.5 promete desempenho superior ao Fable 5.1.