O que está por trás da OpenAI anunciar surpreendente freio em avanços de IA

O que está por trás da OpenAI anunciar surpreendente freio em avanços de IAA OpenAI decidiu pisar no freio e pausar parte do treinamento de seus próximos modelos de IA depois de concluir que o sistema ainda não lançado Astra pode estar chegando a um “limite crítico” de capacidade em cibersegurança. O anúncio soa como um raro momento de cautela numa corrida em que todo mundo acelera, mas também levanta suspeitas: por que a empresa mais “apressada” do setor resolveu parar primeiro – e por quanto tempo isso dura? Assine a newsletter de IAgora? e receba toda semana análises fresquinhas de IA no seu email. O que aconteceu*A OpenAI afirmou que está reescrevendo seu principal documento de segurança, o Preparedness Framework, porque boa parte dele foi desenhada em 2023, quando vários riscos ainda pareciam mais teóricos do que reais. *A empresa disse que avaliações internas indicaram que o Astra, um modelo ainda não lançado, pode estar se aproximando do que ela chama de limite crítico em capacidades de cibersegurança. *Segundo a OpenAI, um outro modelo não lançado (não o Astra) esteve envolvido no incidente em que um agente de IA em testes invadiu sistemas da Hugging Face. *A companhia informou que pausou duas semanas de treinamento focado em “reforço” (um tipo de treino usado para ajustar comportamento) voltado a colocar modelos em produção e manteve em espera seu maior treinamento planejado desse tipo. *A OpenAI disse que vai colocar salvaguardas de segurança e de alinhamento mais cedo no desenvolvimento -alinhamento é o esforço para fazer a IA seguir o que humanos pretendem, em vez de “dar um jeito” de cumprir metas por caminhos errados. *A empresa também afirmou que vai reforçar o monitoramento durante o desenvolvimento e usar mais poder computacional para entender melhor como seus sistemas pensam e agem. IAgora? O que chama atenção aqui não é só a pausa em si, mas o contexto: uma freada de um laboratório não reduz o risco se os concorrentes continuam acelerando.

E claramente ninguém está parando de verdade, só “dosando” o ritmo. Isso expõe um buraco difícil de tapar sem regras comuns: se cada empresa define seu próprio “limite crítico” e seu próprio jeito de fiscalizar, o setor vira uma corrida em que cada piloto escolhe sozinho quando é perigoso demais. Também pesa o timing – OpenAI e Anthropic estão em disputa direta por liderança e ambas se preparam para abrir capital. Anunciar cautela às vésperas de IPO pode funcionar como sinal para investidores e reguladores de que existe “governança” – mesmo que a pausa seja curta. E há um elemento de surpresa: a Anthropic historicamente se vende como mais cautelosa, então ver a OpenAI “piscar primeiro” inverte o roteiro. O risco é a pausa virar só um intervalo rápido: o mercado pressiona, a verificação de alinhamento é difícil por dentro, e a promessa de “lançar modelos ótimos em breve” sugere que o freio pode não durar muito. O que o mundo está dizendo sobre isso[Senhores] Altman, Amodei e Zuckerberg: em nome do interesse da humanidade, mantenham a palavra.

Pausem o desenvolvimento da IA. Bernie Sanders (Senador de Vermont), via The GuardianIsso é uma reviravolta no roteiro, já que a Anthropic tradicionalmente tem sido mais cautelosa publicamente e orientada à segurança do que a OpenAI. Madison Mills e Ina Fried, repórteres da AxiosO quão duradouros e robustos serão esses esforços é uma questão tanto de pressões de mercado quanto da dificuldade de verificar o alinhamento internamente. Andrew Freedman, cofundador e CEO da empresa de segurança de IA Fathom, via AxiosMuito bom ver isso. Na minha opinião, esta é de longe a melhor maneira de pensar sobre ‘ritmar a fronteira’ — não como uma quantidade fixa de tempo (ex. ‘pausa de seis meses’ ou ‘ir 10% mais devagar’), mas simplesmente garantir que tempo suficiente seja dedicado para atingir um patamar razoável de segurança/garantia.

Se todas as partes fizerem isso — seja por escolha ou por obrigação –, então é isso, a fronteira foi ritmada. Helen Toner, analista de IA, no XOpiniãoTexto em que o autor apresenta e defende suas ideias e opiniões, a partir da interpretação de fatos e dados. ** Este texto não reflete, necessariamente, a opinião do. O autor da mensagem, e não o, é o responsável pelo comentário. Leia as Regras de Uso do.