'Crítico': como é escala que OpenAI usa para classificar perigo dos modelos

‘Crítico’: como é escala que OpenAI usa para classificar perigo dos modelosQuando a OpenAI diz que o GPT-6 Astra é seu primeiro modelo de nível “crítico” em cibersegurança, ela está usando uma régua que criou para si mesma: o Preparedness Framework, documento interno que define quando uma inteligência artificial fica capaz o bastante para abrir caminho a danos graves. A régua tem apenas dois degraus – e o Astra é o primeiro a alcançar o mais alto deles. O que aconteceu*O Preparedness Framework existe desde dezembro de 2023 e está na segunda versão, atualizada em abril de 2025. Ele descreve como a OpenAI mede capacidades de fronteira que podem gerar o que a empresa chama de “dano grave”: a morte ou ferimento grave de milhares de pessoas, ou centenas de bilhões de dólares em prejuízo econômico. *A escala tem dois degraus: o nível alto (“High”) é o de capacidades que amplificam significativamente caminhos de dano que já existem, enquanto o nível crítico (“Critical”) é o de capacidades que abrem um tipo de ameaça qualitativamente novo, sem precedente conhecido.

É neste último que está o Astra. *A diferença entre os dois não é só de nomenclatura. Modelos de nível alto precisam de salvaguardas suficientes antes de serem lançados.

Modelos de nível crítico exigem salvaguardas já durante o desenvolvimento, independentemente de haver ou não plano de lançamento. *O documento monitora de perto três áreas, chamadas de Categorias Rastreadas: capacidades biológicas e químicas, cibersegurança e autoaperfeiçoamento da IA — a habilidade de um sistema acelerar a pesquisa em IA, inclusive a própria. *Para uma capacidade entrar nessa lista, o risco precisa cumprir cinco critérios: ser plausível, mensurável, severo, inédito (não realizável com as ferramentas disponíveis até 2021) e instantâneo ou irremediável. *No caso da cibersegurança, o limiar crítico está definido com precisão no documento: um modelo com ferramentas acopladas capaz de identificar e desenvolver falhas zero-day funcionais de todos os níveis de gravidade em muitos sistemas críticos reais bem protegidos, sem intervenção humana — ou capaz de conceber e executar estratégias inéditas de ataque de ponta a ponta contra alvos endurecidos, recebendo apenas um objetivo geral. *O risco associado, segundo a própria OpenAI, é de “catástrofe por atores unilaterais, invasão de sistemas militares ou industriais, ou da infraestrutura da OpenAI”. *A salvaguarda prevista no papel para esse patamar é dura: interromper o desenvolvimento até que estejam especificados padrões de proteção e controles de segurança à altura do nível crítico. Foi o que a OpenAI diz ter feito: depois do incidente com a Hugging Face, a empresa pausou por duas semanas parte do treinamento de fronteira, inclusive do Astra, para reforçar isolamento, controles de rede e monitoramento. *Ou seja: pela letra do documento, o procedimento foi cumprido. O que o framework não define é quem atesta que os padrões ficaram “suficientes” – essa avaliação também é interna. *Há ainda uma segunda lista, as Categorias de Pesquisa – riscos que ainda não têm modelo de ameaça maduro o bastante para medição rigorosa: autonomia de longo alcance, sandbagging (a IA fingir ter menos capacidade em avaliações), replicação e adaptação autônomas, sabotagem das próprias salvaguardas, e capacidades nucleares e radiológicas. *Quem decide se um limiar foi cruzado é um grupo interno chamado Safety Advisory Group (SAG), formado por líderes de segurança da empresa.

Ele recomenda; a liderança da OpenAI decide. O documento é explícito ao dizer que a liderança pode decidir sem a participação do SAG e que o grupo “não tem a capacidade de fazer obstrução”. Um comitê do conselho supervisiona e pode reverter decisões. *O framework prevê também uma cláusula de “risco marginal”: se outro laboratório lançar um sistema de capacidade alta ou crítica sem salvaguardas comparáveis, a OpenAI pode reduzir suas próprias exigências – desde que reconheça publicamente o ajuste, avalie que ele não aumenta o risco geral e mantenha proteções ainda mais fortes que as do concorrente. *Segundo a Axios, a OpenAI informou em agosto que está reescrevendo o Preparedness Framework, justamente porque seus modelos começaram a se aproximar dos limiares críticos imaginados num documento cuja maior parte data de 2023. IAgora? O ponto que merece atenção não é a existência da régua, mas quem a segura.

O Preparedness Framework é uma autorregulação: a OpenAI define o que conta como dano grave, define os limiares, mede os próprios modelos, avalia as próprias salvaguardas e decide se pode lançar. O grupo que faz a recomendação técnica é interno e, pelo próprio texto do documento, não tem poder de veto sobre a liderança. Isso não torna o framework irrelevante — pelo contrário: ele é hoje um dos poucos documentos públicos em que uma empresa de fronteira descreve, com nome e número, o que consideraria perigoso demais para lançar. E, no caso do Astra, o procedimento previsto foi seguido: houve pausa, reforço de infraestrutura e retomada só depois de estabelecidos novos requisitos.

A régua funcionou como freio. O incômodo está no ritmo. A versão 2 dizia que a empresa não tinha nenhum modelo em nível crítico e que esperava atualizar o framework antes de chegar a esse ponto. Um ano e quatro meses depois, chegou — e a atualização vem correndo atrás.

O documento está sendo reescrito enquanto o modelo que o estressou já entra em liberação – a régua está sendo redesenhada com a peça em cima dela. Some-se a isso a cláusula de risco marginal, que autoriza afrouxar salvaguardas se um concorrente lançar algo comparável sem elas. Ela é honesta ao reconhecer que segurança isolada não impede um risco que já está no mercado, mas cria uma trava que depende inteiramente do comportamento alheio – e transforma o ritmo da corrida entre laboratórios em variável da política de segurança de cada um deles. No fim, a régua da OpenAI responde bem a “o modelo é perigoso?” e mal a “quem verifica?”. Enquanto não houver auditoria externa vinculante ou regulamentação, a classificação de “crítico” continuará sendo, ao mesmo tempo, um alerta técnico legítimo e um documento produzido por parte interessada. OpiniãoTexto em que o autor apresenta e defende suas ideias e opiniões, a partir da interpretação de fatos e dados. ** Este texto não reflete, necessariamente, a opinião do.

O autor da mensagem, e não o, é o responsável pelo comentário. Leia as Regras de Uso do.