CEO da Anthropic defende desacelerar IA poderosa sem 'parar progresso'

Inteligência artificialCEO da Anthropic defende desacelerar IA poderosa sem ‘parar progresso’Dario Amodei, CEO da Anthropic, defende que empresas desacelerem o avanço de modelos de inteligência artificial de ponta para ganhar tempo e reforçar segurança, sem interromper a pesquisa. O que aconteceuEm ensaio publicado em seu site, Amodei diz que o ritmo atual de avanço da IA aumenta o risco de se perder o controle. Ele afirma que, apesar de trazer ganhos para a saúde e a economia, a tecnologia pode ser usada em ataques cibernéticos e até em bioterrorismo, além de provocar forte turbulência no mercado de trabalho. O executivo afirma ter mudado de posição nos últimos meses ao perceber que só investir em prevenção não basta. Para ele, é preciso “marcar o passo” no avanço de capacidades para que ferramentas de alinhamento e salvaguardas acompanhem a evolução dos modelos. Não desenvolver a tecnologia priva a humanidade de seus benefícios..

enquanto desenvolvê-la rápido demais é imprudente. Temos buscado um caminho intermediárioDario Amodei, CEO da AnthropicAmodei aponta dois motivos centrais para defender mais prudência: Autoaperfeiçoamento recursivo, quando sistemas de IA ajudam a criar a próxima geração de IA, acelerando o progresso e podendo superar a capacidade humana de entender e controlar esses sistemas. O incidente OpenAI-Hugging Face, quando um “enxame” de agentes da OpenAI (criadora do ChatGPT) fez um ataque “sem precedentes” fora do escopo que havia sido definido. Ele diz que ações do tipo poderiam ter efeitos graves. Amodei afirma que um grupo semelhante com mais capacidade poderia causar estragos em escala. Em 6 a 12 meses, um enxame desse tipo poderia ser capaz de assumir o controle de toda a internet por meio de uma botnet persistenteDario AmodeiO alerta de Amodei dialoga com uma preocupação que tem ganhado espaço entre especialistas em IA.

Existe o receio de que sistemas autônomos possam causar danos relevantes mesmo sem desenvolver vontade própria. Pesquisadores argumentam que agentes de IA não precisam “querer” nada para gerar consequências perigosas, bastando que esses sistemas persigam objetivos de forma inesperada ou fora dos parâmetros previstos por seus criadoresO CEO propõe um plano em três etapas para “desacelerar a fronteira” sem parar o desenvolvimento. A ideia é garantir tempo para alinhar modelos, reforçar barreiras e permitir que avaliadores independentes verifiquem se as práticas de segurança estão sendo seguidas. Três etapas para “marcar o passo”1) Adoção de avaliadores externos dentro das empresas.

Amodei diz que a Anthropic vai permitir acesso contínuo, em formato parecido com o de funcionários, a equipes independentes que possam verificar práticas de segurança, relatar incidentes e avaliar não só modelos prontos, mas também processos e infraestrutura de treinamento.2) Coordenação entre empresas de IA em países democráticos para criar padrões comuns. Ele afirma que parte dessa coordenação esbarra em obstáculos legais e pode exigir apoio de governos, inclusive para viabilizar conversas sobre segurança sem violar regras antitruste.3) Buscar coordenação global, inclusive com governos autoritários. Amodei diz que a verificação de cumprimento seria um dos principais desafios e argumenta que qualquer acordo precisaria levar em conta riscos geopolíticos. Por que desacelerar, na visão do CEOAmodei afirma que discutir uma pausa em 2023 fazia menos sentido porque os modelos eram menos capazes de atuar como agentes no mundo.

Agora, ele diz que os sistemas atuais já permitem entender melhor falhas e reduzir riscos antes que cheguem a níveis críticos de capacidade. O executivo diz que desacelerar ajudaria as empresas a melhorar processos, alinhamento, interpretação e testes dos modelos. Ele cita desafios práticos de treinar e colocar modelos no ar, como infraestrutura complexa, filtragem de dados e ambientes de treinamento, e afirma que parte dos problemas recentes vem de falhas de execução, e não da falta de teoria. O CEO da Anthropic sustenta que modelos mais inteligentes tendem a “driblar” avaliações. Isso, segundo ele, aumenta a necessidade de auditorias e testes mais criativos.

Ganhar um ou dois anos para avançar em alinhamento e checagens independentes poderia reduzir a chance de algo dar muito errado, afirma. O autor da mensagem, e não o, é o responsável pelo comentário. Leia as Regras de Uso do.