Anthropic revela o que acontece dentro da IA antes de ela responder

A empresa de inteligência artificial (IA) Anthropic desenvolveu uma técnica que lhe deu a visão mais clara até agora sobre o que realmente acontece dentro dos grandes modelos de linguagem (LLMs) enquanto respondem a perguntas ou executam tarefas.

O que é o J-space?

O J-space contém palavras individuais relacionadas às palavras e frases que o modelo tem maior probabilidade de produzir em uma resposta no futuro próximo.

Como funciona a J-lens?

A J-lens da Anthropic funciona de forma semelhante, mas identifica palavras que um LLM provavelmente dirá em algum momento no futuro próximo, não necessariamente de imediato.

Resultados

• Grande parte do tempo, o conteúdo do J-space é bastante trivial.
• A J-lens expôs os passos que o Claude seguiu ao resolver um problema.
• A J-lens revelou como o Claude reconheceu diferentes entradas.
• A J-lens pode, às vezes, oferecer insights notáveis sobre a tomada de decisão de um LLM.

Limitações

A J-lens pode dar vislumbres, não o quadro completo.

Conclusão

A Anthropic afirma que monitorar o J-space de um modelo oferece uma nova maneira de detectar quando esse modelo está saindo dos trilhos.