Token de IA: como idioma está afetando o uso sua da inteligência artificial

ReportagemToken de IA: como idioma está afetando o uso sua da inteligência artificialVocê muito provavelmente já sentiu isso na pele: está no meio de uma tarefa e a interação com a IA está indo bem, até que o chatbot avisa que o limite da conta foi atingido. De repente, a conversa para e você não pode fazer mais nada. Se você usa IA regularmente, certamente já ouviu falar em tokens pra lá, tokens para cá. O termo quase sempre aparece quando falamos de custos, limites de uso e capacidades dos modelos de IA.

Nessas horas, é comum as pessoas falarem “meus tokens acabaram”. Mas o token está deixando de ser apenas uma unidade técnica escondida dentro do modelo e já vira uma das unidades mais importantes do nosso tempo. Por isso, é importante saber de onde esse termo vem e para onde ele vai. Quando você envia um pedido para uma IA, a máquina não lê da mesma forma que nós. Antes de processá-lo, precisa quebrar o texto em pequenas unidades denominadas tokens. Uma palavra pode virar um único token, mas muitas vezes o modelo precisa de vários tokens para representar uma palavra.

Tudo depende de como a empresa que desenvolveu a IA criou o seu vocabulário e como o seu tokenizador aprendeu a dividir as línguas. É aqui que a história começa a ficar interessante. O token não é uma unidade natural da linguagem, mas algo criado pela própria máquina. Durante seu treinamento, ao processar uma quantidade enorme de texto, o tokenizador cria um vocabulário de palavras recorrentes. As mais frequentes podem ganhar uma representação própria, enquanto as outras acabam divididas em vários tokens. Como a língua inglesa é dominante nos modelos, acaba muito melhor representada do que as demais.

Alguns estudos mostram que outras línguas, como o português, podem necessitar, em média, de até 30% mais tokens no uso diário de IA. Isso acontece não apenas devido à complexidade da língua, mas porque as suas palavras são pior representadas nos modelos. Nos exemplos abaixo, usei o tokenizador oficial da OpenAI para mostrar a representação de palavras com tradução direta entre inglês e português. Veja: Inglês: [computer] → 1 tokenPortuguês: [comput][ador] → 2 tokensOutro exemplo: Inglês: [academy] → 1 tokenPortuguês: [academ][ia] → 2 tokensEm ambos os casos, o ChatGPT gastaria o dobro de tokens para processar palavras equivalentes em línguas diferentes.

Isso importa porque os tokens agora definem o custo, os limites de uso, o tamanho da janela de contexto e a velocidade dos modelos. Uma diferença que parece apenas técnica acaba criando um abismo invisível entre falantes de línguas diferentes. Só que essa contagem deixou de ficar dentro da máquina e passou a ser usada como medida para outras dimensões da vida humana: trabalho, produtividade, atividade econômica e até mesmo para cálculo de impostos. Um tempo atrás, escrevi sobre uma mudança de comportamento pela qual as empresas estavam passando ao incentivar a maximização do uso de tokens pelos seus funcionários, buscando a promessa de ganho de produtividade. Isso tinha até ganhado um nome: Token Maxxing. Mas essa lógica de transformar tokens em uma espécie de unidade de medida já começa a escapar das empresas e chegar ao debate econômico. Nesta semana, Bill Gates escreveu uma importante carta sobre o avanço da tecnologia.

Entre muitas coisas, ele defendeu a cobrança de impostos sobre tokens de IA como forma de compensar a destruição de trabalhos humanos. Os dois exemplos mostram que há um movimento meio afobado para tentar metrificar as coisas do mundo por meio de tokens. Em alguns casos, pode fazer sentido, em outros não. No caso da sugestão do Bill Gates, já tem muitos comentários de que ele acerta no diagnóstico, mas erra no remédio. Tributar token de IA seria como tributar teclas de máquinas de escrever, o que mede o esforço, mas não necessariamente a substituição de trabalho. Se vamos mesmo usar tokens para calcular preço, produtividade ou até imposto, precisamos lembrar que, antes de medir o mundo com uma régua, é bom saber quem foi que desenhou as marcações – e se elas fazem sentido. ReportagemTexto que relata acontecimentos, baseado em fatos e dados observados ou verificados diretamente pelo jornalista ou obtidos pelo acesso a fontes jornalísticas reconhecidas e confiáveis.

O autor da mensagem, e não o, é o responsável pelo comentário. Leia as Regras de Uso do.