O que são tokens em IA, quantas palavras eles têm e por que importam

Os tokens em IA são os pedaços em que o ChatGPT, o Claude ou o Gemini dividem o texto para lê-lo e escrevê-lo: uma palavra inteira, um pedaço de palavra ou um sinal. Em inglês, um token equivale a cerca de 4 caracteres ou três quartos de palavra, segundo o guia da OpenAI sobre tokens, e em português são necessários alguns a mais para dizer a mesma coisa. Eles importam porque a IA cobra por token e só consegue considerar um número limitado de cada vez: por isso, numa conversa muito longa, ela parece esquecer o começo.

Para pôr números nisso, em outubro de 2026 contamos os tokens do mesmo aviso de cerca de 100 palavras em quatro idiomas. Com a o200k_base, a codificação que a biblioteca oficial da OpenAI atribui ao GPT-4o e ao GPT-5, o português gastou 4% a mais que o inglês; com a cl100k_base, a do GPT-4, 32% a mais.

O que são tokens em IA e como funcionam?

Um token é a unidade com que um modelo de linguagem trabalha. O modelo não lê letras nem palavras: ele tem um catálogo fixo de peças, cerca de 200.000 na o200k_base, a codificação do GPT-4o e do GPT-5. Ele transforma o seu texto numa fila dessas peças e monta a resposta peça por peça, como quem brinca com blocos de montar.

Assim viaja uma mensagem:

Quantas palavras tem um token?

Em inglês, um token tem cerca de 4 caracteres ou três quartos de palavra: 100 tokens equivalem a umas 75 palavras, segundo a OpenAI. Para o Gemini, a documentação do Google usa a mesma conta de 4 caracteres e diz que 100 tokens são de 60 a 80 palavras em inglês. Em português são necessários alguns a mais.

O Claude segue o próprio caminho. Segundo o glossário da Anthropic, nos modelos anteriores ao Claude 4.7 um token tem cerca de 3,5 caracteres em inglês. A partir do Claude 4.7, um tokenizador mais recente produz aproximadamente 30% mais tokens para o mesmo texto.

Nos nossos testes com a o200k_base, 100 tokens deram para cerca de 90 palavras de inglês do dia a dia e para 73 a 83 de português. As regras oficiais são arredondamentos: servem para estimar, não para orçar.

Como a IA divide uma frase em tokens?

Ela quebra as palavras pouco comuns em pedaços menores, chamados subpalavras. Palavras frequentes ocupam um único token; as longas ou raras são montadas com vários e, no pior caso, com as peças mínimas, então nenhum texto fica de fora. O que ela não faz é cortar por sílabas nem por significado.

A técnica que a OpenAI usa se chama BPE (byte pair encoding), segundo a sua biblioteca tiktoken. Rico Sennrich, Barry Haddow e Alexandra Birch a adaptaram para dividir palavras num artigo apresentado no congresso ACL de 2016. O método começa pelas letras soltas e vai juntando os pares que mais se repetem.

Repare: o espaço vai grudado na palavra seguinte, os sinais são peças próprias e “otorrinolaringologista” ficou em cinco pedaços que não são sílabas. E a codificação nova tem mais peças do português: “Olá” e “marcar” passaram de dois tokens para um.

Por que o português gasta mais tokens que o inglês?

Porque cada tokenizador aprende suas peças com o texto em que é treinado, e nesse texto costuma predominar o inglês. É a explicação de Ahia e colegas num estudo apresentado na EMNLP 2023. Assim, as palavras em inglês cabem inteiras com mais frequência, e as nossas se dividem mais.

Medimos isso em outubro de 2026 com a gpt-tokenizer 4.1.0, uma biblioteca aberta que reproduz os tokenizadores da OpenAI. Ela dá os mesmos números que a OpenAI publicou ao apresentar o GPT-4o: 30 e 27 tokens para a sua frase em português. Contamos o mesmo aviso de uma padaria em quatro idiomas e confirmamos com outra biblioteca, a js-tiktoken 1.0.21.

A diferença depende do texto. Num segundo teste, uma instrução de cerca de 60 palavras para responder a um cliente, o português gastou 15% a mais que o inglês com a o200k_base e 31% a mais com a cl100k_base.

Estudos grandes apontam na mesma direção. Com 2.000 frases traduzidas para 200 idiomas, Petrov e colegas (NeurIPS 2023) mediram que o tokenizador do GPT-4 usa 1,48 token em português para cada um em inglês. E, segundo Ahia, as línguas com escrita própria, como o télugo, precisam de até 5 vezes mais.

Atenção: esses números são de tokenizadores da OpenAI. O Claude e o Gemini usam os seus, então os números mudam, e os dois oferecem formas oficiais de contar: a contagem de tokens da Anthropic, gratuita, e a função countTokens do Google.

Por que as IAs cobram por token?

Porque os tokens medem o trabalho do modelo: quanto mais ele tem de processar, mais demora, como apontam Petrov e colegas. Por isso as empresas cobram por milhão de tokens, com duas tarifas: uma pelo que você envia, a entrada, e outra, normalmente mais cara, pelo que o modelo escreve, a saída.

Um exemplo: em outubro de 2026, o Claude Sonnet 5.5 custa 2 dólares por milhão de tokens de entrada e 10 dólares por milhão de saída, segundo a página de preços da Anthropic. Cada token que ele escreve custa cinco vezes o que custa cada token que ele lê.

Nos modelos que raciocinam antes de responder, esse raciocínio não aparece, mas é cobrado como saída, explica a OpenAI. E nos apps do ChatGPT, do Claude ou do Gemini você normalmente não vê essa conta: o preço por milhão vale para as APIs, a conexão que empresas e programadores usam.

Nem toda IA é paga por uso: um modelo pequeno pode ser baixado uma vez e funcionar no seu celular ou computador. É assim que funciona a nossa ferramenta grátis para tirar o fundo de uma foto. Ela baixa uma rede neural de cerca de 14 MB e recorta no seu navegador, sem enviar a imagem para nenhum servidor.

Por que a IA esquece o que você disse?

Porque ela só consegue considerar um número limitado de tokens de cada vez: a sua janela de contexto. As suas mensagens e as respostas dela vão se somando ali, e quando a conversa não cabe mais, os apps de chat podem ir descartando o que é mais antigo. Além disso, com texto demais, o modelo lembra pior os detalhes.

A Anthropic a descreve como a “memória de trabalho” do modelo. O seu guia sobre janelas de contexto explica que apps de chat como o claude.ai podem administrá-la como uma fila: o primeiro a entrar é o primeiro a sair.

As janelas atuais são enormes: em outubro de 2026, os modelos mais novos do Gemini compartilham uma janela de 1.048.576 tokens entre o que leem, o raciocínio e a resposta, segundo o Google, e vários do Claude chegam a 1 milhão, segundo a Anthropic. Pela regra do Google, um milhão de tokens equivale a 600.000 a 800.000 palavras em inglês. Mas a Anthropic avisa que, quanto mais tokens, mais se degradam a precisão e a capacidade de lembrar.

Na prática: se uma conversa ficar muito longa, abra uma nova com um resumo do que importa e repita as instruções principais.

O que muda para você e para o seu negócio

Saber como os tokens são contados ajuda a gastar menos e a conseguir respostas melhores:

• Calcule com folga. Em português, conte de 1,2 a 1,4 token por palavra com a codificação do GPT-4o e do GPT-5, um pouco mais que em inglês. Para o número exato, cole um texto de exemplo no Tokenizer da OpenAI.
• Vá direto ao ponto. A enrolação é paga e ocupa espaço na janela: a OpenAI recomenda tirar o contexto desnecessário ou repetido e resumir o que é longo antes de enviar.
• Peça o tamanho de que você precisa. Se a saída custa cinco vezes mais que a entrada, pedir respostas curtas quando elas bastam é o jeito mais direto de economizar.
• Divida documentos enormes. Se um contrato ou um catálogo não cabe na janela, envie por partes, só com o que a tarefa pede.
• Compare por tarefa, não pelo preço por milhão. Como avisa a OpenAI, uma tarifa menor não garante um custo total menor, porque cada modelo divide o texto do seu jeito.

O que se exagera sobre os tokens

• “Um token é uma palavra.” Não: nos nossos testes, cada palavra em português ocupou de 1,2 a 1,4 token, e “otorrinolaringologista”, cinco.
• “Quanto mais tokens, melhor a resposta.” Mais texto não é mais qualidade: com contexto demais, o modelo lembra pior, como avisa a Anthropic. Dê a ele o necessário, não tudo o que você tem.
• “Tokenizadores novos sempre gastam menos.” O do GPT-4o reduziu os tokens do português, mas a Anthropic avisa que o do Claude 4.7 e posteriores produz aproximadamente 30% mais tokens para o mesmo texto.

O essencial sobre os tokens

Um token é um pedaço de texto, não uma palavra, e é com ele que se mede quase tudo na IA: o que ela lê, o que escreve, o que cobra e o que lembra. Escreva de forma direta, peça respostas do tamanho certo e, antes de gastar de verdade, meça os seus textos com o contador oficial.

E se você trabalha com textos em vários idiomas, o nosso tradutor grátis traduz entre mais de 20 idiomas e deixa você ouvir a pronúncia. Ele está, com outras utilidades, na biblioteca de ferramentas do Vertize Plus.

Perguntas frequentes