Token
Um token é a unidade que os modelos de IA realmente leem e escrevem: um fragmento de palavra de poucos caracteres; em 1.000 tokens cabem aproximadamente 750 palavras em inglês.
Os modelos nunca veem letras nem palavras inteiras. Antes de qualquer texto chegar a um deles, ele é picado em tokens de um vocabulário fixo: palavras comuns sobrevivem como uma peça, palavras raras são divididas em fragmentos, e código ou grafias incomuns se estilhaçam em muitos. Tudo em torno de um modelo é cobrado e medido nessa unidade: tarifas de API por milhão de tokens, janelas de contexto em milhares de tokens, velocidade de geração em tokens por segundo.
A abordagem por fragmentos é o que permite que um vocabulário fixo de algumas dezenas de milhares de peças cubra qualquer entrada: todos os idiomas, todos os erros de digitação, todas as linguagens de programação. Um efeito colateral que vale conhecer: idiomas diferentes do inglês geralmente precisam de mais tokens para a mesma frase, então a mesma conversa pode custar mais e encher o contexto mais depressa.
Para a intuição do dia a dia, duas regras de bolso vão longe: um token são cerca de quatro caracteres em inglês, e mil tokens são um e-mail longo.
Onde você vê isso no radar
A calculadora de custos expressa as cargas de trabalho em tokens por dia, a unidade em que todo preço da página é medido, das tarifas de API ao que o seu próprio hardware efetivamente custa.
Ver quanto custa um dia de tokens →Termos relacionados