Token
Un token es la unidad que los modelos de IA realmente leen y escriben: un fragmento de palabra de unos pocos caracteres; en 1.000 tokens caben aproximadamente 750 palabras en inglés.
Los modelos nunca ven letras ni palabras enteras. Antes de que un texto les llegue, se trocea en tokens de un vocabulario fijo: las palabras comunes sobreviven como una pieza, las raras se dividen en fragmentos, y el código o las grafías inusuales se astillan en muchos. Todo lo que rodea a un modelo se cobra y se mide en esta unidad: tarifas de API por millón de tokens, ventanas de contexto en miles de tokens, velocidad de generación en tokens por segundo.
El enfoque por fragmentos es lo que permite que un vocabulario fijo de algunas decenas de miles de piezas cubra cualquier entrada: todos los idiomas, todas las erratas, todos los lenguajes de programación. Un efecto secundario que conviene conocer: los idiomas distintos del inglés suelen necesitar más tokens para la misma frase, así que la misma conversación puede costar más y llenar el contexto antes.
Para la intuición diaria, dos reglas generales llegan lejos: un token son unos cuatro caracteres en inglés, y mil tokens son un correo electrónico largo.
Dónde lo ves en el radar
La calculadora de costos expresa sus cargas de trabajo en tokens por día, la unidad en la que se mide cada precio de la página, desde tarifas de API hasta lo que realmente cuesta tu propio hardware.
Ver cuánto cuesta un día de tokens →Términos relacionados