Qué son los tokens en IA, cuántas palabras son y por qué importan

Los tokens en IA son los trozos en que ChatGPT, Claude o Gemini parten el texto para leerlo y escribirlo: una palabra entera, un pedazo de palabra o un signo. En inglés, un token equivale a unos 4 caracteres o tres cuartos de palabra, según la guía de OpenAI sobre tokens, y en español hacen falta algunos más para decir lo mismo. Importan porque la IA cobra por token y solo puede tener en cuenta un número limitado a la vez: por eso, en una conversación muy larga, parece olvidar lo del principio.

Para ponerle números, en octubre de 2026 contamos los tokens del mismo aviso de unas 100 palabras en cuatro idiomas. Con o200k_base, la codificación que la librería oficial de OpenAI asigna a GPT-4o y GPT-5, el español gastó un 6 % más que el inglés; con cl100k_base, la de GPT-4, un 27 % más.

¿Qué son los tokens en IA y cómo funcionan?

Un token es la unidad con la que trabaja un modelo de lenguaje. El modelo no lee letras ni palabras: tiene un catálogo fijo de piezas, unas 200.000 en o200k_base, la codificación de GPT-4o y GPT-5. Convierte tu texto en una fila de ellas y arma la respuesta pieza a pieza, como quien construye con bloques.

Así viaja un mensaje:

¿Cuántas palabras es un token?

En inglés, un token son unos 4 caracteres o tres cuartos de palabra: 100 tokens equivalen a unas 75 palabras, según OpenAI. Para Gemini, la documentación de Google usa la misma cuenta de 4 caracteres y calcula que 100 tokens son entre 60 y 80 palabras en inglés. En español hacen falta algunos más.

Claude va por su cuenta. Según el glosario de Anthropic, en sus modelos anteriores a Claude 4.7 un token son unos 3,5 caracteres en inglés. Desde Claude 4.7, un tokenizador más reciente produce aproximadamente un 30 % más de tokens con el mismo texto.

En nuestras pruebas con o200k_base, 100 tokens alcanzaron para unas 90 palabras de inglés cotidiano y para entre 77 y 82 de español. Las reglas oficiales son redondeos para estimar, no para presupuestar.

¿Cómo divide la IA una frase en tokens?

Parte las palabras poco comunes en trozos más pequeños, llamados subpalabras. Las palabras frecuentes ocupan un solo token; las largas o raras se arman con varios y, en el peor de los casos, con piezas mínimas, así que ningún texto queda fuera. No corta por sílabas ni por significado.

La técnica que usa OpenAI se llama BPE (byte pair encoding), según su librería tiktoken. Rico Sennrich, Barry Haddow y Alexandra Birch la adaptaron para partir palabras en un artículo presentado en el congreso ACL de 2016. Se empieza con letras sueltas y se van uniendo los pares que más se repiten.

Fíjate: el espacio va pegado a la palabra siguiente, los signos son piezas propias y «otorrinolaringólogo» quedó en cinco trozos que no son sílabas. Y la codificación nueva tiene más piezas del español: «cómo» y «estás» pasaron de dos tokens a uno.

¿Por qué el español gasta más tokens que el inglés?

Porque cada tokenizador aprende sus piezas del texto con el que se entrena, y en ese texto suele dominar el inglés. Es la explicación que dan Ahia y su equipo en un estudio presentado en EMNLP 2023. Así, las palabras inglesas caben enteras más a menudo y las nuestras se parten más.

Lo medimos en octubre de 2026 con gpt-tokenizer 4.1.0, una librería abierta que reproduce los tokenizadores de OpenAI. Da las mismas cifras que OpenAI publicó al presentar GPT-4o: 29 y 26 tokens para su frase en español. Contamos el mismo aviso de una panadería en cuatro idiomas y lo confirmamos con otra librería, js-tiktoken 1.0.21.

La diferencia depende del texto. En una segunda prueba, una instrucción de unas 60 palabras para responder a un cliente, el español gastó un 21 % más que el inglés con o200k_base y un 40 % más con cl100k_base.

Los estudios grandes apuntan igual. Con 2.000 frases traducidas a 200 idiomas, Petrov y sus colegas (NeurIPS 2023) midieron que el tokenizador de GPT-4 usa 1,55 tokens en español por cada uno en inglés. Y según Ahia, a las lenguas con escritura propia, como el telugu, les hacen falta hasta 5 veces más.

Ojo: son cifras de tokenizadores de OpenAI. Claude y Gemini usan los suyos, así que sus números cambian, y ofrecen formas oficiales de contar: el conteo de tokens de Anthropic, gratis, y la función countTokens de Google.

¿Por qué las IA cobran por tokens?

Porque los tokens miden el trabajo del modelo: cuantos más tiene que procesar, más tarda, como señalan Petrov y sus colegas. Por eso las empresas cobran por millón de tokens y con dos tarifas: una por lo que envías, la entrada, y otra, normalmente más cara, por lo que el modelo escribe, la salida.

Un ejemplo: a octubre de 2026, Claude Sonnet 5.5 cuesta 2 dólares por millón de tokens de entrada y 10 dólares por millón de salida, según la página de precios de Anthropic. Cada token que escribe cuesta cinco veces lo que cada token que lee.

En los modelos que razonan antes de contestar, ese razonamiento no se ve pero se cobra como salida, explica OpenAI. Y en las apps de ChatGPT, Claude o Gemini normalmente no ves esta cuenta: el precio por millón es el de sus API, la conexión que usan empresas y programadores.

No toda la IA se paga por uso: un modelo pequeño puede descargarse una vez y trabajar en tu celular o computadora. Así funciona nuestra herramienta gratis para quitar el fondo de una foto: baja una red neuronal de unos 14 MB y recorta en tu navegador, sin subir la imagen a ningún servidor.

¿Por qué la IA se olvida de lo que le dijiste?

Porque solo puede tener en cuenta un número limitado de tokens a la vez: su ventana de contexto. Tus mensajes y sus respuestas se van sumando en ella, y cuando la conversación ya no cabe, las apps de chat pueden ir soltando lo más antiguo. Además, con muchísimo texto el modelo recuerda peor los detalles.

Anthropic la describe como la «memoria de trabajo» del modelo. Su guía sobre ventanas de contexto explica que apps de chat como claude.ai pueden manejarla como una fila: primero en entrar, primero en salir.

Las ventanas actuales son enormes: a octubre de 2026, los modelos más nuevos de Gemini comparten una ventana de 1.048.576 tokens entre lo que leen, lo que razonan y lo que responden, según Google, y varios de Claude llegan a 1 millón, según Anthropic. Con la regla de Google, un millón de tokens son entre 600.000 y 800.000 palabras en inglés. Pero Anthropic advierte que, cuantos más tokens, más se degradan la precisión y la capacidad de recordar.

Lo práctico: si una conversación se alarga mucho, abre una nueva con un resumen de lo importante y repite las instrucciones clave.

Qué cambia para ti y para tu negocio

Saber cómo se cuentan los tokens sirve para gastar menos y conseguir mejores respuestas:

• Calcula con margen. En español, cuenta entre 1,2 y 1,3 tokens por palabra con la codificación de GPT-4o y GPT-5, algo más que en inglés. Para la cifra exacta, pega un texto de muestra en el Tokenizer de OpenAI.
• Ve al grano. El relleno se paga y ocupa ventana: OpenAI recomienda quitar el contexto innecesario o repetido y resumir lo largo antes de enviarlo.
• Pide el largo que necesitas. Si la salida cuesta cinco veces más que la entrada, pedir respuestas cortas cuando bastan es la forma más directa de ahorrar.
• Divide los documentos enormes. Si un contrato o un catálogo no cabe en la ventana, pásalo por partes, con solo lo que la tarea necesita.
• Compara por tarea, no por precio por millón. Como advierte OpenAI, una tarifa más baja no garantiza un costo total menor, porque cada modelo parte el texto a su manera.

Lo que se exagera sobre los tokens

• «Un token es una palabra». No: en nuestras pruebas, cada palabra en español ocupó entre 1,2 y 1,3 tokens, y «otorrinolaringólogo», cinco.
• «Cuantos más tokens, mejor respuesta». Más texto no es más calidad: con mucho contexto, el modelo recuerda peor, como advierte Anthropic. Dale lo necesario, no todo lo que tienes.
• «Los tokenizadores nuevos siempre gastan menos». El de GPT-4o redujo los tokens del español, pero Anthropic avisa de que el de Claude 4.7 y posteriores produce aproximadamente un 30 % más con el mismo texto.

Lo esencial sobre los tokens

Un token es un pedazo de texto, no una palabra, y con él se mide casi todo en la IA: lo que lee, lo que escribe, lo que cobra y lo que recuerda. Escribe directo, pide respuestas del largo justo y, antes de gastar en serio, mide tus textos con el contador oficial.

Y si trabajas con textos en varios idiomas, nuestro traductor gratis los pasa entre más de 20 idiomas y te deja escuchar cómo suenan. Está, con otras utilidades, en la biblioteca de herramientas de Vertize Plus.

Preguntas frecuentes