¿Cuántos tokens más gasta el español que el inglés? Medido en 7 tokenizadores

El mismo texto en español gasta entre un 12,5 % y un 33,8 % más tokens que en inglés, según el tokenizador. Con o200k_base (la familia GPT-4o/GPT-5) el sobrecoste es del 16,3 %; con cl100k_base (GPT-4 y GPT-3.5), Llama 3, Qwen3 y DeepSeek-V3 supera el 30 %. En portugués, entre un 10,4 % y un 30,0 %. Medido el 18 de octubre de 2026 sobre 2000 frases paralelas del corpus OPUS-100.

Las cifras que circulan en medios y blogs no coinciden entre sí y casi siempre salen de un párrafo suelto. Aquí está la medida con corpus, código y resultados en bruto.

Definiciones

• Token: la unidad en la que un modelo trocea el texto. Los proveedores cobran y limitan el contexto por tokens, no por palabras.
• Tokenizador: el algoritmo y el vocabulario que hacen ese troceo. Cada familia de modelos usa el suyo.
• Sobrecoste: tokens del texto en español ÷ tokens del mismo texto en inglés − 1, sobre el total del corpus. Si a igualdad de precio por token gastas un 16,3 % más de tokens, pagas un 16,3 % más.

Hipótesis

1. El español gasta más tokens que el inglés en todos los tokenizadores.
2. La diferencia depende mucho más del tokenizador que del idioma: los vocabularios recientes y multilingües la reducen.
3. Parte del sobrecoste no es culpa del tokenizador: la traducción al español ya es más larga.

Montaje

• Corpus: split de test de OPUS-100, pares inglés–español e inglés–portugués, 2000 frases paralelas cada uno. En el par inglés–español, el español tiene un 7,25 % más de caracteres (ratio 1,0725) y un 4,72 % más de palabras (ratio 1,0472) que el inglés.
• Tokenizadores (7): o200k_base y cl100k_base (tiktoken), y los tokenizer.json públicos de Llama 3, Gemma 3, Qwen3, DeepSeek-V3 y Mistral Tekken (Nemo). Conteo sin tokens especiales.
• Incertidumbre: intervalo de confianza del 95 % por bootstrap, remuestreando frases 2000 veces.
• Velocidad: 7 pasadas por tokenizador sobre las 2000 frases en español, una llamada por frase.
• Equipo: portátil Apple M1 Max con 64 GB, macOS 26.6.2, Python 3.12.4.

Resultados

Español frente a inglés

Tokenizador	Tokens en inglés	Tokens en español	Sobrecoste	IC 95 % del ratio	Tokens por palabra (es)
Gemma 3	33.647	37.863	+12,5 %	1,106–1,143	1,42
o200k_base (GPT-4o/GPT-5)	32.214	37.478	+16,3 %	1,145–1,182	1,41
Mistral Tekken (Nemo)	33.878	39.647	+17,0 %	1,152–1,188	1,49
DeepSeek-V3	32.840	42.870	+30,5 %	1,284–1,326	1,61
Qwen3	33.582	44.360	+32,1 %	1,300–1,342	1,66
Llama 3	32.922	43.981	+33,6 %	1,313–1,357	1,65
cl100k_base (GPT-4/3.5)	32.935	44.067	+33,8 %	1,317–1,358	1,65

En inglés, todos rondan los 1,3 tokens por palabra (de 1,27 en o200k_base a 1,33 en Tekken). En español la horquilla se abre: de 1,41 a 1,66.

Portugués frente a inglés

Tokenizador	Sobrecoste	IC 95 % del ratio
Gemma 3	+10,4 %	1,083–1,124
o200k_base (GPT-4o/GPT-5)	+10,6 %	1,087–1,125
Mistral Tekken (Nemo)	+14,6 %	1,123–1,167
DeepSeek-V3	+26,0 %	1,236–1,283
Qwen3	+28,0 %	1,255–1,306
Llama 3	+29,8 %	1,273–1,322
cl100k_base (GPT-4/3.5)	+30,0 %	1,276–1,325

Velocidad de tokenización (2000 frases en español, 7 pasadas)

Tokenizador	Mediana	Mín.–máx.	Millones de caracteres/s
o200k_base (tiktoken)	7,16 ms	7,14–8,63 ms	22,15
cl100k_base (tiktoken)	11,6 ms	11,58–12,97 ms	13,67
Gemma 3 (tokenizers)	39,01 ms	38,91–41,29 ms	4,07
Mistral Tekken (tokenizers)	58,01 ms	57,78–61,4 ms	2,73
Llama 3 (tokenizers)	62,13 ms	60,69–66,16 ms	2,55
Qwen3 (tokenizers)	67,38 ms	64,13–70,18 ms	2,35
DeepSeek-V3 (tokenizers)	72,42 ms	72,11–73,56 ms	2,19

Contar tokens en local nunca es el cuello de botella: el más lento procesa las 2000 frases en menos de 75 ms.

Qué significa

• Las tres hipótesis se cumplen. El español siempre cuesta más, pero el tokenizador decide si es un 12,5 % o un 33,8 %.
• Una parte no se puede evitar. El texto en español ya tiene un 7,25 % más de caracteres. Con Gemma 3 y o200k_base el sobrecoste queda cerca de esa cifra; con cl100k_base, Llama 3, Qwen3 y DeepSeek-V3 el tokenizador añade bastante más encima.
• Para una empresa que trabaja en español: al comparar precios entre modelos, multiplica el precio por millón de tokens por el ratio de su tokenizador. Un modelo con precio por token algo más bajo pero con un tokenizador que gasta un 33,8 % más puede salir más caro con tus textos.
• Lo mismo vale para el contexto. Con cl100k_base, una ventana de N tokens solo admite el texto en español equivalente a N ÷ 1,338 tokens en inglés. Hay que tenerlo en cuenta al dimensionar el troceo de documentos para RAG y la memoria de los agentes.

Cuándo usar cada opción

• Si eliges entre modelos abiertos para textos en español o portugués: los tokenizadores de Gemma 3 y Mistral Tekken gastan menos que los de Llama 3, Qwen3 y DeepSeek-V3.
• Si aún usas modelos con cl100k_base: pasar a uno con o200k_base reduce los tokens del mismo texto en español de 44.067 a 37.478 en este corpus.
• ¿Escribir los prompts en inglés para ahorrar? Solo compensa en las instrucciones fijas que se repiten en cada llamada. Lo que el usuario escribe y lo que se le responde tiene que ir en su idioma.

Limitaciones

• Un solo corpus: OPUS-100 mezcla frases cortas de subtítulos, software y textos generales. Prompts técnicos largos, código o JSON pueden dar ratios distintos.
• Los pares inglés–español e inglés–portugués no comparten las mismas frases en inglés, así que el portugués no es directamente comparable con el español frase a frase.
• No se midió el tokenizador de Claude ni el de Gemini en la API: no son públicos y contarlos exige una clave de API. Gemma 3 es de Google, pero eso no garantiza que Gemini tokenice igual.
• La etiqueta «GPT-4o/GPT-5» indica la familia que usa o200k_base según tiktoken; no se verificó contra la facturación de la API.
• Las velocidades vienen de un solo portátil con otras apps abiertas y mezclan dos librerías (tiktoken y tokenizers) llamadas frase a frase desde Python. Sirven para el orden de magnitud, no para comparar motores.
• Los conteos de tokens son deterministas: repetir la prueba da exactamente las mismas cifras con las mismas revisiones (en entorno.txt).

Cómo repetirlo

Código, entorno y resultados en bruto (conteo frase a frase y cada repetición de la medida de velocidad): yeswelab-laboratorio/tokens-espanol-vs-ingles-coste-llm en GitHub. Se ejecuta en menos de un minuto, sin cuentas ni claves.

Relacionado

• Code Execution con MCP: cómo reducir tokens en agentes
• Context engineering y context bloat en agentes de IA
• Enrutado de agentes: coste y latencia por modelo

¿Quieres saber cuánto te costará tu caso real con cada modelo antes de elegir proveedor? Encárganos el experimento.