Token

Un token es el pedazo de texto con el que realmente trabaja un modelo de lenguaje. No siempre coincide con una palabra: puede ser una palabra completa («casa»), una parte («compu» + «tadora»), un signo de puntuación o un espacio. El proceso que corta el texto en tokens se llama tokenización.

Los modelos leen y escriben token por token. Cada token se convierte en un número y luego en un vector (embedding); el modelo calcula cuál es el siguiente token más probable, lo agrega y repite. Por eso las respuestas aparecen «escribiéndose» poco a poco en pantalla.

Los tokens importan por tres razones prácticas. Primero, el límite de lo que un modelo puede considerar a la vez, su ventana de contexto, se mide en tokens. Segundo, las API cobran por tokens de entrada y de salida. Tercero, la velocidad se mide en tokens por segundo.

Una regla aproximada que citan los proveedores es que en inglés un token equivale a unos cuatro caracteres. En español y otros idiomas el texto suele dividirse en más tokens por palabra, porque los tokenizadores se entrenaron con más texto en inglés. Las imágenes, el audio y el video también se convierten en tokens en los modelos multimodales.