Tokenización

La tokenización es el primer paso para que un modelo de lenguaje pueda «leer»: un programa llamado tokenizador corta el texto en tokens y le asigna a cada uno un número de identificación dentro de un vocabulario fijo. Al generar, el proceso se invierte: los números se convierten de vuelta en texto.

Hay varias estrategias. Cortar por palabras completas obliga a tener vocabularios enormes y falla con palabras nuevas; cortar por caracteres produce secuencias demasiado largas. Por eso la mayoría de los modelos actuales usa subpalabras: métodos como Byte-Pair Encoding (BPE), adaptado al lenguaje natural por Sennrich y colegas en 2015, o SentencePiece, que unen los fragmentos más frecuentes. Así, palabras comunes quedan como un solo token y palabras raras se arman con piezas.

La tokenización tiene efectos poco evidentes. Como los tokenizadores se entrenan con más inglés, un mismo texto en español, náhuatl o maya suele requerir más tokens, lo que significa mayor costo y menos espacio en la ventana de contexto. También explica fallas curiosas: un modelo puede tropezar al contar letras de una palabra porque no «ve» letras sueltas, sino fragmentos.

No hay que confundirla con la «tokenización» en pagos o seguridad, que reemplaza datos sensibles (como un número de tarjeta) por un código sustituto.