Muestreo top-p (núcleo)

El muestreo top-p, también llamado muestreo de núcleo (nucleus sampling), es una forma de decidir qué token escribe un modelo en cada paso. Lo propusieron Holtzman y colegas en 2019, en un artículo que estudiaba por qué los textos generados por máquina tendían a volverse repetitivos o, al contrario, incoherentes.

Funciona así: el modelo ordena los tokens posibles de mayor a menor probabilidad y los va sumando hasta alcanzar un umbral p (por ejemplo, 0.9, es decir, 90 %). Ese grupo es el «núcleo». Luego sortea el siguiente token sólo dentro del núcleo y descarta el resto de opciones poco probables, que suelen ser las que producen disparates.

La ventaja frente a un método más simple, el top-k (quedarse siempre con las k opciones más probables), es que el tamaño del núcleo se adapta: cuando el modelo está muy seguro, el núcleo tiene pocas opciones; cuando hay muchas continuaciones razonables, incluye más.

Un top-p bajo vuelve las respuestas más conservadoras; uno cercano a 1 permite más variedad. Se usa junto con la temperatura, y muchos proveedores recomiendan modificar uno u otro, no ambos. Al igual que la temperatura, es un parámetro de generación que se configura normalmente desde la API, no desde la app de chat.