Hiperparámetro

Un hiperparámetro es un ajuste que controla cómo se entrena un modelo o qué forma tiene, y que no se aprende de los datos sino que lo elige quien lo construye. Se distingue de los parámetros (los pesos), que el modelo sí ajusta automáticamente durante el entrenamiento.

Ejemplos típicos son la tasa de aprendizaje del descenso de gradiente, el tamaño de lote, el número de épocas, la cantidad de capas y neuronas de una red, la profundidad máxima de un árbol de decisión, el número de árboles de un bosque aleatorio o la intensidad de la regularización. En un clúster con k-medias, el propio número de grupos k es un hiperparámetro.

Elegirlos bien puede marcar una gran diferencia en el resultado. El proceso se llama ajuste u optimización de hiperparámetros y se hace probando combinaciones y comparando su desempeño en el conjunto de validación o mediante validación cruzada. Hay estrategias de búsqueda en cuadrícula, búsqueda aleatoria y métodos más eficientes como la optimización bayesiana. Nunca se deben elegir mirando el conjunto de prueba, porque eso infla los resultados.

En los modelos de lenguaje, el término también aparece en el uso cotidiano: la temperatura o el top-p con que se genera texto a veces se llaman hiperparámetros de muestreo, aunque técnicamente son ajustes de inferencia, no de entrenamiento.