Tamaño de lote (batch size)

El tamaño de lote (batch size) indica cuántos ejemplos procesa el modelo en cada paso de entrenamiento antes de actualizar sus parámetros. En lugar de calcular el error sobre todos los datos de una vez, lo que sería lento y exigiría muchísima memoria, o sobre un solo ejemplo, lo que haría el aprendizaje muy ruidoso, se usan grupos de tamaño intermedio llamados minilotes: 32, 256 o miles de ejemplos.

En cada paso, el modelo hace predicciones para todo el lote, calcula la pérdida promedio y el descenso de gradiente ajusta los pesos. Así, el número de pasos por época es el total de ejemplos dividido entre el tamaño de lote.

Es un hiperparámetro con consecuencias prácticas:

• Lotes grandes aprovechan mejor el paralelismo de las GPU y dan estimaciones del gradiente más estables, pero exigen más memoria y a menudo requieren ajustar la tasa de aprendizaje.
• Lotes pequeños caben en equipos modestos y su «ruido» puede ayudar a generalizar, pero hacen el entrenamiento más lento por ejemplo procesado.

Cuando la memoria no alcanza, se puede acumular el gradiente de varios lotes pequeños antes de actualizar, simulando uno grande. En los modelos de lenguaje, el tamaño de lote suele expresarse en tokens. Ojo con una confusión: en servicios de IA, «procesamiento por lotes» (batch) también designa enviar muchas solicitudes de inferencia juntas para que se procesen más tarde y más barato; es un uso distinto del término.