Descenso de gradiente

El descenso de gradiente es el método más usado para entrenar modelos de aprendizaje automático, en especial las redes neuronales. Su objetivo es encontrar los valores de los parámetros que minimizan la función de pérdida.

La analogía clásica es la de alguien que baja una montaña con niebla: no ve el valle, pero puede sentir la pendiente bajo sus pies y dar un paso hacia donde el terreno desciende más. El gradiente es precisamente esa información: indica, para cada parámetro, hacia dónde y cuánto aumenta la pérdida. El algoritmo da un paso en sentido contrario y repite. El tamaño del paso lo fija la tasa de aprendizaje, un hiperparámetro delicado: si es muy grande, el modelo «brinca» y no converge; si es muy pequeña, el entrenamiento se eterniza.

La idea es antigua: suele atribuirse a Augustin-Louis Cauchy, que la propuso en 1847. En la práctica moderna no se calcula el gradiente con todos los datos a la vez, sino con pequeños lotes elegidos al azar; esa variante se llama descenso de gradiente estocástico o por minilotes, y se relaciona con el tamaño de lote. Optimizadores como Adam ajustan automáticamente el tamaño del paso. En redes neuronales, los gradientes se calculan con retropropagación.

Un matiz: en problemas complejos, el descenso de gradiente no garantiza encontrar el mínimo absoluto; puede quedarse en mínimos locales o zonas planas. Aun así, en redes grandes suele llegar a soluciones que generalizan bien.