Retropropagación (backpropagation)

La retropropagación (backpropagation) es el algoritmo que permite entrenar redes neuronales de muchas capas. Su función es calcular, de forma eficiente, el gradiente de la función de pérdida respecto a cada peso de la red: es decir, cuánto y en qué dirección cambiaría el error si se modificara ese peso un poco.

Funciona en dos pasadas. En la pasada hacia adelante, los datos atraviesan la red y se obtiene una predicción y su error. En la pasada hacia atrás, ese error se reparte desde la capa de salida hacia la de entrada, aplicando la regla de la cadena del cálculo: cada capa recibe la parte de «culpa» que le corresponde. Con esos gradientes, el descenso de gradiente ajusta los pesos.

El método tiene varios antecedentes en las décadas de 1960 y 1970, pero se popularizó con el artículo de David Rumelhart, Geoffrey Hinton y Ronald Williams publicado en Nature en 1986, que mostró que las redes con capas ocultas podían aprender representaciones útiles. Eso superó la limitación del perceptrón de una sola capa y reavivó el interés en las redes neuronales.

Hoy las bibliotecas como PyTorch, TensorFlow o JAX la ejecutan automáticamente mediante diferenciación automática. En redes muy profundas o recurrentes puede presentarse el problema de los gradientes que se desvanecen o explotan al recorrer muchas capas, lo que motivó soluciones como las LSTM, ciertas funciones de activación y las conexiones residuales. Un matiz: la retropropagación sólo calcula gradientes; quien actualiza los pesos es el optimizador.