Función de activación

En una red neuronal, cada neurona suma sus entradas multiplicadas por sus pesos y luego aplica una función de activación a ese resultado antes de pasarlo a la siguiente capa. Esa función decide, en esencia, cuánto «se activa» la neurona.

Su papel es crucial: introduce no linealidad. Si todas las capas sólo hicieran sumas y multiplicaciones, la red completa, por más capas que tuviera, equivaldría a una sola operación lineal y no podría modelar relaciones curvas o complejas. Con funciones no lineales entre capas, una red suficientemente grande puede aproximar prácticamente cualquier función continua, lo que formaliza el teorema de aproximación universal.

Las más conocidas son:

• Sigmoide: comprime cualquier número entre 0 y 1. Útil para expresar probabilidades en la salida, pero en capas ocultas dificulta el entrenamiento de redes profundas.
• Tangente hiperbólica (tanh): similar, pero entre -1 y 1.
• ReLU (unidad lineal rectificada): deja pasar los valores positivos y convierte en cero los negativos. Es simple, rápida y se volvió estándar en el aprendizaje profundo.
• GELU y variantes como SwiGLU: versiones suaves muy usadas en los transformers.
• Softmax: convierte un conjunto de valores en probabilidades que suman 1; se usa en la salida para elegir entre varias clases o el siguiente token.

La elección afecta la velocidad y estabilidad del entrenamiento: funciones como la sigmoide producen gradientes muy pequeños en sus extremos, lo que agrava el problema de gradientes que se desvanecen durante la retropropagación.