Regularización

La regularización agrupa técnicas que evitan que un modelo se vuelva demasiado complejo y caiga en sobreajuste. La idea es introducir una preferencia por soluciones más simples: un modelo que explica bien los datos con menos «trucos» suele funcionar mejor con datos nuevos.

Las formas más clásicas modifican la función de pérdida añadiendo una penalización por el tamaño de los pesos. La regularización L2 penaliza la suma de los cuadrados de los pesos y los empuja a ser pequeños; la L1 penaliza la suma de sus valores absolutos y tiende a dejar muchos en cero exactamente, lo que equivale a descartar variables poco útiles. La intensidad de esa penalización es un hiperparámetro.

En redes neuronales son muy comunes otras técnicas. El dropout, descrito por Srivastava, Hinton y colegas en 2014, apaga al azar una fracción de neuronas en cada paso de entrenamiento para que la red no dependa de unas pocas conexiones. La parada temprana detiene el entrenamiento cuando el error de validación deja de mejorar. El aumento de datos (rotar o recortar imágenes, por ejemplo) también actúa como regularizador.

Hay que dosificarla: demasiada regularización provoca subajuste, porque el modelo queda tan restringido que no capta el patrón. Por eso su intensidad se ajusta comparando el desempeño en el conjunto de validación. Ojo: la palabra no tiene relación con la regulación legal de la IA; es un término matemático.