Función de pérdida

La función de pérdida es la regla con la que se califica a un modelo durante el entrenamiento. Toma lo que el modelo predijo y lo que debió predecir, y devuelve un número: mientras más grande, peor la predicción. El objetivo del entrenamiento es ajustar los parámetros para que la pérdida promedio sobre los datos sea lo más baja posible, normalmente con descenso de gradiente.

Distintas tareas usan distintas pérdidas. En regresión es común el error cuadrático medio, que eleva al cuadrado cada diferencia y, por ello, castiga mucho los errores grandes; el error absoluto medio es más tolerante con valores atípicos. En clasificación se usa la entropía cruzada (log loss), que penaliza fuertemente al modelo cuando está muy seguro de una respuesta equivocada. Los modelos de lenguaje se entrenan minimizando la entropía cruzada al predecir el siguiente token.

Elegir la pérdida es una decisión de diseño con consecuencias: define qué errores le importan al modelo. Por eso a veces se ajusta para dar más peso a una clase poco frecuente o para incluir términos de regularización que castigan la complejidad.

Una confusión común es igualar pérdida y métrica de evaluación. La pérdida debe ser matemáticamente manejable para optimizarla; la métrica (exactitud, precisión, satisfacción del usuario) es lo que realmente te importa. Están relacionadas, pero bajar la pérdida no garantiza mejorar la métrica de negocio, y conviene monitorear ambas.