Inferencia

En aprendizaje automático, la inferencia es el momento en que un modelo ya entrenado recibe datos nuevos y genera una salida: una predicción, una clasificación, una respuesta de texto o una imagen. Es la fase de uso, en contraste con la de entrenamiento, en la que el modelo aprende.

La diferencia es clave para entender costos. Entrenar un modelo grande se hace pocas veces y requiere enormes cantidades de cómputo durante semanas o meses. La inferencia, en cambio, ocurre millones de veces al día, cada vez que alguien usa el sistema. Aunque cada consulta cuesta poco, sumadas representan buena parte del gasto de operación y del consumo energético de la IA. En los modelos de lenguaje, la inferencia genera la respuesta token por token, y su velocidad se mide como latencia.

La inferencia puede hacerse en la nube o en el propio dispositivo, como un teléfono o una computadora portátil, lo que mejora la privacidad y reduce la dependencia de internet. Técnicas como la cuantización y la destilación hacen modelos más ligeros para ese fin.

Ojo con una confusión de vocabulario: en estadística, «inferencia» significa sacar conclusiones sobre una población a partir de una muestra, y en lógica, deducir conclusiones de premisas (de ahí el «motor de inferencia» de los sistemas expertos). En el uso actual de la IA, casi siempre se refiere a ejecutar un modelo entrenado.