Latencia

La latencia es el tiempo de espera entre que pides algo y recibes la respuesta. En redes se mide en milisegundos lo que tarda un paquete en ir y volver; en IA generativa interesa medir varias cosas: el tiempo hasta el primer token (cuánto tarda en empezar a aparecer la respuesta) y la velocidad de generación (tokens por segundo), que juntos determinan cuánto esperas por la respuesta completa.

Influyen muchos factores: el tamaño del modelo (más parámetros suele implicar más cálculo), la longitud del texto que envías y pides, la carga del servidor, la distancia física al centro de datos y el hardware. Los modelos de razonamiento suelen tardar más porque «piensan» antes de contestar.

Para bajarla se usan modelos más pequeños, respuestas más cortas, transmisión en tiempo real (streaming) para que el usuario vea el texto conforme se genera, cachés y ejecución en el propio equipo (IA en el dispositivo).

No confundas latencia con rendimiento total (throughput): un servidor puede atender muchísimas peticiones por minuto y, aun así, hacer esperar a cada usuario varios segundos. En aplicaciones de voz o atención al cliente, unos cientos de milisegundos de diferencia cambian por completo la experiencia.