Cómputo de entrenamiento (FLOP)

El cómputo de entrenamiento es la cantidad total de cálculos que se hicieron para entrenar un modelo. Se mide en FLOP (floating point operations, operaciones de punto flotante): cada suma o multiplicación con números decimales cuenta como una. Ojo con la confusión frecuente: FLOP es una cantidad total, mientras que FLOPS (con S de «por segundo») es una velocidad, la capacidad de un chip.

Una aproximación muy usada para modelos de lenguaje tipo transformer es multiplicar 6 × número de parámetros × número de tokens de entrenamiento. Por eso las cifras son astronómicas y se escriben en notación científica, como 10²⁴ o 10²⁵ FLOP.

Importa por tres razones. Primera, las leyes de escalamiento mostraron que, en ciertos rangos, más cómputo (junto con más datos y parámetros) da modelos predeciblemente mejores. Segunda, se traduce en costo, chips y electricidad. Tercera, la regulación lo usa como umbral: el Reglamento de IA de la UE presume que un modelo de propósito general tiene «riesgo sistémico» cuando su entrenamiento superó 10²⁵ FLOP (artículo 51).

El matiz: el cómputo es un indicador aproximado de capacidad, no una garantía. Mejores datos, arquitecturas o técnicas como la destilación permiten modelos competentes con menos cómputo.