Parámetros (pesos)

Los parámetros son los números internos de un modelo que se ajustan durante el entrenamiento. En una red neuronal, la mayoría son pesos, que indican cuánto influye cada conexión entre neuronas, más los sesgos (bias), que desplazan el resultado de cada neurona. Todo lo que el modelo «sabe» está codificado en esos valores.

Un ejemplo mínimo: en una regresión lineal que estima el precio de una casa como «precio = a × metros cuadrados + b», los números a y b son los parámetros. Un modelo de lenguaje funciona con el mismo principio, pero con miles de millones de ellos repartidos en muchas capas. Cuando se dice que un modelo tiene «70B», se refiere a unos 70 mil millones de parámetros.

El número de parámetros da una idea de la capacidad y el costo de un modelo: más parámetros exigen más memoria y cómputo para entrenar y para hacer inferencia. Pero no es una medida directa de calidad; la cantidad y calidad de los datos, el tiempo de entrenamiento y la arquitectura pesan tanto o más. En una mezcla de expertos, además, sólo una fracción de los parámetros se activa para cada token.

No hay que confundirlos con los hiperparámetros, que fija una persona. Y cuando se habla de un modelo de pesos abiertos, significa que el archivo con estos valores se publica para que cualquiera pueda descargarlo y ejecutarlo, aunque no necesariamente los datos ni el código de entrenamiento.