Cuantización

La cuantización comprime un modelo representando sus parámetros con números menos precisos. Normalmente los pesos se guardan en formatos de 16 o 32 bits; cuantizar significa pasarlos, por ejemplo, a 8 o 4 bits. Es como redondear: en lugar de guardar 0.73829, guardas algo cercano a 0.74.

El beneficio es directo: un modelo cuantizado a 4 bits ocupa aproximadamente una cuarta parte de la memoria que en 16 bits. Eso permite ejecutar modelos grandes en una sola GPU, en una laptop o en un celular, y suele acelerar la inferencia y bajar el consumo de energía. Es una de las técnicas que hacen posible la IA en el dispositivo.

El costo es cierta pérdida de calidad, que depende del método y del nivel de compresión. Investigaciones como LLM.int8() (2022) mostraron que se puede cuantizar a 8 bits modelos de miles de millones de parámetros sin degradación apreciable, manejando con cuidado algunos valores atípicos. Bajar a 4 bits o menos requiere técnicas más sofisticadas y conviene evaluar el resultado en tu tarea.

Hay dos variantes principales: cuantizar después de entrenar (lo más común para usar modelos de pesos abiertos en casa) o entrenar sabiendo que se cuantizará. También se combina con LoRA en QLoRA para ajustar modelos con menos memoria.