Destilación de modelos

La destilación transfiere lo que «sabe» un modelo grande y caro a otro más pequeño y barato. El modelo grande actúa como maestro: responde a muchos ejemplos, y el modelo pequeño, el estudiante, se entrena para reproducir esas respuestas.

La técnica se popularizó con un artículo de Geoffrey Hinton, Oriol Vinyals y Jeff Dean (2015). Su intuición clave: el estudiante aprende más si imita no sólo la respuesta final del maestro, sino toda su distribución de probabilidades. Si el maestro cree que una foto es «perro» con 90 % y «lobo» con 9 %, esa información sobre qué se parece a qué es valiosa.

Ejemplos: DistilBERT (2019) redujo BERT un 40 % y lo hizo 60 % más rápido conservando, según sus autores, 97 % de su capacidad de comprensión del lenguaje. En 2025, DeepSeek publicó versiones pequeñas destiladas de su modelo de razonamiento R1. Hoy es una forma común de crear modelos pequeños para celulares o tareas de alto volumen.

Matices: el estudiante rara vez iguala al maestro en todo. Además, usar las respuestas de un modelo comercial para entrenar uno competidor suele estar prohibido en los términos de servicio de los proveedores, y se ha vuelto un tema de disputa entre empresas. La destilación se combina a menudo con cuantización.