Mezcla de expertos (MoE)

Una mezcla de expertos (MoE, por sus siglas en inglés) es una arquitectura en la que, en lugar de una sola red que procesa todo, hay varias subredes llamadas expertos y un componente llamado enrutador (o red de compuerta) que decide cuáles usar para cada entrada. En los modelos de lenguaje actuales, el enrutador elige para cada token unos pocos expertos de entre decenas o cientos, y sólo esos hacen cálculos.

La ventaja es separar dos cosas que normalmente van juntas: el total de parámetros, que da capacidad al modelo, y el cómputo por token, que determina el costo de inferencia. Por ejemplo, el artículo técnico de Mixtral 8x7B, de Mistral AI (2024), describe ocho expertos por capa de los que se seleccionan dos por token; el de DeepSeek-V3 (2024) reporta 671 mil millones de parámetros totales, de los cuales se activan 37 mil millones por token.

La idea viene de lejos: el artículo «Adaptive Mixtures of Local Experts» de Jacobs, Jordan, Nowlan y Hinton se publicó en 1991. En 2017, Noam Shazeer y colegas de Google mostraron capas MoE dispersas a gran escala dentro de redes neuronales profundas, base del uso moderno dentro de los transformers.

Matices importantes: los «expertos» no son especialistas temáticos claros, como uno en química y otro en historia; su especialización emerge del entrenamiento y suele ser difícil de interpretar. Además, aunque calculan menos por token, todos los parámetros deben estar cargados en memoria, y el entrenamiento requiere técnicas para equilibrar la carga entre expertos. Varios grandes modelos de lenguaje de pesos abiertos usan esta arquitectura.