Mecanismo de atención

El mecanismo de atención permite que una red neuronal, al procesar un elemento de una secuencia, «mire» a todos los demás y decida cuánto peso darle a cada uno. En vez de comprimir toda la información en una sola memoria, como hacían las redes recurrentes, el modelo puede consultar directamente las partes de la entrada que más importan en cada momento.

Su funcionamiento suele explicarse con tres vectores por token: una consulta (qué estoy buscando), una clave (qué ofrezco) y un valor (qué información aporto). Se compara la consulta de un token con las claves de todos los demás; las coincidencias se convierten en pesos que suman uno, y el resultado es una mezcla de los valores ponderada por esos pesos. En la autoatención, consultas, claves y valores vienen de la misma secuencia. La atención «multicabeza» repite el proceso varias veces en paralelo para captar distintos tipos de relación.

La idea apareció en traducción automática con el trabajo de Bahdanau, Cho y Bengio (2014), que permitía al traductor enfocarse en las palabras relevantes de la oración original. En 2017, el transformer mostró que se podía construir un modelo entero basado en atención, sin recurrencia, lo que abrió paso a los grandes modelos de lenguaje.

Dos matices: los pesos de atención ayudan a intuir qué relaciona el modelo, pero no son por sí solos una explicación fiable de sus decisiones. Y su costo crece con el cuadrado de la longitud de la secuencia, por eso ampliar la ventana de contexto exige optimizaciones.