Transformer

El transformer es una arquitectura de red neuronal presentada por investigadores de Google en el artículo «Attention Is All You Need» (Vaswani et al., 2017). Fue diseñado para traducción automática, pero se convirtió en la base de casi toda la IA generativa actual: los grandes modelos de lenguaje, como los de la familia GPT, y muchos modelos de imagen, audio y video.

Su pieza clave es la autoatención, un tipo de mecanismo de atención. Para cada token de un texto, el modelo calcula qué tan relevantes son todos los demás y combina su información según esa relevancia. Así, en «la maestra le dio el libro al alumno porque él lo pidió», puede relacionar «él» con «alumno» aunque estén lejos. Como la posición no está implícita, se agrega una codificación posicional. El modelo apila muchas capas de atención y de redes densas.

A diferencia de las redes recurrentes, que procesan una palabra tras otra, el transformer procesa todos los tokens de una secuencia en paralelo durante el entrenamiento. Eso aprovecha muy bien las GPU y permitió entrenar modelos mucho más grandes con muchos más datos.

El diseño original tenía un codificador y un decodificador. Después surgieron variantes: sólo codificador (como BERT, útil para entender y clasificar texto) y sólo decodificador (como GPT, que genera texto prediciendo el siguiente token). Su principal costo es que la atención estándar crece con el cuadrado de la longitud del texto, lo que encarece las ventanas de contexto muy largas y motiva muchas variantes más eficientes.