Arquitectura codificador-decodificador

La arquitectura codificador-decodificador divide el trabajo de un modelo en dos etapas. El codificador lee la entrada completa (una oración, un audio, una imagen) y la transforma en una representación interna. El decodificador toma esa representación y produce la salida, normalmente elemento por elemento: las palabras de la traducción, el texto transcrito o el pie de foto.

Se popularizó en 2014 con los modelos «secuencia a secuencia» (seq2seq) para traducción automática, propuestos por Sutskever, Vinyals y Le, y por Cho y colegas, que usaban redes recurrentes en ambas partes. Su limitación era que toda la oración debía comprimirse en un solo vector; el mecanismo de atención resolvió esto permitiendo al decodificador consultar todas las partes de la entrada.

El transformer original de 2017 también era un codificador-decodificador. Después la familia se dividió: modelos sólo codificador, como BERT, buenos para entender y clasificar; modelos sólo decodificador, como GPT y la mayoría de los grandes modelos de lenguaje conversacionales; y modelos que conservan ambas partes, como T5 o Whisper de OpenAI para reconocimiento de voz, útiles cuando entrada y salida son claramente distintas.

No hay que confundirlo con el autocodificador, que también tiene codificador y decodificador, pero cuyo objetivo es reconstruir la propia entrada a partir de una versión comprimida, no transformarla en otra cosa.