GPT (transformador generativo preentrenado)

GPT son las siglas de Generative Pre-trained Transformer, «transformador generativo preentrenado». Cada palabra describe una pieza: es generativo porque produce texto; preentrenado porque primero aprende de enormes cantidades de texto sin etiquetar y después se adapta a tareas concretas; y es un Transformer porque usa esa arquitectura de red neuronal, presentada por Google en 2017.

OpenAI publicó el primer GPT en 2018, en un artículo que mostraba que el preentrenamiento generativo seguido de ajuste fino mejoraba el desempeño en muchas tareas de lenguaje. Le siguieron GPT-2 (2019), GPT-3 (2020) y versiones posteriores cada vez más grandes y capaces, que hoy impulsan productos como ChatGPT.

Hay dos usos de la palabra que conviene distinguir. En sentido estricto, GPT es la marca de los modelos de OpenAI. En sentido amplio, mucha gente y parte de la literatura técnica llama «GPT» o «modelo tipo GPT» a cualquier LLM generativo basado en la misma idea (un Transformer de solo decodificador que predice el siguiente token), aunque lo haya creado otra empresa.

Otra confusión frecuente: ChatGPT no es un modelo, sino un producto (una aplicación de chat) que usa modelos GPT y otros componentes como búsqueda, memoria o herramientas.