Gran modelo de lenguaje (LLM)

Un gran modelo de lenguaje (LLM, por sus siglas en inglés) es un modelo de lenguaje de escala masiva: tiene miles de millones de parámetros y se entrena con una porción enorme del texto disponible en libros, sitios web, código y otros documentos. Es el motor detrás de ChatGPT, Gemini, Claude o Llama.

Su entrenamiento suele tener dos fases. Primero, el preentrenamiento: el modelo aprende a predecir el siguiente token en billones de ejemplos, y así absorbe gramática, datos y patrones de razonamiento. Después, un ajuste posterior (instrucciones, RLHF y otras técnicas) lo convierte en un asistente que sigue indicaciones y evita respuestas dañinas.

El salto de escala tuvo un hito público con GPT-3 (2020), cuyos autores mostraron que un modelo de 175 mil millones de parámetros podía resolver tareas nuevas con sólo unos ejemplos en el prompt, sin reentrenarlo. Desde entonces, los LLM se volvieron multimodales, ampliaron su ventana de contexto y aprendieron a usar herramientas.

Conviene recordar sus límites: no «saben» en el sentido humano, pueden inventar información, su conocimiento tiene fecha de corte y reflejan sesgos de sus datos. Por eso, para tareas con datos críticos (fiscales, médicos, legales) se combinan con fuentes verificadas y revisión humana.