Modelo de lenguaje

Un modelo de lenguaje es un sistema que asigna probabilidades a secuencias de texto. Dicho de forma sencilla: dado un comienzo como «Hoy amaneció muy…», el modelo calcula qué continuación es más probable («nublado», «frío», «temprano») según lo que aprendió de millones de ejemplos.

La idea es antigua. Los primeros modelos estadísticos contaban con qué frecuencia aparecían juntas dos o tres palabras (los llamados n-gramas) y se usaban en correctores ortográficos, teclados predictivos y reconocimiento de voz. En 2003, Yoshua Bengio y colegas propusieron un modelo de lenguaje basado en redes neuronales que representaba las palabras como vectores, antecedente directo de los embeddings actuales.

Los modelos modernos trabajan con tokens (fragmentos de palabra) en lugar de palabras completas y se basan en la arquitectura Transformer. Cuando un modelo de este tipo crece hasta miles de millones de parámetros y se entrena con cantidades masivas de texto, hablamos de un gran modelo de lenguaje (LLM), capaz de redactar, resumir, traducir o programar.

Un matiz importante: «predecir la siguiente palabra» suena modesto, pero hacerlo bien exige capturar gramática, contexto, datos del mundo y estilos de escritura. Aun así, el modelo no consulta una base de hechos verificados; genera lo que resulta probable, y por eso puede equivocarse con mucha seguridad.