Generación aumentada por recuperación (RAG)

La generación aumentada por recuperación (RAG, por sus siglas en inglés) combina un buscador con un modelo de lenguaje. En lugar de confiar sólo en lo que el modelo aprendió al entrenarse, el sistema primero recupera fragmentos relevantes de una colección de documentos (manuales, contratos, políticas, la web) y luego se los da al modelo para que genere la respuesta con base en ellos.

El término viene de un artículo de 2020 de Lewis y colegas (Facebook AI Research, entre otros). El flujo típico actual es: los documentos se dividen en fragmentos (fragmentación), se convierten en embeddings y se guardan en una base de datos vectorial; cuando llega una pregunta, se hace una búsqueda semántica, a veces se aplica reordenamiento, y los mejores fragmentos se insertan en el prompt.

Ventajas: respuestas basadas en información propia y actualizada sin reentrenar el modelo, posibilidad de citar la fuente y menos alucinaciones. Suele ser la opción preferida frente al ajuste fino cuando la información cambia con frecuencia.

Limitaciones: si la búsqueda trae fragmentos equivocados o incompletos, la respuesta será mala aunque el modelo sea excelente; y el modelo todavía puede malinterpretar lo que recuperó. Un buen sistema RAG requiere cuidar la calidad de los documentos y evaluar la recuperación por separado.