Fragmentación (chunking)

La fragmentación (chunking) es el paso de cortar documentos en trozos manejables antes de guardarlos en un sistema de RAG. No se puede convertir un manual de 300 páginas en un solo embedding útil ni meterlo completo en cada consulta; en cambio, se divide en fragmentos y se busca sólo los relevantes.

Hay varias estrategias: cortes de tamaño fijo (por ejemplo, unos cientos de tokens) con algo de traslape entre fragmentos para no partir ideas a la mitad; cortes respetando la estructura (por párrafos, secciones, encabezados o artículos de un reglamento); y cortes semánticos, que detectan dónde cambia el tema.

El tamaño importa y no hay uno ideal. Fragmentos muy pequeños pierden contexto («el plazo será de 30 días»… ¿de qué?); fragmentos muy grandes diluyen el significado y gastan ventana de contexto. Una mejora conocida es añadir a cada fragmento un breve contexto de dónde viene: Anthropic reportó en 2024 que su técnica de «recuperación contextual» redujo en 49 % las búsquedas fallidas en sus pruebas, y en 67 % al combinarla con reordenamiento.

Consejo práctico: la fragmentación suele ser la causa silenciosa de un RAG que responde mal. Antes de cambiar de modelo, revisa cómo se están cortando tus documentos y pruébalo con preguntas reales.