Rastreador web y extracción de datos (scraping)

Un rastreador web (web crawler o «araña») es un programa que visita páginas, sigue sus enlaces y va descubriendo más páginas de forma automática. La extracción de datos (scraping) es copiar de esas páginas la información que interesa: textos, precios, tablas, imágenes.

Los buscadores llevan décadas rastreando la web para indexarla. Con la IA generativa, el rastreo se volvió además la principal materia prima del preentrenamiento: muchos grandes modelos de lenguaje se entrenaron con copias masivas de la web, como las que publica la organización sin fines de lucro Common Crawl. Varias empresas de IA operan sus propios bots y documentan cómo identificarlos y bloquearlos.

La herramienta básica para controlar el acceso es el archivo robots.txt, estandarizado en 2022 por la IETF como RFC 9309. Ahí un sitio indica qué rastreadores pueden entrar y a qué secciones. Pero es una convención: un bot mal portado puede ignorarla, y no resuelve por sí sola las preguntas legales.

Esas preguntas son serias: derechos de autor, términos de uso de los sitios y datos personales publicados en línea. Que algo sea accesible en internet no significa que se pueda usar para cualquier fin.