Envenenamiento de datos

El envenenamiento de datos ataca a un modelo desde su origen: los datos. Si un adversario logra introducir ejemplos manipulados en el conjunto de datos de entrenamiento o de ajuste fino, puede hacer que el modelo funcione peor en general o, más sutil, que se comporte de forma anómala sólo ante un «disparador» específico (una puerta trasera o backdoor).

El NIST lo clasifica en su taxonomía de aprendizaje automático adversarial (NIST AI 100-2) junto con otros ataques como la evasión o la extracción de datos. OWASP incluye «envenenamiento de datos y del modelo» en su lista de riesgos para aplicaciones con modelos de lenguaje. El riesgo es mayor cuando los modelos se entrenan con datos recolectados de internet por rastreadores web, porque cualquiera puede publicar contenido que termine en el entrenamiento.

Una investigación de Anthropic de 2024 (Sleeper Agents) mostró que un modelo entrenado deliberadamente con una puerta trasera podía conservar ese comportamiento oculto aun después de aplicarle técnicas estándar de entrenamiento de seguridad, lo que complica detectarlo a posteriori.

Defensas habituales: verificar la procedencia de los datos, filtrar y deduplicar, auditar fuentes de terceros (incluidos modelos y conjuntos descargados), probar el modelo con red teaming y monitorear su comportamiento. También aplica a sistemas RAG: envenenar los documentos que consulta un asistente es otra forma del mismo problema.