Datos sintéticos

Los datos sintéticos son datos creados por computadora en lugar de recolectados del mundo real. Pueden producirse con simulaciones, reglas estadísticas o, cada vez más, con modelos de IA generativa que escriben textos, crean imágenes o generan tablas parecidas a las reales.

Se usan por varias razones: cuando los datos reales son escasos (enfermedades raras, accidentes poco frecuentes), caros de etiquetar, o sensibles por contener datos personales. También sirven para probar software sin exponer información de clientes y para equilibrar un conjunto de datos y reducir sesgos.

En los modelos de lenguaje se han vuelto centrales. Microsoft, por ejemplo, entrenó su modelo phi-1 (2023) en parte con «libros de texto» y ejercicios generados por otro modelo, y reportó buenos resultados en programación con un modelo pequeño. La destilación también se apoya en respuestas generadas por un modelo maestro.

Riesgos: los datos sintéticos heredan los errores y sesgos del sistema que los generó. Un estudio publicado en Nature en 2024 mostró que entrenar modelos repetidamente con datos generados por modelos puede causar «colapso del modelo», en el que se pierden las variantes menos comunes de la distribución original. Además, que un dato sea sintético no garantiza privacidad si reproduce casi exactamente registros reales.