Red teaming

El red teaming toma su nombre de los ejercicios militares y de ciberseguridad en los que un «equipo rojo» juega el papel del atacante. Aplicado a la IA, consiste en que personas (o incluso otros modelos) intenten provocar que un sistema falle: que genere instrucciones peligrosas, filtre datos, muestre sesgos, invente información o se salte sus reglas mediante jailbreaks e inyección de prompts.

Los laboratorios lo usan antes de lanzar modelos. En 2022, investigadores de Anthropic publicaron un análisis de casi 39,000 ataques hechos por personas contra modelos de lenguaje para estudiar cómo reducir daños; ese mismo año, DeepMind propuso usar un modelo de lenguaje para generar automáticamente casos de prueba contra otro. El perfil de IA generativa del NIST (NIST AI 600-1, 2024) recomienda el red teaming como parte de la gestión de riesgos.

Un buen ejercicio define qué daños se buscan, reúne perfiles diversos (expertos del dominio, hablantes de distintas lenguas, personas con contexto local) y documenta hallazgos para corregirlos. En sistemas que atienden público en México, por ejemplo, conviene probar en español coloquial y con regionalismos, no sólo en inglés.

Matiz: el red teaming encuentra problemas, pero no demuestra su ausencia. Que nadie haya logrado romper un sistema en una prueba no significa que sea seguro; por eso se combina con evaluaciones sistemáticas y monitoreo después del lanzamiento.