Seguridad de la IA (AI safety)

La seguridad de la IA (AI safety) agrupa la investigación y las prácticas para que los sistemas de IA no provoquen daños graves. En español conviene distinguirla de la ciberseguridad (security), aunque se tocan: la primera se ocupa de que el sistema se comporte como debe; la segunda, de protegerlo de atacantes.

Un artículo de referencia, Concrete Problems in AI Safety (Amodei et al., 2016), propuso problemas prácticos: evitar efectos secundarios no deseados, impedir que el sistema «haga trampa» con su recompensa, supervisarlo de forma escalable y lograr que se comporte bien ante situaciones distintas a las de su entrenamiento. Hoy el campo incluye además evaluaciones de capacidades peligrosas, red teaming, alineación, interpretabilidad y defensas contra el jailbreak.

En enero de 2025 se publicó el primer International AI Safety Report, coordinado por Yoshua Bengio con expertos de decenas de países, que resume la evidencia sobre riesgos de la IA de propósito general: mal uso (desinformación, ciberataques), fallas de funcionamiento y riesgos sistémicos como impactos en el empleo o concentración de poder.

Matiz: el término se usa tanto para riesgos cotidianos (un chatbot que da un consejo médico peligroso) como para escenarios extremos (riesgo existencial). Ambos debates son legítimos, pero no deben mezclarse sin aclarar de cuál se habla.