Sesgo algorítmico

El sesgo algorítmico ocurre cuando un sistema automatizado produce resultados sistemáticamente peores o distintos para ciertos grupos de personas: por sexo, color de piel, edad, origen, lengua o nivel socioeconómico. No es un error aleatorio, sino un patrón que se repite.

La causa más común está en los datos. Un modelo aprende de ejemplos del pasado, y si esos ejemplos reflejan desigualdades históricas o dejan fuera a ciertos grupos, el sistema las reproduce. También influyen las decisiones de diseño: qué variable se elige como objetivo, cómo se etiquetan los datos (etiquetado) o con qué métrica se considera que el modelo «funciona bien».

Dos casos documentados se citan a menudo. En 2016, una investigación de ProPublica sobre la herramienta COMPAS, usada en tribunales de Estados Unidos para estimar el riesgo de reincidencia, encontró que fallaba de manera distinta con personas negras y blancas. En 2018, el estudio Gender Shades (Buolamwini y Gebru) mostró que varios sistemas comerciales de clasificación de rostros se equivocaban mucho más con mujeres de piel oscura que con hombres de piel clara.

Matices importantes: quitar la variable «sexo» o «raza» no basta, porque otras variables (código postal, escuela, tipo de teléfono) pueden funcionar como sustitutos. Y un sesgo no siempre es intencional; por eso se habla de auditar y medir, no sólo de buenas intenciones. Detectarlo y mitigarlo es el objetivo de la equidad algorítmica y una pieza central de la IA responsable.