Caja negra

Se dice que un sistema es una caja negra cuando sabemos qué le entra y qué sale, pero no podemos seguir con claridad cómo llegó de una cosa a la otra. La expresión se usa sobre todo para el aprendizaje profundo: un modelo con millones o miles de millones de parámetros no guarda reglas legibles, sino números ajustados durante el entrenamiento.

La opacidad puede tener dos orígenes distintos, y conviene no confundirlos. Uno es técnico: el propio funcionamiento del modelo es difícil de interpretar. Otro es institucional: el sistema podría explicarse, pero la empresa no revela datos, código o criterios por secreto comercial. Ambos dificultan auditar y reclamar.

Frente a la opacidad técnica existen la explicabilidad y la investigación en interpretabilidad, que intenta identificar qué representan partes internas de una red. Frente a la opacidad institucional, la respuesta es la transparencia: documentación, registros y obligaciones legales de información. El Reglamento de IA de la UE, por ejemplo, exige documentación técnica y registros a los sistemas de alto riesgo.

Un matiz útil: «caja negra» no significa «impredecible» ni «malo». Muchos sistemas opacos funcionan bien en promedio. El problema aparece cuando una decisión importante afecta a una persona y nadie puede explicar ni corregir el porqué.