Explicabilidad (IA explicable)

La explicabilidad (o IA explicable, XAI) busca que una persona pueda entender por qué un sistema llegó a cierta respuesta. Se suele distinguir de la interpretabilidad: un modelo interpretable es comprensible por diseño (un árbol de decisión pequeño o una regresión lineal); uno explicable puede ser complejo, pero se acompaña de técnicas que aproximan sus razones.

Para modelos complejos, como las redes neuronales profundas, existen métodos post hoc. LIME (2016) explica una predicción individual ajustando un modelo simple alrededor de ese caso; SHAP (2017) reparte el «mérito» de una predicción entre las variables de entrada con base en la teoría de juegos. Hay también mapas de calor que señalan qué partes de una imagen pesaron más.

¿Por qué importa? Porque permite detectar errores y sesgos, cumplir obligaciones legales (por ejemplo, explicar a alguien por qué se le negó un crédito) y generar confianza fundada. El Marco de Gestión de Riesgos del NIST la incluye entre las características de una IA confiable, junto con la interpretabilidad.

Matiz: una explicación puede ser convincente y aun así inexacta. Las técnicas post hoc son aproximaciones, y en los grandes modelos de lenguaje la justificación que el modelo escribe sobre su propio razonamiento no garantiza que refleje lo que de verdad ocurrió en su cómputo. Por eso la explicabilidad se combina con pruebas y auditorías, no las sustituye.