Evaluaciones (evals)

Las evaluaciones (en la jerga, evals) son pruebas sistemáticas para saber si un sistema de IA hace bien su trabajo. Se parecen a un examen: un conjunto de casos de entrada, el resultado esperado o los criterios de calidad, y una forma de calificar.

Se diferencian de un benchmark en el propósito. Un benchmark es una prueba pública y estandarizada para comparar modelos entre sí; una eval suele ser propia, construida con tus casos reales: ¿clasifica bien nuestros tickets?, ¿responde con la política de devoluciones correcta?, ¿el agente completa el trámite sin errores?

La documentación de Anthropic recomienda definir primero criterios de éxito específicos y medibles, y luego construir pruebas que los reflejen, incluidos casos difíciles. Hay tres formas principales de calificar: con código (coincidencia exacta, formato válido), con personas expertas y con otro modelo que actúa como juez (LLM-as-a-judge), útil para escalar pero que también debe validarse contra el criterio humano.

¿Por qué son tan importantes? Porque las respuestas de un modelo varían y una prueba aislada engaña. Las evals permiten comparar prompts, modelos o versiones con datos, detectar regresiones cuando el proveedor actualiza un modelo y documentar el desempeño ante auditorías o reguladores. En agentes, además, se evalúa el proceso: qué herramientas usó, cuántos pasos dio y cuánto costó.