Benchmark (prueba de referencia)

Un benchmark es un conjunto fijo de tareas, con respuestas conocidas y una forma de calificar acordada, que permite comparar modelos en igualdad de condiciones. Cuando una empresa anuncia que su modelo «obtuvo X % en tal prueba», se refiere a un benchmark.

Hay benchmarks para casi todo. MMLU (2020) evalúa conocimiento en 57 materias, de matemáticas a derecho; SWE-bench (2023) mide si un modelo puede resolver problemas reales tomados de repositorios de código en GitHub; OSWorld evalúa agentes de uso de computadora. Existen también versiones y pruebas en español y otros idiomas, aunque son menos numerosas.

Son útiles para seguir el avance del campo, pero conviene leerlos con escepticismo:

• Contaminación: si las preguntas se filtraron a los datos de entrenamiento, el modelo puede «sabérselas» en lugar de resolverlas.
• Saturación: cuando los mejores modelos rozan el 100 %, la prueba deja de distinguir entre ellos y se crean otras más difíciles.
• Distancia con la realidad: un buen puntaje no garantiza buen desempeño en tu tarea concreta, y las condiciones de medición (prompts, número de intentos) varían entre empresas.

Por eso, además de mirar benchmarks públicos, conviene hacer tus propias evaluaciones con casos reales.