Separar la señal del ruido en las evaluaciones de código

OpenAI señala que un nuevo análisis detecta problemas de fiabilidad y precisión en SWE-Bench Pro, un benchmark de programación muy utilizado. Los hallazgos ponen en duda hasta qué punto las evaluaciones actuales reflejan el rendimiento real de los modelos y la estabilidad de los resultados obtenidos.

Leer la fuente original ↗

← volver a la portada