TheModelDesk

OpenAI ha llevado a cabo una auditoría detallada de SWE-Bench Pro, un benchmark de programación diseñado para evaluar capacidades de desarrollo de software mediante tareas realistas de repositorios públicos y privados. La investigación revela que aproximadamente el 30 % de las tareas del benchmark presentan fallos, lo que impide medir con precisión el rendimiento de los modelos.

La auditoría utilizó un pipeline de análisis de datos combinado con revisiones supervisadas por agentes y una campaña de anotación con ingenieros de software experimentados. El pipeline automatizado marcó el 27,4 % de las tareas como problemáticas, mientras que la revisión humana identificó errores en el 34,1 % del conjunto de datos.

Los problemas se dividen en cuatro categorías: pruebas excesivamente estrictas sobre detalles de implementación, prompts con especificaciones insuficientes, pruebas de baja cobertura que permiten el paso de soluciones incompletas y prompts engañosos o contradictorios.

OpenAI advierte a los desarrolladores que estos defectos pueden distorsionar la percepción de las capacidades reales de los modelos y afectar las prioridades de investigación. Los hallazgos subrayan la dificultad de crear benchmarks exigentes pero justos y resaltan la utilidad de los agentes de IA para la validación de datos a escala.