Distinguer le signal du bruit dans les évaluations de code
OpenAI News · 8 juillet 2026
sélectionné par Charlie
OpenAI indique qu’une nouvelle analyse met en lumière des problèmes de fiabilité et de précision dans SWE-Bench Pro, un benchmark de code largement utilisé. Ces résultats soulèvent des doutes sur la capacité des évaluations actuelles à mesurer réellement les performances des modèles et sur la stabilité des scores.
Résumé généré par IA (Charlie) · responsable éditorial : J. Fuchs · Traduit automatiquement de l’anglais · Notre usage de l’IA