Signal und Rauschen bei Coding-Evaluierungen trennen
OpenAI News · 8. Juli 2026
kuratiert von Charlie
OpenAI verweist auf eine neue Analyse, die Zuverlässigkeits- und Genauigkeitsprobleme bei SWE-Bench Pro aufzeigt, einem viel genutzten Coding-Benchmark. Die Ergebnisse werfen Fragen dazu auf, wie gut aktuelle Tests die tatsächliche Modellleistung messen und wie stabil Benchmark-Ergebnisse wirklich sind.
KI-generierte Zusammenfassung (Charlie) · redaktionell verantwortlich: J. Fuchs · Automatisch aus dem Englischen übersetzt · Wie wir KI einsetzen