FrontierCode
FrontierCode est un nouveau benchmark qui évalue la capacité des modèles à produire du code de qualité prêt à être mergé, en mesurant la mergeabilité plutôt que la seule correction fonctionnelle. Il combine des critères bloquants et non bloquants couvrant la correction, la qualité des tests, la portée des modifications, le style et la conformité aux normes, et introduit des méthodes nouvelles comme reverse-classical, le contrôle de scope et le grading adaptatif basé sur des LLMs. Plus de vingt mainteneurs de projets open source ont conçu 150 tâches réalistes (chacun investissant plus de 40 heures) et un pipeline de contrôle qualité multi-étapes permet de réduire de 81 % les faux positifs par rapport à SWE-Bench Pro. Les résultats montrent que même les meilleurs modèles actuels éprouvent des difficultés sur les tâches les plus difficiles : Claude Opus 4.8 obtient 13,4 % sur l’ensemble Diamond tandis que les modèles open source restent nettement moins performants. L’objectif est de fournir un signal fiable de préparation à la production pour les agents de code et l’évaluation sera ouverte aux créateurs de modèles sans publication publique des tâches pour éviter la contamination.