Le génie logiciel sur de vrais dépôts · Contestée (depuis 2025)

Des agents de codage fondés sur des modèles de pointe résolvent plus de 70 % des problèmes de SWE-bench Verified (Claude Opus 4 à 72,5 % en mai, GPT-5 à 74,9 % en août), contre quelques pour cent à la sortie du banc d'essai en 2023.

Les tâches de SWE-bench sont de vrais tickets GitHub avec des tests cachés, ce qui est plus proche du métier que tout banc antérieur et encore loin de lui : le ticket est déjà rédigé, le dépôt est populaire et présent dans les données d'entraînement, et ce sont les tests qui tranchent. En février 2026, OpenAI a cessé de publier SWE-bench Verified, invoquant la contamination et des tests défectueux, et recommandé SWE-bench Pro, plus dur, où les scores étaient bien plus bas. Les agents écrivent désormais une large part du code de production, sous relecture humaine. Porter une base de code pendant des années, décider quoi construire et en être d'astreinte sont disputés à la marge et pas encore abandonnés.