Les benchmarks sont un véritable signal de capacité – et faciles à utiliser à mauvais escient. Cette page explique comment nous mesurons les agents de codage autonomes, ce que les tests standards capturent et ne capturent pas, et comment CodeCourier rapporte les résultats : seuls des chiffres que nous pouvons reproduire et soutenir.
Nous évaluons par rapport à deux références publiques et respectées. Chacun teste quelque chose de réel sur la capacité d'un agent à effectuer un travail d'ingénierie, et chacun a des limites qu'il convient de comprendre avant de lire un score.
Un ensemble de problèmes réels GitHub validés par l'homme et issus de projets open source. Un agent reçoit le problème et le référentiel et doit produire un correctif ; la tâche est considérée comme résolue uniquement si le changement fait réussir les propres tests du projet. Il mesure si un agent peut corriger de vrais bugs dans du code réel, et non s'il peut réussir un quiz - ce qui se rapproche le plus d'un examen significatif pour un ingénieur logiciel en IA.
Une référence pour les agents qui travaillent via un terminal - exécutant des commandes, inspectant les résultats et itérant vers un objectif dans un environnement shell réel. Il complète SWE-bench en testant les compétences opérationnelles et d'utilisation des outils plutôt que la seule génération de correctifs, ce qui est important pour un agent qui doit configurer, construire et vérifier son propre travail.
Tout chiffre que nous publions est accompagné de la méthodologie exacte, de la date et de l’échafaudage utilisé pour le produire. Si un résultat n'est pas reproductible, il ne figure pas sur cette page.
Un score reflète l’ensemble d’un système – la façon dont l’agent rassemble le contexte, planifie et itère – et pas seulement le modèle sous-jacent. Deux produits sur le même modèle peuvent avoir des scores très différents, donc un nombre décrit un système et non un modèle.
Pass@1 contre plusieurs tentatives, quel sous-ensemble, quelle date, quel outillage – tout change le nombre. Nous comparons ce qui est comparable et étiquetons les conditions, ou nous ne comparons pas.
Nous réfléchissons sur les critères de référence. Plutôt que de donner un pourcentage global, nous publions ici des résultats vérifiés et reproductibles au fur et à mesure que nos analyses se terminent - chacune avec sa méthodologie complète, sa date et son échafaudage afin que tout le monde puisse les vérifier. Cette section répertorie les catégories pour lesquelles nous faisons rapport ; les chiffres arrivent ici car ils sont mesurés et vérifiables de manière indépendante.
Nous avons choisi de ne pas imprimer de score de référence que nous ne pouvons pas encore reproduire et vérifier de manière indépendante. Publier un numéro non vérifié relèverait du marketing et non de la mesure. Le tableau ci-dessous montre les catégories que nous signalerons : chaque statut est en attente de vérification, et rien ici n'est un résultat mesuré. Lorsqu'une figure est reproductible, elle apparaît ici avec sa méthodologie complète.
Ce tableau est une méthodologie et non des résultats mesurés. Les lignes sont les catégories pour lesquelles nous faisons rapport ; aucune ligne ne contient de score. Les chiffres vérifiés sont ajoutés ici au fur et à mesure que les analyses sont terminées et peuvent être reproduites indépendamment.
Les capacités évoluent chaque semaine et les scores deviennent rapidement obsolètes, nous ne figeons donc pas les pourcentages des concurrents sur cette page. Pour connaître le classement actuel, accédez à la source : le classement officiel et les chiffres publiés et datés de chaque fournisseur.
Le classement public canonique des agents sur SWE-bench et SWE-bench Verified, maintenu par les auteurs du benchmark. C'est le bon endroit pour voir les classements actuels en direct plutôt qu'un numéro copié dans un article qui sera erroné le mois prochain.
Ouvrir le classement de SWE-benchPour tout agent spécifique - Devin, Claude Code, OpenAI Codex, Cursor, GitHub Copilot, OpenHands et autres - vérifiez le site du fournisseur pour connaître ses chiffres et sa méthodologie les plus récents et datés. Nous nommons nos concurrents uniquement à des fins de comparaison équitable et nous ne citons pas de pourcentages que nous ne pouvons pas vérifier.
À compter de juin 2026. Traitez n'importe quel chiffre de référence - ici ou ailleurs - comme un instantané daté et consultez le classement en direct et le site de chaque fournisseur pour connaître les chiffres actuels.
5 minutes pour embarquer. Premier PR dans l'heure. Annulez à tout moment.