I benchmark sono un vero segnale di capacità e sono facili da abusare. Questa pagina spiega come misuriamo gli agenti di codifica autonomi, cosa fanno e cosa non catturano i benchmark standard e come CodeCourier riporta i risultati: solo i numeri che possiamo riprodurre e sostenere.
Valutiamo rispetto a due benchmark pubblici e rispettati. Ognuno mette alla prova qualcosa di reale sulla capacità di un agente di svolgere un lavoro di ingegneria e ognuno ha dei limiti che vale la pena comprendere prima di leggere qualsiasi punteggio.
Un insieme di problemi reali GitHub convalidati dall'uomo provenienti da progetti open source. Un agente riceve il problema e il repository e deve produrre una patch; l'attività viene considerata risolta solo se la modifica fa superare i test del progetto. Misura se un agente può correggere veri bug nel codice reale, non se può superare un quiz: la cosa più vicina a un esame significativo per un ingegnere del software AI.
Un punto di riferimento per gli agenti che funzionano tramite un terminale: eseguono comandi, ispezionano l'output e eseguono iterazioni verso un obiettivo in un ambiente shell reale. Si integra con SWE-bench testando le competenze operative e di utilizzo degli strumenti piuttosto che solo la generazione di patch, il che è importante per un agente che deve impostare, creare e verificare il proprio lavoro.
Qualsiasi figura che pubblichiamo viene fornita con la metodologia esatta, la data e l'impalcatura utilizzata per produrla. Se un risultato non è riproducibile, non è in questa pagina.
Un punteggio riflette un intero sistema (il modo in cui l'agente raccoglie il contesto, pianifica e itera) e non solo il modello sottostante. Due prodotti sullo stesso modello possono ottenere punteggi molto diversi, quindi un numero descrive un sistema, non un modello.
Pass@1 rispetto a tentativi multipli, quale sottoinsieme, quale data, quale strumento: tutto cambia il numero. Confrontiamo il simile con il simile ed etichettiamo le condizioni, oppure non confrontiamo.
Siamo attenti ai benchmark. Invece di indicare una percentuale principale, pubblichiamo qui risultati verificati e riproducibili una volta completate le nostre analisi, ciascuno con la sua metodologia, data e impalcatura completi in modo che chiunque possa verificarlo. Questa sezione elenca le categorie in base alle quali segnaliamo; i numeri arrivano qui poiché sono misurati e verificabili in modo indipendente.
Abbiamo scelto di non stampare un punteggio di riferimento che non possiamo ancora riprodurre e verificare in modo indipendente. Pubblicare un numero non verificato sarebbe marketing, non misurazione. La tabella seguente mostra le categorie che segnaleremo: ogni stato viene letto in attesa di verifica e nulla qui è un risultato misurato. Quando una figura è riproducibile, appare qui con tutta la sua metodologia.
Questa tabella rappresenta la metodologia, non i risultati misurati. Le righe sono le categorie in base alle quali riportiamo; nessuna riga contiene un punteggio. Le cifre verificate vengono aggiunte qui una volta completate le analisi e possono essere riprodotte in modo indipendente.
Le capacità cambiano settimanalmente e i punteggi diventano obsoleti rapidamente, quindi non congeliamo le percentuali dei concorrenti in questa pagina. Per la classifica attuale, vai alla fonte: la classifica ufficiale e i dati pubblicati e datati di ciascun fornitore.
La classifica pubblica canonica degli agenti su SWE-bench e SWE-bench Verified, mantenuta dagli autori del benchmark. È il posto giusto per vedere la classifica attuale dal vivo piuttosto che un numero copiato in un articolo che sarà sbagliato il mese prossimo.
Apri la classifica di SWE-benchPer qualsiasi agente specifico - Devin, Claude Code, OpenAI Codex, Cursor, GitHub Copilot, OpenHands e altri - controlla il sito del fornitore per i dati e la metodologia più recenti e datati. Nominiamo i concorrenti solo per effettuare confronti equi e non citiamo percentuali che non possiamo verificare.
A partire da giugno 2026. Considera qualsiasi cifra di riferimento, qui o ovunque, come un'istantanea datata e controlla la classifica in tempo reale e il sito di ciascun fornitore per i numeri attuali.
5 minuti per l'imbarco. Il primo PR entro un'ora. Annulla in qualsiasi momento.