Benchmarks sind ein echtes Signal für Fähigkeit - und leicht zu missbrauchen. Diese Seite erklärt, wie wir autonome Coding-Agenten messen, was die Standard-Benchmarks erfassen und was nicht, und wie CodeCourier Ergebnisse berichtet: nur Zahlen, die wir reproduzieren können und hinter denen wir stehen.
Wir evaluieren gegen zwei öffentliche, anerkannte Benchmarks. Jeder testet etwas Echtes an der Fähigkeit eines Agents, Engineering-Arbeit zu leisten, und jeder hat Grenzen, die man verstehen sollte, bevor man irgendeinen Score liest.
Ein menschlich validierter Satz echter GitHub-Issues aus Open-Source-Projekten. Ein Agent erhält das Issue und das Repository und muss einen Patch produzieren; die Aufgabe gilt nur als gelöst, wenn die Änderung die projekteigenen Tests bestehen lässt. Er misst, ob ein Agent echte Bugs in echtem Code fixen kann, nicht ob er ein Quiz besteht - das Nächste, was das Feld an einer aussagekräftigen Prüfung für einen KI-Software-Engineer hat.
Ein Benchmark für Agenten, die über ein Terminal arbeiten - Befehle ausführen, Output prüfen und in einer echten Shell-Umgebung auf ein Ziel hin iterieren. Er ergänzt SWE-bench, indem er operative, werkzeugnutzende Kompetenz testet statt nur Patch-Erzeugung, was für einen Agenten zählt, der seine eigene Arbeit aufsetzen, bauen und verifizieren muss.
Jede Zahl, die wir veröffentlichen, kommt mit der exakten Methodik, dem Datum und dem genutzten Scaffold. Ist ein Ergebnis nicht reproduzierbar, steht es nicht auf dieser Seite.
Ein Score spiegelt ein ganzes System wider - wie der Agent Kontext sammelt, plant und iteriert - nicht nur das zugrundeliegende Modell. Zwei Produkte auf demselben Modell können sehr unterschiedlich scoren, eine Zahl beschreibt also ein System, kein Modell.
Pass@1 versus mehrere Versuche, welches Subset, welches Datum, welches Tooling - alles ändert die Zahl. Wir vergleichen Gleiches mit Gleichem und benennen die Bedingungen, oder wir vergleichen nicht.
Wir gehen bei Benchmarks bewusst vor. Statt mit einer Schlagzeilen-Prozentzahl zu führen, veröffentlichen wir hier verifizierte, reproduzierbare Ergebnisse, sobald unsere Läufe abgeschlossen sind - jeweils mit voller Methodik, Datum und Scaffold, sodass jede:r es prüfen kann. Dieser Abschnitt listet die Kategorien, gegen die wir berichten; die Zahlen landen hier, sobald sie gemessen und unabhängig verifizierbar sind.
Wir haben uns entschieden, keinen Benchmark-Score zu drucken, den wir noch nicht reproduzieren und unabhängig verifizieren können. Eine unverifizierte Zahl zu veröffentlichen wäre Marketing, keine Messung. Die Tabelle unten zeigt die Kategorien, gegen die wir berichten werden - jeder Status liest sich als Verifizierung ausstehend, und nichts hier ist ein gemessenes Ergebnis. Sobald eine Zahl reproduzierbar ist, erscheint sie hier mit ihrer vollen Methodik.
Diese Tabelle ist Methodik, keine gemessenen Ergebnisse. Die Zeilen sind die Kategorien, gegen die wir berichten; keine Zeile enthält einen Score. Verifizierte Zahlen werden hier ergänzt, sobald Läufe abgeschlossen sind und unabhängig reproduziert werden können.
Fähigkeiten bewegen sich wöchentlich und Scores veralten schnell, daher frieren wir keine Wettbewerber-Prozentzahlen in diese Seite ein. Für aktuelle Stände geh zur Quelle: das offizielle Leaderboard und die eigenen datierten, veröffentlichten Zahlen jedes Anbieters.
Das kanonische öffentliche Ranking von Agenten auf SWE-bench und SWE-bench Verified, gepflegt von den Autoren des Benchmarks. Es ist der richtige Ort, um live aktuelle Stände zu sehen, statt einer Zahl, die in einen Artikel kopiert wurde und nächsten Monat falsch sein wird.
SWE-bench-Leaderboard öffnenFür einen bestimmten Agenten - Devin, Claude Code, OpenAI Codex, Cursor, GitHub Copilot, OpenHands und andere - prüfe die Seite des jeweiligen Anbieters auf dessen aktuellste, datierte Zahlen und Methodik. Wir nennen Wettbewerber nur, um fair zu vergleichen, und wir zitieren keine Prozentzahlen, die wir nicht verifizieren können.
Stand Juni 2026. Behandle jede Benchmark-Zahl - hier oder anderswo - als datierte Momentaufnahme und prüfe das Live-Leaderboard und die Seite jedes Anbieters auf aktuelle Zahlen.
5 Minuten Onboarding. Erster PR innerhalb einer Stunde. Jederzeit kündbar.