Wissen Sie, was Ihre KI-Ingenieure tatsächlich getan haben.
Flotten von KI-Agenten ohne Observability zu betreiben ist fahrlässig. CodeCourier Analytics liefert das Dashboard - jeder Run getraced, jedes Token bepreist, jede Regression abgefangen, bevor sie in main landet.
Agenten scheitern lautlos. Dann explodiert die Rechnung.
Lautlose Fehler
Ein Agent retried, der Checker passt, der PR geht raus - der Diff ist trotzdem falsch. Ohne Traces erfahren Sie es vom Kunden.
Außer Kontrolle geratener Token-Spend
Eine schlechte Prompt-Schleife multipliziert die Kosten um den Faktor 40. Cost-per-PR ist die einzige Metrik, die es vor der Rechnung erwischt.
Persona-Regressionen
Sie justieren eine Persona. Akzeptanzrate fällt über Nacht von 78% auf 41%. Verdict-Scores pro Persona zeigen das in Minuten, nicht Wochen.
Jede Fleet-Metrik in einem Panel.
Vier Blickwinkel auf dieselbe Flotte - Overview, Runs, Cost, Quality. Filtern Sie nach Persona, Repo, Workflow oder Zeit. Alles exportierbar.
Flotte auf einen Blick
Run-Volumen, Durchsatz, Cost-Trend und p95-Latenz - alles auf einer Fläche.
Sechs Signal-Ebenen, eine Wahrheit.
Latenz, Spend, Verdicts, Fehler, Persona-Qualität, Delivery-Health - jedes Signal, auf das ein Senior Engineer paged.
Run-Latenz
End-to-end und auf Step-Level: p50, p95, p99. Pro Persona, Workflow, Region - ohne Aggregations-Tricks.
Token + $ Spend
Input, Output, Cached- und Reasoning-Tokens - pro Model bepreist, einer Persona, einem Repo, einem Team zugeordnet.
Step-Level-Verdicts
Jeder Checker, Reviewer und Policy-Gate emittiert ein Verdict. Roll-up zur Pass-Rate oder Drill-Down in den fehlgeschlagenen Diff.
Error-Fingerprints
Stack-basierte Fehler-Gruppierung. Derselbe wackelige Tool-Call über 400 Runs kollabiert zu einem Fingerprint mit Count und Trend.
Persona-Performance
Akzeptanzrate, mittlere Review-Zyklen, Escape-Rate in Produktion. Vergleichen Sie zwei Persona-Versionen am selben Workload.
Webhook-Delivery
Pro Endpoint: Success-Rate, Latenz, Retry-Count. Alerts feuern, bevor Ihre CI-Pipeline merkt, dass ein Webhook tot ist.
Jeder Run, vollständig getraced.
Klicken Sie auf einen Run. Sehen Sie den Plan des Agenten, jeden Tool-Call, jeden Model-Austausch, jeden File-Diff und jedes Checker-Verdict - mit Timing.
Step-Level-Traces falten sich auf wie ein Stack-Trace. Jeder Step zeigt die Agent-Messages, das aufgerufene Model, die Prompt- und Response-Tokens und alle auf die Disk geschriebenen Artefakte. Ein Wasserfall-View zeigt, welcher Step den Run aufgehalten hat - meistens der, der auf einen wackeligen Third-Party wartet.
Replay ist ein Klick. Führen Sie einen einzelnen Step gegen eine neuere Persona aus, ohne den ganzen Workflow zu wiederholen.
- Plansuccess1,2s
- Repo lesensuccess3,8s
- Patch anwendenwarn12,4sview messages · 18 turns
- Checker laufensuccess8,9s
FinOps für Agent-Flotten.
Ordnen Sie jeden Cent zu - pro Persona, Workflow, Repository, Team. Chargebacks an die richtige Kostenstelle, monatlich, automatisch.
Setzen Sie Budgets pro Persona oder Repo. Soft-Alerts bei 60%, harte Caps bei 95%. Keine Überraschungs-Rechnungen, keine entschuldigenden Slack-Threads.
Mix-of-Models-Reporting inklusive. Verschieben Sie einen Workflow von Opus auf Haiku und sehen Sie die Einsparung in der nächsten Stunde.
Insights, denen Ihr Auditor tatsächlich vertraut.
Jeder Run, jeder Prompt, jeder Model-Austausch - geschrieben in einen Append-Only-Store mit kryptografischer Verkettung.
Audit-Log pro Run
Vollständiger Prompt, Response, Tool-Calls und Diffs - auf dem Plan Ihrer Wahl, immutabel aufbewahrt.
Immutabler Trace-Store
Append-only, Hash-verkettet, exportierbar. Manipulations-evident per Konstruktion, nicht per Policy.
RBAC auf Insights
Scopen Sie Analytics nach Team, Repo oder Persona. Engineers sehen ihre Flotte, Finance sieht die Rechnung.
Export zu SIEM
Streamen Sie Events zu Splunk, Datadog oder jedem S3-kompatiblen Bucket. Ihre Incident-Timeline bleibt in Ihrem Stack.
PII-bewusste Redaktion
Konfigurierbare Redaktion beim Ingest. Secrets, Tokens und Kunden-PII werden maskiert, bevor die Row im Warehouse landet.
SOC 2 ready
Logs mappen auf die Standard-Control-IDs. SOC 2 Type II Reports enthalten die Controls, die Ihr Auditor erwartet.
Insights in den Stack, den Sie ohnehin nutzen.
Fragen Sie das Warehouse mit einem SDK ab.
Dasselbe TypeScript-SDK, typisierte Antworten. Bauen Sie interne Dashboards, gleichen Sie Billing ab, treiben Sie Runbooks - ohne die UI zu scrapen.
// Cost-per-persona, last 7d, grouped, paginated
import { CodeCourier } from "@codecourier/sdk";
const cc = new CodeCourier({ apiKey: process.env.CC_KEY! });
const page = await cc.analytics.runs.list({
filter: {
from: "-7d",
status: ["success", "warn"],
workspace: "ws_prod",
},
groupBy: "persona",
metrics: ["costUsd", "tokensIn", "tokensOut"],
limit: 100,
});
page.data.forEach((r) =>
console.log(r.persona, "$" + r.costUsd.toFixed(2))
);
// → Atlas-v2.5 $487.31
// → Helios-v1.3 $312.04 …
Gegen einen Workspace-Key ausführen. Group-by Persona, Filter nach Status, Cursor-basierte Paginierung.
Drei Teams setzen es bereits ein.
FinOps für KI-Teams
Finance zieht wöchentlich einen Cost-Breakdown pro Team. Engineers sehen Budgets neben jeder Persona - Überschreitung wird im Editor gestoppt, nicht in der Rechnung.
Playbook lesenRegression-Alerts nach Persona-Änderungen
Jedes Persona-Update löst eine Shadow-Eval aus. Fällt die Akzeptanzrate über den Schwellwert hinaus ab, wird der Rollout gestoppt und die Bereitschaft paged.
Playbook lesenCompliance für regulierte Codebases
Banking- und Healthcare-Teams nutzen immutable Run-Logs, um zu belegen, wer welche Datei berührt hat. SOC 2 und GDPR Controls mappen 1:1.
Compliance kontaktierenWir sind von ‚die Agenten scheinen zu funktionieren‘ zu Chargeback pro Team und Verdict-Score pro Persona gekommen - an einem Nachmittag. Cost-per-PR ist jetzt eine Board-Metrik.
Fragen, die ein Platform-Lead tatsächlich stellt.
Wie lange werden Daten aufbewahrt?
Kann ich das Warehouse direkt abfragen?
Sind Drittanbieter-Model-Kosten enthalten?
Real-time oder Batch?
Welches Export-Format?
Verkabeln Sie Ihr erstes Dashboard in unter fünf Minuten.
Stellen Sie Ihren ersten KI-Ingenieur ein.
Bis zum Mittag live.
5 Minuten Onboarding. Erster PR innerhalb einer Stunde. Jederzeit kündbar.