Prodotto · Analisi

Scopri cosa hanno effettivamente fatto i tuoi ingegneri IA.

Gestire flotte di agenti IA senza osservabilità è sconsiderato. CodeCourier Analytics fornisce il dashboard: ogni esecuzione tracciata, ogni token costato, ogni regressione rilevata prima che arrivi nel main.

codecourier · analyticslive
Runs · 24h
1,284
+12.4%
Corre oggi
1,284
+12%
PRs spedito
172
+24
Spesa in gettoni
$842
−3.1%
Corsa media · p95
14d activity
Il problema

Gli agenti falliscono silenziosamente. Allora la tua bolletta esplode.

Fallimenti silenziosi

Un agente riprova, il controllore passa, il PR spedisce, ma la differenza è sbagliata. Senza tracce lo scopri da un cliente.

Spesa in token incontrollata

Un ciclo di prompt errato moltiplica il costo di 40×. Il costo per PR è l'unica metrica che lo rileva prima della fattura.

Persona regressioni

Tu sintonizzi un personaggio. L'accettazione passa dal 78% al 41% da un giorno all'altro. I punteggi del verdetto per persona emergono in pochi minuti, non in settimane.

Cruscotto

Tutti i parametri della flotta in un unico pannello.

Quattro obiettivi sulla stessa flotta: panoramica, tirature, costi, qualità. Filtra per persona, repository, flusso di lavoro o tempo. Esporta qualsiasi cosa.

La flotta in uno sguardo

Esegui volume, throughput, andamento dei costi e latenza p95, tutto su un unico foglio.

Corre oggi
1,284
PRs spedito
172
Spesa in gettoni · 24 ore
$842
Corsa media · p95
47s
Runs · hourly
last 18h
Ciò che tracciamo

Sei strati di segnale, una fonte di verità.

Latenza, spesa, verdetti, errori, qualità della persona, integrità della consegna: ogni segnale su cui un ingegnere senior potrebbe paginare.

Esegui latenza

End-to-end e a livello di passo p50/p95/p99. Per persona, per flusso di lavoro, per regione: nessun trucco di aggregazione.

Gettone + $ di spesa

Token di input, output, memorizzati nella cache e di ragionamento: costati per modello, attribuiti a una persona, un repository e un team.

Verdetti a gradini

Ogni controllore, revisore e policy gate emette un verdetto. Roll up per superare la velocità o approfondire il differenziale difettoso.

Errore impronte digitali

Raggruppamento degli errori in base allo stack. La stessa chiamata instabile dello strumento su 400 esecuzioni si riduce a un'impronta digitale con un conteggio e una tendenza.

Persona prestazioni

Tasso di accettazione, cicli medi di revisione, tasso di fuga verso la produzione. Confronta due versioni Persona sullo stesso carico di lavoro.

Consegna del webhook

Numero di successi, latenza e tentativi per endpoint. Gli avvisi vengono attivati ​​prima che la pipeline CI rilevi che un webhook è inattivo.

Approfondire

Ogni corsa, completamente tracciata.

Fare clic su una corsa. Visualizza il piano dell'agente, ogni chiamata allo strumento, ogni scambio di modelli, ogni differenza di file e ogni verdetto del controllore, con tempismo.

Le tracce a livello di passaggio si svolgono come un'analisi dello stack. Ogni passaggio espone i messaggi dell'agente, il modello chiamato, i token di richiesta e risposta ed eventuali artefatti scritti su disco. Una visualizzazione a cascata mostra quale passaggio ha bloccato la corsa, di solito è quello in attesa di una terza parte instabile.

La riproduzione è un clic. Esegui nuovamente un singolo passaggio rispetto a una nuova persona senza rieseguire l'intero flusso di lavoro.

run_7f3a91·Atlas-v2.5
26.3s · $0.18
  • Pianosuccesso1,2 secondi
  • Leggi il repositorysuccesso3,8 s
  • Applicare la toppaavvisare12,4 s
    view messages · 18 turns
  • Esegui il controllosuccesso8,9 s
Waterfall
Piano
Leggi il repository
Applicare la toppa
Esegui il controllo
Per persona
Atlas-v2.5
$500
Helios-v1.3
$360
Mercury-v0.9
$240
Per flusso di lavoro
Ship-PR
$440
Triage
$280
Refactor-Sprint
$170
Per deposito
core/api
$460
web/dash
$320
infra/terraform
$140
Intelligenza sui costi

FinOps per flotte di agenti.

Attribuisci ogni centesimo: per persona, per flusso di lavoro, per repository, per team. Riaddebiti al centro di costo corretto, mensilmente, automaticamente.

Imposta i budget per persona o per repository. Soft alert al 60%, limiti rigidi al 95%. Nessuna fattura a sorpresa, nessun thread Slack di scuse.

Reporting su mix di modelli incluso. Sposta un flusso di lavoro da Opus a Haiku e guarda i risparmi apparire nell'ora successiva.

Controllo e conformità

Intuizioni di cui il tuo revisore si fiderà davvero.

Ogni esecuzione, ogni richiesta, ogni scambio di modelli, scritto in un archivio di sola aggiunta con concatenamento crittografico.

Registro di controllo per esecuzione

Richiesta, risposta, chiamate agli strumenti e differenze complete: mantenute nel piano scelto, in modo immutabile.

Archivio di tracce immutabili

Solo aggiunta, concatenato con hash, esportabile. Evidente la manomissione per costruzione, non per politica.

RBAC sugli approfondimenti

Analisi dell'ambito per team, repository o persona. Gli ingegneri vedono la loro flotta, la finanza vede il conto.

Esporta in SIEM

Trasmetti eventi a Splunk, Datadog o qualsiasi bucket compatibile con S3. La sequenza temporale dell'incidente rimane nel tuo stack.

Redazione in grado di riconoscere le PII

Redazione configurabile al momento dell'acquisizione. I segreti, i token e le PII dei clienti vengono mascherati prima che la fila raggiunga il magazzino.

SOC 2 pronto

I log vengono mappati agli ID di controllo standard. SOC 2 I report di Tipo II includono i controlli che il tuo revisore si aspetta.

Esportazione

Fornisci informazioni approfondite allo stack che già utilizzi.

Datadog
Grafana
Fiocco di neve
BigQuery
S3
Webhook
Analisi API

Interroga il magazzino con un SDK.

Stesso TypeScript SDK, risposte digitate. Crea dashboard interni, riconcilia la fatturazione, gestisci i runbook, senza intaccare l'interfaccia utente.

analytics/cost-per-persona.ts
// Cost-per-persona, last 7d, grouped, paginated
import { CodeCourier } from "@codecourier/sdk";

const cc = new CodeCourier({ apiKey: process.env.CC_KEY! });

const page = await cc.analytics.runs.list({
  filter: {
    from:    "-7d",
    status:  ["success", "warn"],
    workspace: "ws_prod",
  },
  groupBy: "persona",
  metrics: ["costUsd", "tokensIn", "tokensOut"],
  limit:   100,
});

page.data.forEach((r) => 
  console.log(r.persona, "$" + r.costUsd.toFixed(2))
);
// → Atlas-v2.5 $487.31
// → Helios-v1.3 $312.04 …

Eseguilo con una chiave dell'area di lavoro. Raggruppa per persona, filtra per stato, impagina prima il cursore.

Playbook

Tre squadre ci stanno già correndo.

FinOps per i team IA

La finanza pubblica settimanalmente una ripartizione dei costi per squadra. Gli ingegneri vedono i budget accanto a ciascuna persona: la spesa eccessiva viene rilevata nell'editor, non nella fattura.

Leggi il manuale

Avvisi di regressione dopo i cambiamenti di persona

Ogni aggiornamento della persona dà il via a una valutazione ombra. Se il tasso di accettazione scende oltre la soglia, l'implementazione viene sospesa e il servizio di guardia viene contattato.

Leggi il manuale

Conformità per basi di codice regolamentate

I team bancari e sanitari utilizzano registri di esecuzione immutabili per evidenziare cosa ha toccato quale file. I controlli SOC 2 e GDPR vengono mappati uno a uno.

Parla con la conformità
Siamo passati da "gli agenti sembrano funzionare" a uno storno di addebito per squadra e un punteggio di verdetto per persona, in un pomeriggio. Il costo per PR è ora una metrica della scheda.
Petra Lindqvist·Direttore della piattaforma · Helio Labs
FAQ

Domande poste effettivamente dal lead della piattaforma.

Per quanto tempo vengono conservati i dati?
I piani Gratuito e Team conservano 30 giorni di tracce e 13 mesi di metriche aggregate. L'azienda sceglie la finestra di conservazione per classe di dati: in genere 12 mesi per le tracce, 7 anni per i log di controllo. Tutto ciò che è più vecchio viene eliminato o spostato nel tuo secchio, a tua scelta.
Posso interrogare direttamente il magazzino?
Sì. I piani aziendali forniscono una condivisione Snowflake o BigQuery di sola lettura, aggiornata ogni cinque minuti. I piani Gratuito e Team utilizzano Analytics API con l'impaginazione del cursore. In ogni caso, scrivi l'SQL una volta e possiedi la dashboard.
Il costo include la spesa per modelli di terze parti?
Sì. Misuriamo i token di input, output, memorizzati nella cache e di ragionamento per fornitore e li convertiamo in USD utilizzando le tariffe contrattate. I clienti Bring Your Own Key vedono gli stessi numeri: semplicemente non fatturiamo su di essi.
In tempo reale o batch?
Le corse arrivano nel dashboard entro due secondi dal completamento. I rollup dei costi vengono liquidati entro un minuto. Le aggregazioni più vecchie di 24 ore vengono raggruppate ogni ora. Se hai bisogno di avvisi di seconda risoluzione, Analytics API trasmette ogni evento su Eventi inviati dal server.
Qual è il formato di esportazione?
Linee JSON per tracce, CSV o Parquet per rollup metrici. I payload del webhook hanno una versione JSON con uno schema stabile. Ogni esportazione contiene un ID dell'area di lavoro, un ID di esecuzione e un checksum crittografico: rilascialo nel tuo magazzino senza un livello di trasformazione.
Guarda la flotta, aggiusta la flotta

Cabla la tua prima dashboard in meno di cinque minuti.

Gratuito per 14 giorni · nessuna carta di credito

Assumi il tuo primo ingegnere AI.
Spedizione entro l'ora di pranzo.

5 minuti per l'imbarco. Il primo PR entro un'ora. Annulla in qualsiasi momento.