Sachez ce que vos ingénieurs en IA ont réellement fait.
Gérer des flottes d’agents IA sans observabilité est imprudent. CodeCourier Analytics fournit le tableau de bord : chaque exécution tracée, chaque jeton évalué, chaque régression détectée avant d'atterrir dans le fichier principal.
Les agents échouent silencieusement. Et puis votre facture explose.
Échecs silencieux
Un agent réessaye, le vérificateur réussit, le PR est expédié - mais la différence est fausse. Sans traces, vous le découvrez auprès d'un client.
Dépenses de jetons incontrôlables
Une mauvaise boucle d’invite multiplie le coût par 40. Le coût par-PR est la seule mesure qui le détecte avant la facture.
Persona régressions
Vous accordez un personnage. L'acceptation passe de 78% à 41% du jour au lendemain. Les verdicts par personne apparaissent en quelques minutes, et non en semaines.
Chaque métrique de flotte, dans un seul panneau.
Quatre objectifs sur la même flotte : aperçu, tirages, coût, qualité. Filtrez par personne, dépôt, flux de travail ou heure. Exportez n’importe quoi.
La flotte en un coup d'oeil
Volume d'exécution, débit, tendance des coûts et latence p95, le tout sur une seule toile.
Six couches de signaux, une source de vérité.
Latence, dépenses, verdicts, erreurs, qualité de la personnalité, santé de la livraison : tous les signaux sur lesquels un ingénieur senior pagerait.
Latence d'exécution
De bout en bout et par étapes p50/p95/p99. Par personne, par flux de travail, par région - pas d'astuces d'agrégation.
Jeton + $ de dépenses
Jetons d'entrée, de sortie, mis en cache et de raisonnement - chiffrés par modèle, attribués à un personnage, un dépôt et une équipe.
Verdicts par étapes
Chaque vérificateur, réviseur et porte politique émet un verdict. Augmentez le taux de réussite ou explorez le différentiel défaillant.
Empreintes digitales d'erreur
Regroupement d'erreurs prenant en compte la pile. Le même appel d’outil irrégulier sur 400 exécutions se réduit à une seule empreinte digitale avec un décompte et une tendance.
Persona performances
Taux d'acceptation, cycles de révision moyens, taux de fuite vers la production. Comparez deux versions de persona sur la même charge de travail.
Livraison de webhooks
Nombre de réussites, de latence et de nouvelles tentatives par point de terminaison. Les alertes se déclenchent avant que votre pipeline CI ne remarque qu'un webhook est mort.
Chaque course, entièrement tracée.
Cliquez sur une course. Consultez le plan de l'agent, chaque appel d'outil, chaque échange de modèle, chaque différence de fichier et chaque verdict du vérificateur - avec timing.
Les traces au niveau des étapes se déroulent comme une trace de pile. Chaque étape expose les messages de l'agent, le modèle appelé, les jetons d'invite et de réponse, ainsi que tous les artefacts écrits sur le disque. Une vue en cascade montre quelle étape a retardé l'élan - il s'agit généralement de celle qui attend un tiers floconneux.
La relecture se fait en un clic. Réexécutez une seule étape sur un personnage plus récent sans réexécuter l’ensemble du flux de travail.
- Planifiersuccès1,2 s
- Lire le dépôtsuccès3,8 s
- Appliquer le correctifavertir12,4 sview messages · 18 turns
- Exécuter le vérificateursuccès8,9 s
FinOps pour les flottes d'agents.
Attribuez chaque centime - par personne, par flux de travail, par référentiel, par équipe. Refacturations au bon centre de coûts, mensuellement, automatiquement.
Définissez des budgets par personne ou par dépôt. Alertes douces à 60 %, plafonds stricts à 95 %. Pas de factures surprises, pas de discussions Slack d’excuses.
Rapports sur une combinaison de modèles inclus. Déplacez un flux de travail d'Opus vers Haiku et regardez les économies apparaître dans l'heure suivante.
Des informations auxquelles votre auditeur fera réellement confiance.
Chaque exécution, chaque invite, chaque échange de modèle - écrit dans un magasin d'ajout uniquement avec chaînage cryptographique.
Journal d'audit par exécution
Invite complète, réponse, appels d'outils et différences - conservés sur le plan que vous choisissez, de manière immuable.
Magasin de traces immuable
En ajout uniquement, chaîné par hachage, exportable. Inviolable par construction, pas par politique.
RBAC sur les informations
Étendez les analyses par équipe, dépôt ou personnalité. Les ingénieurs voient leur flotte, les finances voient la facture.
Exporter vers SIEM
Diffusez les événements vers Splunk, Datadog ou tout autre bucket compatible S3. La chronologie de vos incidents reste dans votre pile.
Rédaction tenant compte des informations personnelles
Rédaction configurable lors de l’ingestion. Les secrets, les jetons et les informations personnelles des clients sont masqués avant que la ligne n'atteigne l'entrepôt.
SOC 2 prêt
Les journaux sont mappés aux ID de contrôle standard. SOC 2 Les rapports de type II incluent les contrôles attendus par votre auditeur.
Transmettez des informations sur la pile que vous utilisez déjà.
Interrogez l'entrepôt avec un SDK.
Même TypeScript SDK, réponses saisies. Créez des tableaux de bord internes, rapprochez la facturation, pilotez des runbooks, sans supprimer l'interface utilisateur.
// Cost-per-persona, last 7d, grouped, paginated
import { CodeCourier } from "@codecourier/sdk";
const cc = new CodeCourier({ apiKey: process.env.CC_KEY! });
const page = await cc.analytics.runs.list({
filter: {
from: "-7d",
status: ["success", "warn"],
workspace: "ws_prod",
},
groupBy: "persona",
metrics: ["costUsd", "tokensIn", "tokensOut"],
limit: 100,
});
page.data.forEach((r) =>
console.log(r.persona, "$" + r.costUsd.toFixed(2))
);
// → Atlas-v2.5 $487.31
// → Helios-v1.3 $312.04 …
Exécutez ceci sur une clé d’espace de travail. Regroupez par personne, filtrez par statut, pagination du curseur en premier.
Trois équipes courent déjà dessus.
FinOps pour les équipes IA
Les finances établissent chaque semaine une répartition des coûts par équipe. Les ingénieurs voient les budgets à côté de chaque personnage : les dépenses excessives sont détectées dans l'éditeur, pas dans la facture.
Lire le manuel de jeuAlertes de régression après des changements de personnalité
Chaque mise à jour de personnage déclenche une évaluation fantôme. Si le taux d'acceptation chute au-delà du seuil, le déploiement est suspendu et l'astreinte est recherchée.
Lire le manuel de jeuConformité pour les bases de code réglementées
Les équipes bancaires et de santé utilisent des journaux d’exécution immuables pour prouver ce qui a touché quel fichier. Les contrôles SOC 2 et GDPR sont mappés un à un.
Parlez à la conformitéNous sommes passés de « les agents semblent travailler » à une rétrofacturation par équipe et à un verdict par personne - en un après-midi. Le coût par-PR est désormais une mesure du conseil d'administration.
Questions posées réellement par un responsable de plateforme.
Combien de temps les données sont-elles conservées ?
Puis-je interroger directement l’entrepôt ?
Le coût inclut-il les dépenses liées aux modèles tiers ?
En temps réel ou par lots ?
Quel est le format d'exportation ?
Câblez votre premier tableau de bord en moins de cinq minutes.
Embauchez votre premier ingénieur IA.
Expédier avant l'heure du déjeuner.
5 minutes pour embarquer. Premier PR dans l'heure. Annulez à tout moment.