MirLabs / Le blog

Un agent IA se re-teste à chaque mise en production

· Cyril Delage

Un agent IA de service client, ça bouge tout le temps. Quelqu'un retouche son prompt pour qu'il soit plus aimable. Le fournisseur sort une nouvelle version du modèle. On lui donne un outil de plus : rembourser, modifier une adresse, envoyer un e-mail.

Chacun de ces changements a l'air anodin. Aucun ne l'est. Une phrase de prompt en moins, et la règle « jamais de remboursement au-delà de 50 € » ne tient plus face à un client qui insiste. Un nouveau modèle, et l'agent qui refusait poliment se met à obéir à une consigne cachée dans un message.

Le code d'une application, personne ne le met en production sans tests. Le comportement d'un agent IA qui a la main sur de vrais outils, si. Personne n'est prêt pour ça.

Un crash-test, c'est une photo

Je l'écrivais il y a une semaine : un crash-test CrashMire dit ce qui a tenu et ce qui a cédé, à un instant donné. C'est une photo. Elle vaut pour l'agent testé, avec ce prompt, ce modèle et ces outils.

Dès qu'un des trois change, la photo est périmée. La seule réponse sérieuse, c'est de refaire le test au moment exact où l'agent change, c'est-à-dire à la mise en production.

Le contrôle à chaque mise en production

C'est l'option « Contrôle à chaque mise en production » des formules d'abonnement CrashMire. Le principe est celui qu'on applique déjà au code :

  1. Votre chaîne de déploiement lance le crash-test dès que le prompt, le modèle ou les outils de l'agent changent.
  2. CrashMire rejoue le même crash-test que le re-test mensuel : même agent, mêmes tests, mêmes modèles, sans nouvel entretien.
  3. Il compare avec le crash-test précédent de cet agent : ce qui est nouveau, ce qui a été corrigé.
  4. Le verdict tombe : pass ou fail. Sur fail, la mise en production s'arrête.

Concrètement, c'est une petite API. Trois appels, une clé :

POST /api/gate/v1/runs   {"agent": 12, "note": "commit 3f2a"}
  → 202 {"run": 61, "status": "running", "status_url": "…"}

GET  /api/gate/v1/runs/61?fail_on=high
  → {"status": "done", "verdict": "fail", "new": […], "fixed": 2,
     "by_severity": {…}, "compared_with": "CM-2026-0057", "report_url": …}

Pour GitHub Actions, j'ai écrit une action qui fait tout le travail : elle lance le crash-test, attend le verdict (une vérification par minute, 90 minutes au plus par défaut), et fait échouer le job si l'agent a régressé. Quand le rapport est livré, son lien s'affiche dans le journal du job.

Qu'est-ce qui bloque la mise en production ?

C'est vous qui choisissez, avec un seul paramètre, fail_on :

  • new (par défaut) : bloque seulement sur une faille qui n'existait pas au crash-test précédent. C'est le réglage d'une équipe qui corrige au fil de l'eau : on ne bloque pas les livraisons pour un défaut déjà connu et suivi, mais on n'en laisse entrer aucun nouveau.
  • high : bloque dès qu'il reste une faille grave ou critique, ancienne ou nouvelle.
  • critical : bloque seulement sur une faille critique.
  • any : bloque sur la moindre faille.

Le comportement par défaut est volontairement le plus utile au quotidien. Une régression, c'est exactement ce qu'on veut attraper : l'agent tenait hier, il cède aujourd'hui, et la seule chose qui a changé, c'est votre dernier commit.

Pourquoi c'est solide

Une API qui peut lancer des crash-tests sur un contrat est une cible. Elle est verrouillée en conséquence :

  • La clé n'est montrée qu'une fois, au signataire du contrat, dans son espace client. CrashMire n'en garde que l'empreinte SHA-256 : même avec la base de données, on ne la retrouve pas. Le signataire peut la remplacer à tout moment.
  • Vingt essais avec une mauvaise clé depuis une même adresse en une heure, et cette adresse est refusée pour l'heure.
  • Un seul crash-test à la fois par agent. S'il en tourne déjà un, l'API renvoie son numéro au lieu d'en lancer un second.
  • Des plafonds par contrat : par défaut dix crash-tests par jour et trente sur trente jours. Une boucle mal écrite dans un pipeline ne peut pas s'emballer.
  • Un contrat ne voit que ses propres crash-tests. Un numéro qui appartient à un autre contrat répond « inconnu ».

Et l'agent, lui, est toujours testé comme pour un crash-test classique : avec des données fictives, sans accès à vos systèmes.

Les crash-tests d'agents IA, c'est d'utilité publique

On met des agents IA devant des clients, avec le droit de rembourser, de modifier un dossier, d'écrire au nom de l'entreprise. Un agent sans garde-fou, poussé par quelqu'un de patient, peut accorder ce qu'il ne devrait jamais accorder, ou laisser sortir une information qui ne devait pas sortir. Et chaque mise à jour peut rouvrir une porte qu'on croyait fermée.

On ne laisserait pas partir une voiture sans freins vérifiés après chaque réparation. Un agent qui touche à l'argent ou aux données des clients mérite la même règle : pas de mise en production sans crash-test.

À vous de jouer

Le plus parlant, c'est de voir la différence entre un agent non testé et un agent passé au crash-test. Sur la démo de CrashMire, chaque message que vous écrivez part à deux Léa à la fois : la Léa d'origine, dont les règles ne sont que dans son prompt, et la Léa après crash-test, même modèle, mêmes outils, avec un prompt corrigé et des verrous dans le code. Essayez de les faire céder, et comparez leurs réponses côte à côte.

Si vous avez un agent en production, ou bientôt, regardez les tarifs : le contrôle à chaque mise en production s'ajoute aux formules d'abonnement.

Un projet du même genre ?Intégration de l'IA, site à rendre lisible par les assistants, sécurité : parlons-en.
Me contacter

À lire aussi