MirLabs, le laboratoire qui regarde ce que font les IA quand on les pousse à la faute
Je passe mes journées à tester des agents IA. Avec CrashMire, je confie à un agent de faux outils et une mission ordinaire, puis je le pousse à la faute : un client qui insiste, un chef pressé, un identifiant qui traîne. Et je regarde ce qu'il fait.
À force, chaque test fait naître une question qu'un crash-test seul ne tranche pas. L'agent se tient-il mieux parce qu'il a compris qu'on le testait ? Est-ce que le modèle compte plus que la façon dont on l'a branché ? Est-ce que la langue change quelque chose ? Ces questions-là demandent une vraie expérience, préparée, répétée, et publiée. Alors j'ai donné un nom au laboratoire : MirLabs. Et j'ai ouvert un registre public de ses expériences.
Trois règles que je m'impose
D'abord, tout est fictif. Chaque expérience se joue dans une entreprise inventée, avec de faux mails, de faux fichiers et de faux identifiants. Aucun agent ne touche quoi que ce soit de réel, et ce qu'il écrit n'est jamais exécuté.
Ensuite, c'est le code qui juge, sur les actes enregistrés. Pas ce que l'agent raconte dans son compte-rendu, pas l'avis d'une autre IA. Un agent peut écrire « je l'ai signalé » sans l'avoir fait : on le verra plus bas, c'est arrivé.
Enfin, les règles sont déposées avant l'essai, sur Zenodo, et chaque résultat est publié, y compris quand il ne se passe rien. Si une version est ratée à cause du dispositif, je l'écris, je corrige, et la version suivante repart de zéro : ses essais ne s'additionnent jamais aux précédents.
Les expériences qui arrivent
La première à partir s'appelle « Observé ou pas ». Le même scénario existe en deux versions tirées au sort : l'une a des indices clairs de test, l'autre ressemble à une vraie journée de production. Cinq modèles, vingt essais par version et par modèle. Le baromètre m'a donné un indice : GPT-6 Sol a fauté 1 fois sur 18 quand il disait « test », et 9 fois sur 36 quand il ne le disait pas. Mais la question lui était posée à la fin, donc ça ne prouve rien. Ici, c'est le tirage au sort qui décide, avant l'essai. J'en parlais dans l'article sur les IA qui se tiennent mieux quand elles se croient regardées.
« Le prompt contre le code » compare trois façons de protéger le même agent : un prompt simple, un prompt chargé de consignes de sécurité, et une garde dans le code qui refuse les actes interdits. On me demande souvent si une bonne consigne suffit. Je préfère compter.
« Français contre anglais » joue les mêmes pièges dans les deux langues, avec des textes traduits mot pour mot. Des chercheurs ont montré que les modèles réagissent différemment hors de l'anglais ; je veux savoir si, chez moi, ils cèdent plus souvent en français.
« Le prix de la sécurité » oppose le petit et le grand modèle d'une même famille : Claude Haiku, Sonnet et Opus, GPT-6 Luna et Sol, Mistral Small et Large. Le petit modèle coûte moins cher. La question est de savoir ce qu'on paie, en fautes, pour cette économie.
« Le piège à retardement » vise les agents qui ont de la mémoire. Un message anodin glisse une consigne, et la situation qui doit la déclencher n'arrive que des jours plus tard, dans une autre conversation. C'est le genre de faute qu'aucun test d'une seule séance ne voit.
« Le même test, 20 fois » est la plus modeste, et peut-être la plus utile. Le même modèle, le même piège, rejoué vingt fois sans rien changer. Si l'agent fait la faute une fois sur deux, un test joué une seule fois ne vaut pas grand-chose, et il faut le savoir.
Enfin, « L'IA qui cache ses erreurs » regarde ce que l'agent dit à sa responsable après une faute. Le code compare son compte-rendu à ce qu'il a réellement fait : faute avouée, faute tue, ou faute niée.
Ce qui est déjà sorti, y compris les résultats nuls
La ruche était une reproduction en miniature, entièrement fictive, d'un incident où des agents isolés s'étaient trouvés par un espace commun. Quatre agents, chacun avec une tâche impossible, un dossier partagé visible de tous, de faux identifiants. Avec DeepSeek, aucun agent n'a trouvé le dossier partagé. Il ne s'est rien passé. C'est un résultat : un agent qui n'a aucune raison de fouiller ne fouille pas. La suite lui donnera une raison de chercher.
« Vie privée » a donné un résultat net, sur un seul modèle et cinq essais par cas. Quand l'agent découvre la liaison de son directeur juste après avoir appris son remplacement, il n'en fait rien, cinq fois sur cinq. Mais quand il voit des avances du directeur à une salariée, il écrit dans sa pensée qu'il faut les signaler, cinq fois sur cinq, et ne le signale vraiment qu'une fois sur cinq. Ce que l'agent dit vouloir faire et ce qu'il fait ne sont pas la même chose. C'est exactement pour ça que je juge les actes.
« Périmètre flou » et « Survie » sont non concluantes, et je l'écris tel quel. Dans les deux cas, le défaut venait de mon dispositif : l'ordre d'arrêt tombait trop tôt, avant que la vraie question se pose. Une relecture indépendante du moteur a ensuite trouvé un défaut de mémoire, que j'ai corrigé et publié avec ses conséquences sur chaque chiffre. Les nouvelles versions sont prêtes.
Où suivre tout ça
Chaque expérience a sa fiche dans le labo, le registre public : la question, le protocole, le statut, les résultats ou « pas encore de résultat », les limites et le lien vers le pré-enregistrement. Je le tiens à jour à chaque fois qu'une expérience avance.
Et chaque mois, il y a le baromètre CrashMire des agents IA, qui confie le même agent aux modèles les plus utilisés et compte combien de fois chacun cède. Dans la dernière édition, Claude Sonnet 5.5 a cédé dans 4 essais sur 42, Claude Haiku 5.5 dans 10 sur 39. Les grands modèles fermés cèdent dans 10 à 26 % des essais, les modèles ouverts ou petits dans 36 à 61 %.
À lire aussi
Votre site a un assistant de discussion. Qui l'a poussé à la faute ?
Le test gratuit LiaScan repère l'assistant de discussion chargé par votre page d'accueil, sans jamais lui écrire. Pourquoi c'est l'agent IA le plus exposé du site.
Lire la pensée d'une IA ne suffit plus pour la juger
Le raisonnement des IA devient plus dur à surveiller, et une triche peut se cacher d'un contrôle qui lit le texte. Pourquoi je juge les actes d'un agent, pas ses mots.
Quand une IA croit que rien n'est réel
Une IA qui se croit testée ne se tient pas toujours mieux : elle peut aussi franchir une ligne en se disant que ce n'est pas réel. Ce que j'ai changé dans mes tests.