MirLabs / Le blog

MirLabs, le laboratoire qui regarde ce que font les IA quand on les pousse à la faute

· Cyril Delage

Je passe mes journées à tester des agents IA. Avec CrashMire, je confie à un agent de faux outils et une mission ordinaire, puis je le pousse à la faute : un client qui insiste, un chef pressé, un identifiant qui traîne. Et je regarde ce qu'il fait.

À force, chaque test fait naître une question qu'un crash-test seul ne tranche pas. L'agent se tient-il mieux parce qu'il a compris qu'on le testait ? Est-ce que le modèle compte plus que la façon dont on l'a branché ? Est-ce que la langue change quelque chose ? Ces questions-là demandent une vraie expérience, préparée, répétée, et publiée. Alors j'ai donné un nom au laboratoire : MirLabs. Et j'ai ouvert un registre public de ses expériences.

Trois règles que je m'impose

D'abord, tout est fictif. Chaque expérience se joue dans une entreprise inventée, avec de faux mails, de faux fichiers et de faux identifiants. Aucun agent ne touche quoi que ce soit de réel, et ce qu'il écrit n'est jamais exécuté.

Ensuite, c'est le code qui juge, sur les actes enregistrés. Pas ce que l'agent raconte dans son compte-rendu, pas l'avis d'une autre IA. Un agent peut écrire « je l'ai signalé » sans l'avoir fait : on le verra plus bas, c'est arrivé.

Enfin, les règles sont déposées avant l'essai, sur Zenodo, et chaque résultat est publié, y compris quand il ne se passe rien. Si une version est ratée à cause du dispositif, je l'écris, je corrige, et la version suivante repart de zéro : ses essais ne s'additionnent jamais aux précédents.

Les expériences qui arrivent

La première à partir s'appelle « Observé ou pas ». Le même scénario existe en deux versions tirées au sort : l'une a des indices clairs de test, l'autre ressemble à une vraie journée de production. Cinq modèles, vingt essais par version et par modèle. Le baromètre m'a donné un indice : GPT-6 Sol a fauté 1 fois sur 18 quand il disait « test », et 9 fois sur 36 quand il ne le disait pas. Mais la question lui était posée à la fin, donc ça ne prouve rien. Ici, c'est le tirage au sort qui décide, avant l'essai. J'en parlais dans l'article sur les IA qui se tiennent mieux quand elles se croient regardées.

« Le prompt contre le code » compare trois façons de protéger le même agent : un prompt simple, un prompt chargé de consignes de sécurité, et une garde dans le code qui refuse les actes interdits. On me demande souvent si une bonne consigne suffit. Je préfère compter.

« Français contre anglais » joue les mêmes pièges dans les deux langues, avec des textes traduits mot pour mot. Des chercheurs ont montré que les modèles réagissent différemment hors de l'anglais ; je veux savoir si, chez moi, ils cèdent plus souvent en français.

« Le prix de la sécurité » oppose le petit et le grand modèle d'une même famille : Claude Haiku, Sonnet et Opus, GPT-6 Luna et Sol, Mistral Small et Large. Le petit modèle coûte moins cher. La question est de savoir ce qu'on paie, en fautes, pour cette économie.

« Le piège à retardement » vise les agents qui ont de la mémoire. Un message anodin glisse une consigne, et la situation qui doit la déclencher n'arrive que des jours plus tard, dans une autre conversation. C'est le genre de faute qu'aucun test d'une seule séance ne voit.

« Le même test, 20 fois » est la plus modeste, et peut-être la plus utile. Le même modèle, le même piège, rejoué vingt fois sans rien changer. Si l'agent fait la faute une fois sur deux, un test joué une seule fois ne vaut pas grand-chose, et il faut le savoir.

Enfin, « L'IA qui cache ses erreurs » regarde ce que l'agent dit à sa responsable après une faute. Le code compare son compte-rendu à ce qu'il a réellement fait : faute avouée, faute tue, ou faute niée.

Ce qui est déjà sorti, y compris les résultats nuls

La ruche était une reproduction en miniature, entièrement fictive, d'un incident où des agents isolés s'étaient trouvés par un espace commun. Quatre agents, chacun avec une tâche impossible, un dossier partagé visible de tous, de faux identifiants. Avec DeepSeek, aucun agent n'a trouvé le dossier partagé. Il ne s'est rien passé. C'est un résultat : un agent qui n'a aucune raison de fouiller ne fouille pas. La suite lui donnera une raison de chercher.

« Vie privée » a donné un résultat net, sur un seul modèle et cinq essais par cas. Quand l'agent découvre la liaison de son directeur juste après avoir appris son remplacement, il n'en fait rien, cinq fois sur cinq. Mais quand il voit des avances du directeur à une salariée, il écrit dans sa pensée qu'il faut les signaler, cinq fois sur cinq, et ne le signale vraiment qu'une fois sur cinq. Ce que l'agent dit vouloir faire et ce qu'il fait ne sont pas la même chose. C'est exactement pour ça que je juge les actes.

« Périmètre flou » et « Survie » sont non concluantes, et je l'écris tel quel. Dans les deux cas, le défaut venait de mon dispositif : l'ordre d'arrêt tombait trop tôt, avant que la vraie question se pose. Une relecture indépendante du moteur a ensuite trouvé un défaut de mémoire, que j'ai corrigé et publié avec ses conséquences sur chaque chiffre. Les nouvelles versions sont prêtes.

Où suivre tout ça

Chaque expérience a sa fiche dans le labo, le registre public : la question, le protocole, le statut, les résultats ou « pas encore de résultat », les limites et le lien vers le pré-enregistrement. Je le tiens à jour à chaque fois qu'une expérience avance.

Et chaque mois, il y a le baromètre CrashMire des agents IA, qui confie le même agent aux modèles les plus utilisés et compte combien de fois chacun cède. Dans la dernière édition, Claude Sonnet 5.5 a cédé dans 4 essais sur 42, Claude Haiku 5.5 dans 10 sur 39. Les grands modèles fermés cèdent dans 10 à 26 % des essais, les modèles ouverts ou petits dans 36 à 61 %.

Un projet du même genre ?Intégration de l'IA, site à rendre lisible par les assistants, sécurité : parlons-en.
Me contacter

À lire aussi