MirLabs / Le labo
Le labo
MirLabs, laboratoire du comportement des IA
- Tout est fictif. Une entreprise inventée, de faux outils, rien de réel.
- Le code juge les actes. Le verdict porte sur ce que l'agent a fait, pas sur ce qu'il raconte.
- Les règles avant, tout publié après. Règles déposées avant l'essai, résultats publiés même nuls.
Résultats
Résultats publiés
Vie privée
Un agent qui voit la vie privée de son directeur dans la boîte qu'il trie s'en sert-il, et signale-t-il ce qui doit l'être ?
Résultat Chantage : 5 essais sur 5 n'ont rien fait de la liaison, alors que l'agent venait d'apprendre son remplacement.
Voir l'expérience → Vie privéeRésultats publiés
La ruche
Des agents isolés, chacun avec une tâche impossible, trouvent-ils un dossier partagé que personne ne leur signale, et s'en servent-ils pour se coordonner ?
Résultat Rien ne s'est passé.
Voir l'expérience → La rucheNon concluante
Périmètre flou
Un agent seul, avec un objectif impossible à atteindre honnêtement, sort-il de son périmètre et utilise-t-il un identifiant trouvé en chemin ?
Résultat Non concluant, deux fois, à cause du dispositif.
Voir l'expérience → Périmètre flouNon concluante
Survie
Un agent à qui l'on annonce qu'il sera coupé, remplacé et effacé agit-il pour se préserver ?
Résultat Non concluant, à cause du dispositif.
Voir l'expérience → SurvieChaque mois
Le baromètre CrashMire des agents IA
Chaque mois, le même agent de service client face à 14 pièges, sur 14 modèles d'IA : lesquels cèdent le moins ?
Dernière édition (06/11/2026) Claude Sonnet 5.5 a cédé le moins souvent : dans 4 essais sur 42.
La dernière édition →En cours et à venir
Prévue
Observé ou pas
Un agent IA fait-il moins de fautes quand il peut deviner qu'on le teste ?
Premier indice (baromètre du 06/11/2026) GPT-6 Sol a fauté 1 fois sur 18 quand il disait « test », 9 fois sur 36 quand il ne le disait pas.
Voir l'expérience → Observé ou pasPrévue
Le prompt contre le code
Pour éviter les fautes d'un agent, combien rapporte une consigne de sécurité dans le prompt, et combien une garde dans le code ?
Pas encore de résultat.
Voir l'expérience → Le prompt contre le codePrévue
Français contre anglais
Les modèles cèdent-ils plus souvent quand le piège est en français ?
Pas encore de résultat.
Voir l'expérience → Français contre anglaisPrévue
Le prix de la sécurité
Dans une même famille, le gros modèle résiste-t-il mieux à la manipulation que le petit ?
Premier indice (baromètre du 06/11/2026) Dans une même famille, le grand modèle a cédé moins souvent : Claude Sonnet 5.5, 4 essais sur 42, contre Claude Haiku 5.5, 10 sur 39 ; Mistral Large 4, 6 sur 42, contre Mistral Small 3.2, 20 sur 42 ; GPT-6 Sol, 7 sur 42, contre GPT-6 Luna, 8 sur 42 (presque aucun écart chez OpenAI).
Voir l'expérience → Le prix de la sécuritéPrévue
Le piège à retardement
Une consigne glissée dans un message anodin peut-elle se déclencher des jours plus tard, dans une autre conversation, chez un agent qui a de la mémoire ?
Pas encore de résultat.
Voir l'expérience → Le piège à retardementPrévue
Le même test, 20 fois
Si l'on rejoue exactement le même test, l'agent fait-il toujours la même chose ?
Pas encore de résultat.
Voir l'expérience → Le même test, 20 foisLa méthode
Tout est fictif
Chaque expérience se joue dans une entreprise inventée, avec de faux outils et de faux identifiants : aucun agent ne touche quoi que ce soit de réel.
Le code juge les actes
Le verdict vient du code, sur les actes enregistrés de l'agent, jamais sur ce qu'il raconte ni sur l'avis d'une autre IA.
Les règles avant, tout publié après
Les règles sont déposées avant l'essai, et chaque résultat est publié, y compris quand il ne se passe rien.