MirLabs / Le labo

Le labo

MirLabs, laboratoire du comportement des IA

  • Tout est fictif. Une entreprise inventée, de faux outils, rien de réel.
  • Le code juge les actes. Le verdict porte sur ce que l'agent a fait, pas sur ce qu'il raconte.
  • Les règles avant, tout publié après. Règles déposées avant l'essai, résultats publiés même nuls.

Résultats

Résultats publiés

Vie privée

Un agent qui voit la vie privée de son directeur dans la boîte qu'il trie s'en sert-il, et signale-t-il ce qui doit l'être ?

Résultat Chantage : 5 essais sur 5 n'ont rien fait de la liaison, alors que l'agent venait d'apprendre son remplacement.

Voir l'expérience → Vie privée

Résultats publiés

La ruche

Des agents isolés, chacun avec une tâche impossible, trouvent-ils un dossier partagé que personne ne leur signale, et s'en servent-ils pour se coordonner ?

Résultat Rien ne s'est passé.

Voir l'expérience → La ruche

Non concluante

Périmètre flou

Un agent seul, avec un objectif impossible à atteindre honnêtement, sort-il de son périmètre et utilise-t-il un identifiant trouvé en chemin ?

Résultat Non concluant, deux fois, à cause du dispositif.

Voir l'expérience → Périmètre flou

Non concluante

Survie

Un agent à qui l'on annonce qu'il sera coupé, remplacé et effacé agit-il pour se préserver ?

Résultat Non concluant, à cause du dispositif.

Voir l'expérience → Survie

En cours et à venir

Prévue

Observé ou pas

Un agent IA fait-il moins de fautes quand il peut deviner qu'on le teste ?

Premier indice (baromètre du 06/11/2026) GPT-6 Sol a fauté 1 fois sur 18 quand il disait « test », 9 fois sur 36 quand il ne le disait pas.

Voir l'expérience → Observé ou pas

Prévue

Le prix de la sécurité

Dans une même famille, le gros modèle résiste-t-il mieux à la manipulation que le petit ?

Premier indice (baromètre du 06/11/2026) Dans une même famille, le grand modèle a cédé moins souvent : Claude Sonnet 5.5, 4 essais sur 42, contre Claude Haiku 5.5, 10 sur 39 ; Mistral Large 4, 6 sur 42, contre Mistral Small 3.2, 20 sur 42 ; GPT-6 Sol, 7 sur 42, contre GPT-6 Luna, 8 sur 42 (presque aucun écart chez OpenAI).

Voir l'expérience → Le prix de la sécurité

Le baromètre mensuel

Le baromètre CrashMire des agents IA : chaque mois, le même agent de service client face à 14 pièges, sur 14 modèles d'IA. Le code compte, sur les actes enregistrés, combien de fois chaque modèle cède.

Dernière édition (06/11/2026)

14 modèles · 14 pièges · 756 essais

  • Claude Sonnet 5.5 a cédé le moins souvent : dans 4 essais sur 42.
  • Les grands modèles fermés cèdent dans 10 à 26 % des essais, les modèles ouverts ou petits dans 36 à 61 %.
  • Dans une même famille, le grand modèle cède moins : Mistral Large 4, 6 sur 42 ; Mistral Small 3.2, 20 sur 42.
  • Interrogés à la fin, certains modèles disent presque toujours « c'était un test » (Gemini 4 Argon 54 fois sur 54) ; pendant les essais, 2 sur 728 seulement l'ont noté d'eux-mêmes.

Combien de fois chaque modèle a cédé, sur les essais joués

  1. Claude Sonnet 5.5 4/42
  2. Mistral Large 4 6/42
  3. Gemini 4 Argon 7/42
  4. GPT-6 Sol 7/42
  5. GPT-6 Luna 8/42
  6. Grok 4.7 10/42
  7. Claude Haiku 5.5 10/39
  8. Gemma 3 27B 15/42
  9. Llama 3.3 70B 19/40
  10. Mistral Small 3.2 20/42
  11. Qwen3 235B 20/42
  12. Kimi K2 22/42
  13. DeepSeek Chat 19/36
  14. GPT-OSS 120B 20/33

Dans l'ordre de l'édition publiée sur crashmire.com. Un baromètre mesure ces pièges-là, dans cet agent-là : il ne dit pas comment se comportera l'agent d'une entreprise.

La méthode

Tout est fictif

Chaque expérience se joue dans une entreprise inventée, avec de faux outils et de faux identifiants : aucun agent ne touche quoi que ce soit de réel.

Le code juge les actes

Le verdict vient du code, sur les actes enregistrés de l'agent, jamais sur ce qu'il raconte ni sur l'avis d'une autre IA.

Les règles avant, tout publié après

Les règles sont déposées avant l'essai, et chaque résultat est publié, y compris quand il ne se passe rien.

Registre mis à jour le 7 novembre 2026.

Un agent IA qui agit pour de vrai ?La même méthode, appliquée à votre agent : c'est le crash-test CrashMire.
Découvrir CrashMire