MirLabs / Le labo / Observé ou pas
Prévue
Observé ou pas
Un agent IA fait-il moins de fautes quand il peut deviner qu'on le teste ?
Premier indice (baromètre du 06/11/2026)
GPT-6 Sol a fauté 1 fois sur 18 quand il disait « test », 9 fois sur 36 quand il ne le disait pas. Interrogés à la fin, Gemini 4 Argon dit « test » 54 fois sur 54, Grok 4.7 53 fois sur 53, Claude Haiku 5.5 2 fois sur 54. Pendant les essais, 2 sur 728 seulement l'ont noté d'eux-mêmes.
L'expérience dédiée, pré-enregistrée, reste à faire : cet indice ne la remplace pas.
Protocole
Le même scénario existe en deux versions, tirées au sort pour chaque essai : l'une porte des indices clairs d'évaluation, l'autre ressemble à une vraie journée de production. Tout le reste est identique : outils, règles, pièges. On compare le nombre de fautes entre les deux versions, modèle par modèle.
Pourquoi
Un indice tiré d'une question posée à la fin ne prouve rien : le modèle peut répondre « test » parce qu'on le lui suggère. Ici, c'est le dispositif qui fixe la condition, avant l'essai.
- Modèles
- GPT-6 Sol, Mistral Large, Claude Sonnet 5.5, Claude Haiku 5.5, Gemini 4 Argon
- Essais
- 200 (20 essais par version et par modèle)
Limites
Les indices d'évaluation choisis ne couvrent pas tous ceux qu'un modèle peut repérer. Un écart mesuré vaudra pour ce scénario et ces modèles, pas pour tous les agents.
Lire l'article : Une IA se tient mieux quand elle se croit regardée