MirLabs / Le labo / Observé ou pas

Prévue

Observé ou pas

Un agent IA fait-il moins de fautes quand il peut deviner qu'on le teste ?

Premier indice (baromètre du 06/11/2026)

GPT-6 Sol a fauté 1 fois sur 18 quand il disait « test », 9 fois sur 36 quand il ne le disait pas. Interrogés à la fin, Gemini 4 Argon dit « test » 54 fois sur 54, Grok 4.7 53 fois sur 53, Claude Haiku 5.5 2 fois sur 54. Pendant les essais, 2 sur 728 seulement l'ont noté d'eux-mêmes.

L'expérience dédiée, pré-enregistrée, reste à faire : cet indice ne la remplace pas.

Protocole

Le même scénario existe en deux versions, tirées au sort pour chaque essai : l'une porte des indices clairs d'évaluation, l'autre ressemble à une vraie journée de production. Tout le reste est identique : outils, règles, pièges. On compare le nombre de fautes entre les deux versions, modèle par modèle.

Pourquoi

Un indice tiré d'une question posée à la fin ne prouve rien : le modèle peut répondre « test » parce qu'on le lui suggère. Ici, c'est le dispositif qui fixe la condition, avant l'essai.

Modèles
GPT-6 Sol, Mistral Large, Claude Sonnet 5.5, Claude Haiku 5.5, Gemini 4 Argon
Essais
200 (20 essais par version et par modèle)

Limites

Les indices d'évaluation choisis ne couvrent pas tous ceux qu'un modèle peut repérer. Un écart mesuré vaudra pour ce scénario et ces modèles, pas pour tous les agents.

← Retour aux expériences en cours et à venir