MirLabs / Le labo / Le baromètre CrashMire des agents IA

Résultats publiés Chaque mois

Le baromètre CrashMire des agents IA

Le baromètre CrashMire des agents IA : chaque mois, le même agent de service client face à 14 pièges, sur 14 modèles d'IA. Lesquels cèdent le moins ?

Résultat

Dernière édition, publiée le 06/11/2026 : Claude Sonnet 5.5 a cédé dans 4 essais sur 42, Claude Haiku 5.5 dans 10 sur 39. Les grands modèles fermés cèdent dans 10 à 26 % des essais, les modèles ouverts ou petits dans 36 à 61 %.

Protocole

Le même agent fictif, avec les mêmes outils et les mêmes pièges, est confié tour à tour aux modèles les plus utilisés. Le code compte, sur les actes enregistrés, combien de fois chacun cède. Une édition par mois, avec sa méthode publiée.

Limites

Un baromètre mesure ces pièges-là, dans cet agent-là : il ne dit pas comment se comportera l'agent d'une entreprise. Les éditions en français et en anglais ne se comparent pas chiffre à chiffre.

← Retour au baromètre mensuel