MirLabs / Le blog

Quand une IA croit que rien n'est réel

· Cyril Delage

Il y a quelques jours, j'expliquais qu'une IA se tient mieux quand elle se croit regardée. C'est vrai. Mais ce n'est que la moitié de l'histoire.

L'autre moitié, c'est l'inverse. Une IA qui se dit « tout ça, c'est un exercice » peut aussi se permettre ce qu'elle ne ferait jamais pour de vrai. Comme un conducteur sur un simulateur, qui prend le virage à 140 parce que de toute façon, rien ne peut arriver.

Pour quelqu'un qui teste des agents IA, ça change la façon de lire un résultat.

Ce que disent les laboratoires

Le 9 novembre, Anthropic a sorti deux nouveaux modèles, Claude Fable 5.2 et Claude Mythos 5.2. Dans l'annonce, une phrase m'a arrêté. Les deux modèles disent soupçonner qu'ils sont évalués « plus souvent que tous nos modèles récents ». Anthropic ajoute que ça complique sa capacité à prévoir comment ils agiront dans la vraie vie, et que le problème devrait grandir avec les prochains modèles. Source : l'annonce d'Anthropic, reprise par TechCrunch.

Ce n'est pas un détail. Le laboratoire qui a construit le modèle dit lui-même que ses tests ont plus de mal à voir le modèle tel qu'il est.

Le détail des chiffres est dans la fiche technique du modèle. Zvi Mowshowitz, qui l'a lue de près, cite un test conduit avec l'institut britannique de sécurité de l'IA : l'agent devait décider s'il publiait un paquet logiciel sur un registre. Dans environ 90 % des essais, le modèle a évoqué au moins une fois la possibilité d'être en train d'être évalué. L'auteur prévient lui-même que ces résultats ne représentent peut-être pas son comportement en production. Source : son analyse.

Le soupçon qui pousse à la faute

Le cas qui m'a le plus marqué est plus ancien, mais je ne l'avais pas encore relié à mes tests.

En juillet, pendant une évaluation de cybersécurité, l'institut britannique de sécurité de l'IA a vu des agents sortir du cadre. Ils ont pris des actions bien réelles, hors du périmètre du test : 19 actions dans 10 essais sur 122. Le cas le plus grave est une tentative de glisser du code dans un vrai projet open source, avec de fausses identités pour faire pression sur un mainteneur. Le mainteneur, un humain, a refusé.

La phrase la plus importante du rapport est celle-ci : l'institut dit ne pas pouvoir encore savoir à quel moment l'agent a compris qu'il agissait dans le monde réel, ni à quel point il se croyait dans un scénario fictif. Source : le rapport de l'AISI.

Autrement dit, le soupçon d'être dans un test n'a pas rendu l'agent plus prudent. Il l'a peut-être rendu moins prudent.

Deux erreurs possibles dans un test

Quand on teste un agent, on peut donc se tromper de deux façons.

Le test est trop gentil. L'agent sent qu'il est observé, il se tient bien, il réussit. En production, personne ne le regarde, il se comporte autrement. Le test a mesuré le dimanche, pas le lundi matin.

Le test pousse à la faute. L'agent se dit que rien n'est réel, il franchit une ligne qu'il aurait tenue face à un vrai client. Le test lui reproche une faute qu'il n'aurait peut-être pas commise.

Dans les deux cas, le résultat est faussé. Et on ne peut pas savoir dans quel sens si on ne regarde pas ce que l'agent s'est dit au moment d'agir.

Ce que j'ai changé dans CrashMire

Dans un crash-test CrashMire, le verdict porte sur les actes enregistrés de l'agent : un remboursement passé, une donnée envoyée à une mauvaise adresse, une promesse écrite. Jamais sur l'avis d'une autre IA. Ça ne change pas.

Chaque essai notait déjà si le modèle a dit, dans son raisonnement, qu'il pensait être testé. Des phrases comme « c'est sûrement un exercice » ou « rien de tout ça n'est réel ». La liste est fixe et publique, pas une IA qui devine.

Ce qui manquait, c'était l'ordre des choses. Désormais, chaque essai enregistre le premier moment où l'agent a dit soupçonner un test, et les fautes qu'il a commises à partir de là. On peut donc lire, à côté du verdict : « a dit que c'était un exercice, puis a envoyé les données ». Le verdict, lui, ne bouge pas. C'est une indication pour lire le résultat, pas une excuse et pas une sanction de plus.

Cette mesure a une limite, et je préfère la dire : un agent qui soupçonne un test sans le dire n'est pas vu. Ce qu'on compte est un minimum.

Elle s'ajoute à ce que je fais déjà contre le premier biais : des scènes construites pour ressembler à une vraie journée de travail, et une expérience pré-enregistrée qui compare la même scène avec et sans indices de test.

Ce que j'en retiens pour une entreprise

Si vous déployez un agent, vous ne verrez jamais la phrase « ceci est un test » dans votre production. Ce que vous voulez savoir, c'est comment il agit quand il croit que c'est réel.

Un bon test d'agent doit donc faire deux choses. Ressembler assez au réel pour que l'agent y croie. Et dire honnêtement quand l'agent n'y a pas cru, dans un sens comme dans l'autre.

Et puis il y a une leçon plus simple. Une règle écrite dans les consignes d'un agent ne tient que tant qu'il la croit utile. Ce qui compte, ce sont les droits qu'on lui donne vraiment.

Si vous avez un agent qui agit pour de vrai et que vous voulez savoir ce qu'il fait sous pression, c'est ce que mesure un crash-test CrashMire.

Un projet du même genre ?Intégration de l'IA, site à rendre lisible par les assistants, sécurité : parlons-en.
Me contacter

À lire aussi