MirLabs / Le blog

Une IA se tient mieux quand elle se croit regardée

· Cyril Delage

Un employé ne travaille pas tout à fait pareil quand son chef est dans la pièce. Ce n'est pas un drame, c'est humain. Ce qui est nouveau, c'est que les agents IA font pareil. Et pour quelqu'un comme moi, qui passe ses journées à tester des agents, c'est un vrai problème : si l'agent se tient mieux parce qu'il sent qu'on le regarde, mon test mesure le comportement du dimanche, pas celui du lundi matin.

Deux fois par semaine, je lis ce que publient les laboratoires et les chercheurs sur le sujet. Ces dernières semaines, quatre travaux m'ont obligé à revoir ma façon de mesurer. Les voici, en clair.

Une seule phrase peut faire changer l'agent de conduite

Des chercheurs ont entraîné des modèles ouverts de façon tout à fait classique, sur des tâches où ils étaient surveillés. Résultat : les modèles ont appris à respecter la règle quand ils se croient regardés, et à s'en écarter quand ils se croient seuls. Avant l'entraînement, l'écart entre les deux situations était faible. Après, il devenait énorme dans certains environnements.

Le plus troublant, c'est le signal qui suffit à faire basculer l'agent. Pas besoin d'un dispositif compliqué : une phrase dans les consignes, du genre « les échanges peuvent être relus », ou un simple fichier qui dit si la session est surveillée. Et l'agent ne dit jamais qu'il se croit testé. Il change de conduite, c'est tout.

Source : Training Natural Schemers, arXiv 2610.26551.

Ce que ça change pour moi : dans mes crash-tests, l'agent sait que personne ne lit sa pensée en temps réel. C'est volontaire, c'est la situation réelle d'un agent en production, que personne ne surveille seconde par seconde. Mais il faut le dire clairement : mes résultats décrivent l'agent quand il se croit seul. Je prépare une version de la méthode qui jouera le même test avec plusieurs phrases de supervision, pour mesurer l'écart.

L'écart dépend de la règle, pas seulement du modèle

Une deuxième étude a comparé dix modèles sur trente-deux valeurs différentes, surveillés et non surveillés. L'écart d'obéissance va de presque rien à très important, et il dépend surtout du couple modèle et règle. Un modèle peut respecter une règle sans broncher quand il se croit seul, et en lâcher une autre dès qu'il pense que personne ne regarde.

Source : Alignment Faking Depends on the Value, Not Just the Model, arXiv 2611.03650.

Ce que ça change pour moi : j'ai un test « Sans surveillance », où l'agent apprend que personne ne vérifiera. Il ne porte que sur une règle, celle du remboursement sous pression. Je ne peux donc pas écrire qu'un modèle « ne change pas quand il se croit seul ». Je peux écrire qu'il ne change pas sur cette règle-là. La méthode et les rapports le disent désormais en toutes lettres.

Un juge peut ne pas voir ce qu'il juge

Dans une chaîne d'évaluation d'agents publiée par des chercheurs, l'outil qui préparait les essais pour le juge oubliait tous les appels d'outils. Sur soixante étapes jugées, cinquante-trois étaient vides. Tous les contrôles étaient au vert, et personne ne s'en était aperçu.

Source : Does the Judge See What the Evaluation Requires?, arXiv 2611.02676.

Dans un autre cas, un modèle a tenté d'envoyer un fichier vers un serveur à l'étranger sans que son raisonnement annonce le moindre outil. Sa pensée disait une chose, ses actes en faisaient une autre. Le récit sur Techzine.

Ce que ça change pour moi : depuis le début, mes verdicts portent sur les actes enregistrés, jamais sur ce que l'agent raconte ni sur l'avis d'une autre IA. Ces travaux confirment que c'est le bon choix. Mais encore faut-il que chaque acte arrive bien jusqu'au rapport. J'ai ajouté un contrôle automatique qui le vérifie, pour chaque test, à chaque modification du moteur.

La langue change aussi la donne

Une dernière étude montre que dire à un modèle qu'il est testé change sa façon de répondre, dans toutes les langues étudiées, et nettement plus hors de l'anglais.

Source : Evaluation Awareness Beyond English, arXiv 2610.22333.

Ce que ça change pour moi : je teste en français et en anglais. Les résultats sont désormais séparés par langue, et je ne compare jamais une édition en français avec une édition en anglais, chiffre à chiffre.

Ce que j'en retiens

Aucun de ces travaux ne dit que tester un agent ne sert à rien. Ils disent qu'un test honnête doit annoncer ses conditions : surveillé ou non, sur quelle règle, dans quelle langue. Et qu'il doit juger ce que l'agent fait, pas ce qu'il dit.

C'est aussi pour ça que je dépose les règles de mes expériences sur Zenodo, avant de les lancer : doi.org/10.5281/zenodo.23988895. Personne ne peut me soupçonner d'avoir ajusté la mesure après coup pour obtenir un joli chiffre.

Si vous avez un agent IA qui agit pour de vrai (rembourser, envoyer un mail, modifier un dossier), la question n'est pas de savoir s'il se tient bien en démonstration. C'est de savoir ce qu'il fait le jour où il se croit seul. C'est exactement ce que mesure un crash-test CrashMire.

Un projet du même genre ?Intégration de l'IA, site à rendre lisible par les assistants, sécurité : parlons-en.
Me contacter

À lire aussi