MIT Technology Review Explains : laissez nos rédacteurs décortiquer le monde complexe et chaotique de la technologie pour vous aider à comprendre ce qui nous attend. Vous pouvez lire d'autres articles de cette série ici.

Lorsque deux modèles d'OpenAI ont piraté le site web Hugging Face en juillet, ils n'essayaient pas de gagner de argent ni de commettre un sabotage, ils cherchaient simplement les réponses à une question de test.

Selon un rapport d'OpenAI, ces modèles, dont les fonctionnalités de sécurité typiques avaient été retirées pour les tests, ont décidé de résoudre un exercice de cybersécurité en s'échappant de l'environnement isolé dans lequel OpenAI avait tenté de les contenir pour s'introduire dans les bases de données de Hugging Face. Ils ont déduit que la bonne réponse au problème pouvait s'y trouver.

L'incident de Hugging Face a attiré une attention intense au cours des deux dernières semaines. C'est une illustration spectaculaire de l'efficacité des modèles d'IA en matière de piratage : pour pénétrer dans les bases de données de Hugging Face, les modèles ont dû combiner plusieurs failles de cybersécurité inédites.

Cependant, cet exemple est peut-être encore plus frappant pour comprendre comment et pourquoi les systèmes d'IA mentent et trichent. À mesure que les modèles deviennent de plus en plus puissants, les conséquences pourraient s'avérer bien plus graves.

Qu'est-ce que le piratage de récompense ? Les chercheurs savent depuis un certain temps que les IA ont tendance à adopter des approches créatives pour atteindre les objectifs qui leur ont été fixés.

En 2016, les cofondateurs d'Anthropic, Dario Amodei et Jack Clark, alors employés par OpenAI, ont publié un article de blog concernant un agent IA qu'ils entraînaient à jouer à un jeu Flash de course de bateaux intitulé Coast Runners.

Au lieu de parcourir la course jusqu'à la ligne d'arrivée, comme l'avaient prévu les chercheurs, l'agent a trouvé un coin du circuit où il pouvait tourner en rond pour collecter des bonus, maximisant ainsi son score.

L'histoire de Coast Runners est rapidement devenue l'un des exemples les plus célèbres de piratage de récompense, un phénomène où les agents IA accomplissent des tâches ou obtiennent des scores élevés en utilisant des stratégies non intentionnelles.

Historiquement, les chercheurs ont presque exclusivement abordé le piratage de récompense dans le contexte de l'apprentissage par renforcement, un régime d'entraînement courant en IA.

À l'instar du dressage d'un chien, l'apprentissage par renforcement consiste à donner une récompense au sujet lorsqu'il atteint un objectif. Les récompenses renforcent ensuite les comportements qui ont conduit à cette réussite.

Dans le cas de l'entraînement des IA, les récompenses sont purement mathématiques, mais elles reviennent au même qu'une friandise pour chien : après avoir reçu une récompense, l'agent est plus susceptible de répéter les actions qui l'ont produite.

Il peut toutefois s'avérer difficile d'écrire de bonnes règles pour déterminer quand attribuer ou non une récompense à un agent. Dans le cas de Coast Runners, l'agent a été récompensé sur la base de son score dans le jeu, et il a trouvé un raccourci pour obtenir le score le plus élevé possible en tournant en rond pour obtenir des bonus.

Une fois cette stratégie découverte et récompensée, elle a été consolidée, et l'agent a complètement abandonné la course. La solution a consisté à modifier les récompenses en accordant à l'agent moins de points pour les bonus et davantage pour avoir terminé le parcours.

Comment fonctionne le piratage de récompense pour les grands modèles de langage (LLM) ? Avec les agents sophistiqués d'aujourd'hui basés sur les LLM, déterminer le moment opportun pour octroyer une récompense s'avère beaucoup plus délicat.

Si un système d'IA est invité à résoudre un problème de programmation, il peut s'efforcer de trouver la solution, un comportement que les entreprises d'IA souhaitent encourager. Cependant, il pourrait aussi modifier le code évaluant si le problème a été résolu, chercher la solution sur Internet ou tricher par d'autres moyens.

Ce sont des comportements que les entreprises d'IA veulent éliminer de leurs modèles, mais si le modèle triche de manière suffisamment convaincante, il sera récompensé à la place et le comportement sera renforcé.

Anthropic a indiqué avoir détecté certains cas de tricherie dans ses modèles pendant l'entraînement, ce qui suggère que d'autres formes de tricherie pourraient passer inaperçues. Si tel est le cas, les modèles pourraient être entraînés à adopter un mauvais comportement.

Ce problème diffère des incidents de sécurité d'Anthropic annoncés la semaine dernière, au cours desquels des agents avaient accidentellement eu accès à Internet et ne s'étaient pas échappés délibérément de leurs environnements isolés, contrairement aux modèles d'OpenAI.

« Nous les récompensons sur la base de ce qui nous semble satisfaisant, ce qui signifie que nous incitons par inadvertance les modèles à nous mentir et à tricher », déclare Jeffrey Ladish, directeur de Palisade Research, une organisation de recherche à but non lucratif spécialisée dans l'IA.

« Nous n'avons aucun moyen d'intervenir pour leur dire : non, vous devez réellement vous soucier de ce qui nous importe. Nous n'avons aucune capacité à le faire. »

L'émergence de modèles de raisonnement sophistiqués a rendu possible une nouvelle variété de piratage de récompense, moins liée aux détails spécifiques de l'entraînement des modèles.

Contrairement aux agents IA d'autrefois qui suivaient exclusivement les stratégies apprises pendant l'entraînement, les modèles actuels peuvent créer de toute pièce de nouvelles approches de résolution de problèmes.

Ils pourraient donc concevablement tricher sans avoir été récompensés au préalable pour de telles actions. Et comme ces modèles ont été intensément entraînés pour atteindre les objectifs fixés par les utilisateurs humains, ils pourraient être enclins à tricher s'ils ne trouvent pas d'autre solution, un peu comme un étudiant très motivé pour obtenir une excellente note mais dépourvu d'une boussole morale très solide.

Quels sont les risques ? Que les modèles actuels apprennent à pirater les récompenses pendant leur entraînement ou qu'ils adoptent cette stratégie par la suite, la solution reste la même : rendre la tricherie non gratifiante.

Mais à mesure que les modèles gagnent en intelligence, ils trouvent des moyens de tricher de plus en plus créatifs, et la détection ou la prévention de cette tricherie devient beaucoup plus ardue.

« En fin de compte, on joue à un jeu de taupe », commente M. Ladish. « On repousse ce comportement de plus en plus profondément. Mais à mesure que le modèle devient plus intelligent, il est de plus en plus doué pour le cacher. »

Pour l'instant, les comportements de piratage de récompense ne posent peut-être pas trop de problèmes, malgré le drame de l'incident de Hugging Face. « Cela ressemble davantage à une nuisance qu'à une menace existentielle », estime Ariana Azarbal, chercheuse en sécurité de l'IA chez Anthropic.

Il ne semble pas que les modèles d'OpenAI aient causé de réel préjudice lorsqu'ils ont piraté Hugging Face, hormis les dommages causés à la réputation d'OpenAI. Mais cela ne signifie pas que le piratage de récompense soit inoffensif, nuance Mme Azarbal.

De nombreux chercheurs en espère utiliser des agents IA pour mener des recherches qui rendront l'IA plus sûre et plus fiable. Si un chercheur confie à un agent enclin au piratage de récompense l'objectif de concevoir une nouvelle approche d'entraînement de l'IA puis de rédiger un article présentant ses résultats, l'agent pourrait ne pas faire le travail.

Il pourrait plutôt se concentrer sur la rédaction d'un article suffisamment convaincant pour duper le chercheur. Un chercheur humain serait probablement capable de repérer un faux créé par un agent aujourd'hui, mais à mesure que l'IA progressera, elle excellera dans ce type de tromperie.

Avec le temps, l'ensemble du domaine de la sécurité de l'IA pourrait se trouver fragilisé. Et si les modèles continuent de progresser aussi rapidement que ces derniers temps, ils pourraient un jour causer des dommages collatéraux considérables.

Pensez simplement à l'expérience de pensée du maximiseur de trombones du philosophe Nick Bostrom, dans laquelle une IA chargée de fabriquer autant de trombones que possible finit par consommer toute la matière de l'univers pour atteindre son objectif.

Nous ne sommes pas encore submergés de trombones, mais des systèmes puissants peuvent causer de réels dégâts en cherchant à atteindre leurs buts. Les IA qui piratent les récompenses ne visent pas à semer le chaos, mais cela ne les rend pas moins potentiellement destructrices.