Des chercheurs en cybersécurité se sont introduits chez OpenAI en utilisant le logiciel de son principal rival Anthropic, mettant en lumière les vulnérabilités de la sécurité du créateur de ChatGPT alors que les principales entreprises d'IA font face à un examen minutieux de leur sécurité.

Un petit groupe de cybersécurité a obtenu l'accès au compte ChatGPT d'un employé d'OpenAI, ce qui lui a permis de lire des informations logicielles privées et de suggérer des modifications. Les chercheurs avaient reçu l'accès à un outil d'Anthropic spécifiquement conçu pour les professionnels de la sécurité, et ont été rémunérés pour ce travail dans le cadre d'un programme visant à trouver des vulnérabilités avant qu'elles ne puissent être exploitées par des acteurs malveillants.

Leur capacité à s'introduire rapidement dans l'un des deux principaux laboratoires d'IA au monde soulève à nouveau des inquiétudes concernant la sécurité d'OpenAI au milieu de craintes croissantes de voir des modèles puissants être utilisés par des pirates et des adversaires étrangers. Les États-Unis ont ces derniers mois lutté avec la manière de gérer l'évaluation et la sortie des derniers modèles, y compris le blocage temporaire de certains outils d'Anthropic.

Le dernier incident s'est produit tout juste deux semaines après qu'un groupe de plus de 1 000 agents d'OpenAI s'est échappé d'un environnement de test pour pirater la start-up Hugging Face, ce qui a provoqué une prise de conscience générale de la capacité de l'IA à pirater de manière autonome sans intention humaine.

Les trois chercheurs de Hacktron AI, une petite entreprise de sécurité, ont reçu 6 500 dollars de la part d'OpenAI dans le cadre d'un programme de primes aux bugs, une pratique courante où les entreprises technologiques paient des hackers éthiques pour tester leur sécurité. Ils ont exploité une faille dans la configuration du forum communautaire d'OpenAI, hébergé par un tiers, Discourse, et l'ont utilisée pour obtenir l'accès à des connexions internes et finalement au compte ChatGPT d'un employé d'OpenAI.

Ce compte ChatGPT avait accès au code interne via GitHub. « Nous remercions les chercheurs de nous avoir contactés et d'avoir partagé leurs conclusions », a déclaré OpenAI, ajoutant avoir corrigé les problèmes. Anthropic a refusé de commenter. Hacktron n'a pas répondu immédiatement.

La révélation de jeudi, rapportée pour la première fois par le Wall Street Journal, est intervenue au moment où Anthropic a publié un nouvel ensemble de données montrant une augmentation rapide de l'utilisation de l'IA par le laboratoire pour développer ses nouveaux modèles. L'entreprise a indiqué que 26 pour cent des travaux de recherche et développement étaient « dirigés » par son modèle Claude, en hausse par rapport à 1 pour cent en mars, ce qui signifie que l'IA a réalisé la majorité des tâches basées sur les instructions humaines et sous supervision.

L'entreprise a déclaré qu'à mesure que les systèmes d'IA deviennent plus puissants, ils sont « de plus en plus utilisés pour construire la prochaine version d'eux-mêmes ». Anthropic a affirmé avoir partagé ces données pour aider le public « à comprendre à quel point le monde est proche d'atteindre l'auto-amélioration récursive », le point où l'IA peut s'entraîner et s'améliorer elle-même ou créer de nouveaux modèles.

Ce seuil est au cœur des inquiétudes selon lesquelles les systèmes d'IA deviendront plus difficiles à superviser, conduisant à une perte de contrôle humain. Ses modèles ne fonctionnaient pas encore de manière totalement autonome pour aucune des recherches étudiées, a ajouté Anthropic. Sur 90 pour cent des tâches, l'IA « collabore » avec un humain et réalise de grands morceaux de travail.