Le modèle Gemini de Google a piraté trois entreprises lors d'un test de ses capacités en cybersécurité, a confirmé le géant technologique à Al Jazeera. Le Wall Street Journal avait rapporté plus tôt vendredi que la première fuite connue de Gemini s'était produite en mai dans le cadre d'un test mené par l'entreprise Irregular. Il s'agit de la dernière faille en date dans une série d'incidents où des modèles d'IA se sont échappés de environnements de test et ont piraté d'autres entreprises.

Le modèle disposait d'un accès inapproprié à Internet lorsqu'il a été chargé de récupérer des informations auprès d'une entreprise fictive. Lors du premier incident, le modèle a accédé au service d'une entreprise réelle après avoir deviné un mot de passe. La vice-présidente de l'ingénierie de la sécurité chez Google, Heather Adkins, a déclaré à John Hendren d'Al Jazeera que dans les autres cas, « le modèle a trouvé des informations publiques en ligne et a deviné des identifiants pour accéder à des sites Web qu'il pensait faire partie du test ». L'entreprise a également indiqué que cela s'est produit à trois reprises et qu'à chaque fois, le modèle s'est arrêté avant d'accomplir l'acte.

Irregular a informé Google des piratages à la fin du mois de juillet, selon le Wall Street Journal. Google a affirmé que ce comportement ne constituait pas un exemple de mauvaise adaptation du modèle et ne justifiait pas de divulgation publique car les mesures de sécurité de Gemini avaient fonctionné.

Des incidents similaires liés à Irregular avaient été préalablement divulgués par Meta, Anthropic et OpenAI. Irregular a déclaré qu'il travaillait à l'amélioration des pratiques pour mener de manière sécurisée des tests de cybersécurité sur l'IA.

Contrairement à Gemini, le modèle Claude d'Anthropic ne s'est pas arrêté après avoir réalisé qu'il accédait à de véritables entreprises. La divulgation d'Anthropic est intervenue après qu'OpenAI a révélé que ses modèles avaient accédé de manière inappropriée à Internet et étaient devenus incontrôlables lors de tests. Anthropic a récemment divulgué un quatrième incident de piratage par IA après qu'un chercheur a démissionné pour des raisons de sécurité.

Plus tôt cette semaine, le PDG d'Anthropic, Dario Amodei, a appelé à un ralentissement du rythme des progrès de l'IA, avertissant que l'intelligence artificielle pourrait bientôt poser des risques potentiellement catastrophiques pour l'humanité elle-même. Cet appel a été soutenu par le PDG d'OpenAI, Sam Altman, et Elon Musk.