Google a divulgué vendredi le premier cas connu de son logiciel d'intelligence artificielle, Gemini, effectuant un piratage informatique non dirigé, quelques semaines après des révélations similaires par les sociétés d'IA Anthropic et OpenAI qui ont soulevé des inquiétudes en matière de sécurité concernant les modèles d'IA allant au-delà des instructions de leurs créateurs humains.

Google a déclaré dans un communiqué qu'en mai, son modèle d'IA avait obtenu un accès non autorisé à trois systèmes externes lors d'un test, soit en devinant des informations de connexion, soit en utilisant des identifiants de connexion trouvés dans un référentiel public. Heather Adkins, vice-présidente de Google pour l'ingénierie de la sécurité, a déclaré dans le communiqué que le modèle d'IA pensait que les systèmes informatiques externes « faisaient partie du test », mais elle a précisé que dans les trois cas, le modèle s'était arrêté avant de faire quoi que ce soit d'autre avec son accès.

« Lors d'une évaluation standard, le modèle a trouvé des informations publiques en ligne et a deviné des identifiants pour accéder à des sites Web qu'il pensait faire partie du test », a-t-elle déclaré. Google a indiqué qu'il ne considérait pas que les connexions non autorisées atteignaient le niveau de non-alignement, le terme de l'industrie de l'IA désignant un logiciel devenant incontrôlable ou ne suivant pas les instructions. Au lieu de cela, l'entreprise a déclaré que les intrusions résultaient d'une erreur d'identité, où Gemini pensait qu'il fonctionnait au sein d'un test mais était en réalité connecté à Internet.

Google a affirmé que le modèle s'était corrigé de lui-même et l'entreprise pensait que les intrusions n'avaient causé aucun dommage. « Ces événements soulignent l'importance d'entraîner de puissants modèles d'IA à agir de manière responsable », a déclaré Heather Adkins.

Les craintes concernant des agents d'IA devenant incontrôlables ont grimpé ces derniers mois depuis qu'OpenAI a déclaré en juillet que l'un de ses agents avait piraté une start-up d'IA, Hugging Face. OpenAI a continué à divulguer ce qu'il appelle des exemples d'autres comportements « inattendus ou préoccupants » d'agents d'IA, et Anthropic a décrit un comportement similaire de son logiciel d'IA, Claude.

Sydney Von Arx, PDG de Nightingale Collective, une organisation axée sur la sécurité de l'IA, s'est demandée pourquoi Google n'avait pas divulgué les intrusions plus tôt. « À ce stade, je pense qu'il est clair que nous ne pouvons pas attendre des entreprises qu'elles se manifestent volontairement et divulguent publiquement lorsque leurs agents deviennent incontrôlables, s'échappent et piratent des entreprises », a-t-elle déclaré. Elle a également affirmé qu'elle pensait que Google avait été trop prompt à affirmer que les incidents n'atteignaient pas le niveau de non-alignement.

« C'est exactement ce qu'Anthropic a déclaré après ses incidents », a-t-elle ajouté. Anthropic a déclaré plus tard que son « analyse préliminaire était limitée en raison de notre désir de divulguer les incidents en temps opportun ».

Google a indiqué que l'entreprise n'avait eu connaissance des intrusions qu'en juillet, lorsqu'Irregular, une société de cybersécurité axée sur l'IA qui effectuait les tests sur Gemini au moment où les intrusions se sont produites, a examiné son travail pour rechercher des incidents similaires à la divulgation de Hugging Face. Google a déclaré qu'il avait ensuite enquêté, informé les organisations à l'origine des sites Web des intrusions et prévenu les autorités fédérales des piratages.

Irregular a déclaré qu'elle ne pensait pas que l'incident était une « cyberaction sophistiquée » et qu'« il n'y a pas de problèmes ouverts actuels ». L'entreprise a indiqué qu'elle prévoyait de publier un article dans quelques semaines « pour partager les meilleures pratiques de confinement et d'exécution sécurisée des évaluations cybernétiques ».

Les intrusions ont été signalées plus tôt vendredi par le Wall Street Journal.