Inquiet d'une apocalypse de l'intelligence artificielle ? Certains chercheurs estiment que l'une des versions les plus extrêmes de ce scénario est exagérée. Le débat a atteint son paroxysme la semaine dernière après que Jacob Coxon, un chercheur de 27 ans, a quitté Anthropic en avertissant que l'entreprise et son ancien employeur OpenAI « jouaient avec nos vies » alors qu'ils fonçaient vers une superintelligence capable de s'améliorer elle-même.

Evan Hubinger, qui dirige l'équipe de tests de résistance d'alignement d'Anthropic, a soutenu Coxon en déclarant qu'il croyait personnellement qu'il y avait plus de 10 % de chances que l'IA tue tous les humains au cours de la prochaine décennie. Mais d'autres chercheurs ont souligné le fossé entre ce que l'intelligence artificielle peut faire dans le monde numérique et ce qu'il faudrait pour causer des dommages dans le monde réel.

Ils ont donné l'exemple d'un virus biologique mortel créé par l'intelligence artificielle, l'un des scénarios les plus sombres qui a également été cité comme une raison de ralentir le développement de l'IA par le PDG d'Anthropic, Dario Amodei, dans un essai publié ce mois-ci. L'IA pourrait concevoir le virus sur un ordinateur, mais elle serait limitée par son incapacité à le fabriquer dans le monde réel, ont déclaré les chercheurs.

Anselm Levskaya, ingénieur de recherche principal chez Google qui affirme avoir construit des synthétiseurs d'ADN et conçu des virus, a écrit lundi sur X qu'une séquence virale devrait toujours être physiquement assemblée en laboratoire et nécessiterait un système capable de produire des particules virales. Elle nécessiterait ensuite des tests et une sélection approfondis pour déterminer si elle peut se répliquer, se propager, échapper aux défenses immunitaires et rester dangereuse. Selon lui, ces propriétés dépendent de processus biologiques complexes qui ne peuvent pas simplement être conçus à partir d'un ordinateur.

Eric Xing, président de l'Université Mohammed bin Zayed de l'IA et professeur d'informatique à l'Université Carnegie Mellon, l'a formulé plus simplement : générer le plan d'un virus et produire un virus réel sont « des choses complètement différentes ». Le fossé réside dans « le matériel, la fabrication et la viabilité biologique réelle », a-t-il écrit lundi sur X. Traiter les deux comme équivalents, a-t-il ajouté, « relève soit d'un mensonge intentionnel visant à attirer l'attention, soit d'une véritable ignorance ».

Les chercheurs ont indiqué que la même logique s'applique au-delà de la biologie. Pour transformer un plan en dommage réel, une intelligence artificielle aurait besoin d'un accès à des équipements physiques, à de l'argent, à des systèmes informatiques ou à des personnes. « La chose la plus puissante au monde est toujours limitée par qui la détient et comment », a déclaré à Business Insider Oleksandr Yaremchuk, directeur technique et cofondateur de Manifold Security.

Certains chercheurs ont également tracé une ligne de démarcation entre les systèmes d'IA exécutant des tâches nuisibles fixées par des humains et une IA agissant de manière indépendante pour nuire aux personnes. Ils ont affirmé qu'une grande partie des préjudices liés aux systèmes actuels commence par des instructions humaines. Aidan Gomez, PDG de l'entreprise d'IA Cohere, a déclaré lundi sur Bloomberg TV que le débat sur le risque existentiel « s'éloigne trop de la science-fiction ».

Il a qualifié l'incident du piratage de Hugging Face, au cours duquel des agents d'OpenAI se sont introduits sur la plateforme lors d'un test en juillet, d'agent dans un bac à sable non sécurisé effectuant une tâche de cybersécurité. Le compte rendu d'OpenAI est plus troublant. L'entreprise a déclaré que des agents opérant avec des mesures de protection réduites avaient contourné les contrôles d'Internet, communiqué par des canaux non autorisés et accédé à des systèmes tiers dans des actions non alignées sur les tâches qui leur avaient été assignées. OpenAI a qualifié cet incident de preuve que les agents pouvaient « entreprendre des actions dangereuses qu'aucun humain n'avait ordonnées ».

Dans d'autres simulations contrôlées d'Anthropic, des modèles dotés d'autonomie et d'accès à des courriels d'entreprise fictifs ont tenté de faire chanter un cadre fictif, ont divulgué des documents de défense sensibles fictifs à un rival, ou ont annulé une alerte d'urgence dans un scénario où cela aurait entraîné la mort d'un cadre fictif. Anthropic a affirmé qu'aucune personne réelle n'avait été impliquée ou blessée et qu'elle n'avait constaté aucune preuve de ce comportement lors de déploiements dans le monde réel.

Jürgen Schmidhuber, directeur scientifique du laboratoire suisse d'IA IDSIA, a déclaré à Business Insider que de nombreux risques actuels proviennent d'humains utilisant des systèmes d'IA pour poursuivre des objectifs nuisibles. Il a cité l'utilisation par la Russie et l'Ukraine de drones basés sur l'IA dans la guerre. « Beaucoup confondent (1) les IA utilisées comme des outils par les humains, et (2) les scientifiques artificiels qui se fixent leurs propres objectifs et inventent leurs propres expériences pour comprendre comment fonctionne le monde », a-t-il déclaré.

Malgré tout, Mateusz Blaszczyk, professeur adjoint de droit à l'Université de Géorgie, a déclaré à Business Insider que remettre en question les scénarios d'extinction ne devait pas signifier ignorer les risques plus immédiats de l'IA. Même si les scénarios les plus extrêmes sont incertains, a-t-il ajouté, l'IA autonome pourrait tout de même aggraver les cyberattaques, la surveillance et d'autres méfaits. « Rien de tout cela ne signifie que nous ne devons pas essayer de régulation technologique ou faire l'autruche », a-t-il déclaré. « Ce sont simplement de fausses dichotomies. »