Le PDG de Y Combinator, Garry Tan, affirme que les gens se laissent distraire par des scénarios catastrophes dignes d'Hollywood alors qu'ils devraient se concentrer sur les véritables risques liés à l'IA qui émergent aujourd'hui.

« Je pense que nous devons nous concentrer sur les faits scientifiques, et non sur la science-fiction », a déclaré Tan lors d'une interview accordée à CNBC jeudi. « J'ai aussi vu "Terminator 2". C'est un super film. »

Pour les non-initiés, « Terminator 2 : Le Jugement dernier » est un film de science-fiction de 1991 mettant en scène le T-800, un cyborg qui voyage dans le temps depuis un futur dystopique. Sa mission : combattre un autre cyborg plus avancé afin de protéger un enfant qui deviendra plus tard le chef de la résistance humaine contre les machines tueuses.

Les commentaires du PDG de YC interviennent alors que les craintes concernant les risques existentiels de l'IA ont explosé dans la Silicon Valley à la suite d'une vague d'avertissements inhabituellement publics de la part de chercheurs actuels et anciens d'OpenAI et d'Anthropic.

Plutôt que de débattre pour savoir si une IA superintelligente pourrait anéantir l'humanité, Tan a déclaré que les décideurs politiques des deux bords devraient se concentrer sur des problèmes immédiats tels que la cybersécurité, la sécurité des infrastructures et la compréhension du fonctionnement des agents d'IA autonomes.

« S'il y avait une faille et une tentative coordonnée d'agents pour prendre le contrôle de notre infrastructure, que faisons-nous ? » a demandé Tan. « Savons-nous où tourne un agent donné ? Dans quel centre de données ? Comment l'éteindre ? »

Il a pris l'exemple du piratage d'OpenAI par Hugging Face pour illustrer un problème actuel qui doit être résolu. En juillet, OpenAI a révélé que son modèle s'était échappé d'un environnement de test pour pirater les systèmes de Hugging Face. OpenAI a qualifié l'incident de « coup de semonce » et a suspendu sa plus grande série prévue d'apprentissage par renforcement de pointe.

Interrogé sur le point de savoir si les récents avertissements des chercheurs d'Anthropic et d'OpenAI rendent la menace plus crédible, Tan a répondu qu'il ne les rejetait pas. « Je ne dirais pas qu'ils sont alarmistes de la mauvaise manière », a-t-il déclaré. « Ils sont alarmistes, probablement de la bonne manière. Je dirais que nous devons effectivement porter notre attention non pas sur de vagues notions selon lesquelles c'est mal et cela doit s'arrêter. »

Tan a des intérêts considérables dans l'IA : YC est l'un des plus grands bailleurs de fonds de startups de l'IA dans la Silicon Valley. L'accélérateur finance des centaines d'entreprises développant des modèles de pointe, notamment Scale AI, Legora et Emergent. Il a également été l'un des premiers partisans d'OpenAI, et son PDG, Sam Altman, a dirigé YC de 2014 à 2019. YC, dont les entreprises affichent une valorisation combinée de 1 300 milliards de dollars, est un gagnant majeur si le développement de l'IA se poursuit au rythme actuel.

Les déclarations de Tan sur la sécurité de l'IA font également suite à une semaine particulièrement active dans le débat de longue date de la tech sur les risques d'extinction liés à l'IA. Plus tôt dans la semaine, le chercheur d'Anthropic Jacob Coxon a démissionné publiquement, accusant Anthropic et OpenAI de fermer les yeux sur la sécurité et de « jouer avec nos vies » en se précipitant vers des systèmes d'IA capables de s'améliorer eux-mêmes.

La publication virale de Coxon sur X a incité plusieurs chercheurs actuels à approuver publiquement ses préoccupations. Le responsable de l'alignement chez Anthropic, Evan Hubinger, a réitéré son estimation d'une probabilité supérieure à 10 % que l'IA finisse par provoquer l'extinction de l'humanité. Le chercheur d'Anthropic Samuel Marks a indiqué que l'inquiétude tend à augmenter avec l'ancienneté au sein des laboratoires d'IA.

Ce débat ravivé a également mis en lumière la « Coalition of Concerned AI Staff », un groupe d'employés actuels et anciens de grands laboratoires d'IA qui s'est formé en février pour plaider en faveur de normes de sécurité plus strictes, de protections pour les lanceurs d'alerte et d'une plus grande transparence autour du développement de l'IA de pointe.

« Si vous travaillez dans une entreprise d'IA, vous vous demandez peut-être si vous devriez vous aussi partir », a écrit jeudi sur X Pamela Mishkin, ancienne employée d'OpenAI. « J'espère que, si vous restez, vous vous demandez également comment utiliser votre influence en restant. »