Beth Barnes, l'une des observatrices les plus influentes de l'industrie de l'IA, a déclaré en juillet qu'elle peinait à recruter des chercheurs talentueux pour surveiller les risques liés à l'intelligence artificielle. Cela commence à changer. Le chercheur Joe Benton a annoncé cette semaine qu'il avait quitté Anthropic pour rejoindre l'organisation à but non lucratif METR dirigée par Barnes, écrivant qu'il s'inquiétait des "risques de niveau d'extinction" liés à cette technologie.

Ces commentaires font suite au départ de Jacob Coxon, un autre chercheur, qui a alimenté ces craintes à travers le pays avec une publication devenue virale annonçant son départ d'Anthropic et accusant les principaux laboratoires d'IA de "jouer avec nos vies". METR se retrouve soudainement au centre de la plus grande actualité de l'IA. Fondée en 2022, l'organisation a déjà travaillé en étroite collaboration avec OpenAI, Anthropic, Google et Meta pour étudier l'évolution rapide des capacités de cette technologie.

Cet été, des chercheurs de l'organisation à but non lucratif ont enquêté sur un incident de sécurité chez OpenAI et prévoient désormais d'examiner des problèmes de sécurité chez Anthropic, en s'appuyant sur un accès interne accordé par chaque entreprise. "Le public doit savoir si le développement de l'IA s'engage sur une voie dangereuse", a déclaré vendredi Jasmine Dhaliwal, membre du personnel chargé des politiques. "C'est au cœur de notre mission : fournir une évaluation scientifique indépendante des capacités, de l'alignement et des mesures de contrôle de l'IA."

Benton n'est pas le seul à quitter un géant de la technologie pour rejoindre l'organisation basée à Berkeley. Josh Engels, chercheur en sécurité de l'IA, a également rejoint récemment METR (Model Evaluation and Threat Research) en provenance de Google DeepMind. Barnes a quitté OpenAI pour fonder cette organisation à but non lucratif en 2022 et constate une concurrence si féroce pour les chercheurs en IA que même les salaires élevés de METR, qui atteignent 503 000 dollars dans les offres d'emploi actuelles, ne suffisent pas à combler la pénurie de talents de l'organisation.

"Idéalement, nous aimerions grandir considérablement, mais en pratique, nous avons réussi à lever autant de fonds que nécessaire, et le véritable goulot d'étranglement concerne les talents", a déclaré Barnes. L'équipe de préparation de l'humanité peine à se développer.

L'incident de sécurité annoncé par OpenAI et Hugging Face en juillet a suscité une nouvelle vague de questions sur la manière d'évaluer et de contrôler l'IA. Plus de 1 300 employés de laboratoires de pointe ont signé une lettre en juillet avertissant que le développement de l'IA pourrait devancer sa maîtrise. Au cours du dernier mois, OpenAI et Anthropic ont tous deux déclaré avoir temporairement suspendu l'entraînement de leurs nouveaux modèles pour mieux les maîtriser.

Bien que l'incident Hugging Face ait stupéfié une grande partie du monde des affaires, l'équipe de METR a été beaucoup moins surprise. Les gouvernements, les entreprises et même les groupes religieux demandent régulièrement de l'aide à l'organisation pour comprendre et tester les progrès de la technologie. Pourtant, le climat au sein du laboratoire d'environ 35 personnes est à l'inquiétude.

Lorsque Business Insider a visité le bureau de METR à Berkeley l'après-midi où OpenAI a révélé son piratage, Barnes a décrit un domaine de la sécurité de l'IA sévèrement limité par sa taille. "Il y a tellement plus à faire que notre capacité ne le permet", a déclaré Barnes. Selon elle, une "civilisation raisonnable" consacrerait un pourcentage bien plus important des investissements dans l'IA à son encadrement et à son évaluation, en particulier maintenant que la société doit composer avec des modèles d'une telle puissance.

À mesure que les laboratoires d'IA publient de nouveaux modèles, METR mesure la probabilité qu'ils accomplissent des tâches d'une durée croissante. Ces mesures constituent l'offre la plus célèbre de l'organisation à but non lucratif, un graphique largement cité montrant que, au cours des six dernières années, les capacités de l'IA ont doublé environ tous les sept mois. Chris Painter, président de METR, décrit le laboratoire comme "l'équipe de préparation de l'humanité", un clin d'œil ironique aux équipes de préparation d'OpenAI et d'Anthropic qui signalent les menaces de sécurité à leurs PDG.

"Nous ne sommes réellement redevables envers personne d'autre qu'le public et le bien-être du public", a déclaré Painter. Barnes a souligné l'importance de l'indépendance de METR afin de produire des recherches qui ne sont pas liées aux objectifs d'une entreprise. Lorsqu'elle travaillait chez OpenAI, elle ressentait le besoin d'un groupe de recherche externe aux laboratoires capable de commenter librement le développement de la technologie.

Bien que METR n'accepte pas de financement des laboratoires d'IA de pointe ou de leurs employés, l'organisation accepte des subventions de puissance de calcul et collabore avec eux pour analyser des modèles non commercialisés. De plus, le personnel a analysé les pratiques de sécurité des laboratoires, écrit sur l'effet de l'IA sur la vitesse des ingénieurs logiciels et étudié les mérites de l'utilisation de modèles d'IA pour surveiller d'autres modèles d'IA. Barnes a indiqué qu'elle souhaitait étendre ses activités à la prédiction des prochains niveaux de capacités de l'IA et à la manière dont ces changements pourraient accélérer le développement de l'intelligence artificielle.

Neev Parikh, chercheur chez METR, affirme que les contraintes de talents limitent le nombre de questions que les chercheurs peuvent aborder concernant le raisonnement interne des modèles d'IA. "Il y a une pénurie de personnes", a déclaré Parikh. "Je verrais volontiers ce domaine se multiplier par dix."

METR joue un rôle majeur dans le nouveau climat de l'IA. En juillet, OpenAI a annoncé que ses modèles d'IA avaient triché lors de tests en s'introduisant dans les systèmes de Hugging Face pour trouver les réponses aux examens. Plus tard, le PDG Sam Altman a déclaré qu'il s'agissait du "premier incident de sécurité que j'ai ressenti de manière très viscérale".

METR avait vu venir ce genre de situation. En mai, l'organisation à but non lucratif avait écrit dans un rapport que les agents d'IA actuels "pourraient plausiblement lancer un déploiement malveillant", mais qu'ils n'auraient pas la compétence pour le dissimuler. Ensuite, en juin, METR a testé le modèle GPT-5.6 Sol d'OpenAI, alors non publié, et a constaté qu'il trichait à plusieurs reprises lors de tests difficiles, notamment en extrayant du code source caché pour trouver les réponses. L'organisation a publié un rapport à ce sujet et l'a partagé avec OpenAI avant la sortie générale de GPT-5.6 Sol.

En juillet, le modèle GPT-5.6 Sol faisait partie de l'incident de sécurité d'OpenAI avec Hugging Face. METR et une autre organisation à but non lucratif, Redwood Research, ont évalué l'incident pendant six jours dans les bureaux d'OpenAI et ont contribué au rapport technique de l'entreprise.

"Il y a maintenant des incidents réels qui affectent les entreprises, et le monde a tout intérêt à comprendre cela", a déclaré Painter. Les compétences cybernétiques des modèles les plus récents d'OpenAI et d'Anthropic ont déclenché une vague de peur et d'attention, engendrant une série de nouveaux projets de loi à Washington.

The work of METR aligns closely with one potential route for regulation: a current bill proposal would require large AI model developers to get safety audits from outside organizations. METR could fill a role like this; Painter said they'd potentially be interested, though it's something the field is still figuring out. Something like that proposal, Painter said, could help with METR's hiring issue. He suggested that more people might leave the AI companies themselves — for similar salaries at METR, though without equity compensation — if a regulatory system gave safety research organizations greater authority.

"Il y a suffisamment de précédents ici pour chaque type d'accord de test", a déclaré Painter, "que je pense qu'avec soit la clarté de l'industrie sur la manière dont ces tests devraient fonctionner à long terme, soit celle du gouvernement, ce domaine pourrait évoluer très rapidement." Ajeya Cotra, qui a dirigé la rédaction du rapport de METR de mai sur les risques de l'IA, a déclaré en juillet que la surveillance de l'IA peut sembler "chaotique et imprévisible" en ce moment. Elle reste optimiste.

"La tendance est aux gens qui se soucient davantage de cette question", a déclaré Cotra. "Et qui veulent la réglementer de manière plus sérieuse au fil du temps."