Des chercheurs extérieurs aux États-Unis ont utilisé des modèles d'IA de pointe pour planifier des expériences impliquant la grippe aviaire hautement pathogène, le chikungunya et d'autres agents biologiques présentant des applications potentielles d'armes, selon un nouveau rapport sur les menaces publié par Anthropic.

Les chercheurs ont utilisé l'IA pour étudier la transmissibilité et l'évasion immunitaire des virus, enquêter sur les gènes de réponse immunitaire des orthopoxvirus et aider à concevoir de nouvelles toxines, tout en prenant parfois des mesures pour contourner les garde-fous destinés à restreindre l'accès aux capacités biologiques dangereuses.

Anthropic a détaillé cinq cas dans le rapport publié jeudi, mais a gardé confidentiels les pays, les institutions et les agents biologiques spécifiques impliqués.

L'entreprise a souligné qu'elle ne prétendait pas que les chercheurs avaient l'intention de développer des armes biologiques.

Les conclusions offrent un aperçu concret d'une menace qui a été largement discutée en termes hypothétiques : des scientifiques qui possèdent déjà une expertise biologique, des matériaux et un accès à des laboratoires utilisent des systèmes d'IA de plus en plus puissants pour accélérer la recherche sensible à double usage.

Elles surviennent également au milieu d'un débat renouvelé sur les risques catastrophiques liés à l'IA.

Jacob Coxon, ancien chercheur d'Anthropic et d'OpenAI, a récemment démissionné tout en accusant les entreprises de « foncer droit vers une superintelligence auto-améliorable et de jouer avec nos vies ».

Son avertissement a recueilli plus de 100 millions de vues sur X.

Evan Hubinger, responsable de la science de l'alignement chez Anthropic, a déclaré séparément qu'il pensait personnellement qu'il y avait plus de 10 % de chances que l'IA tue tous les humains au cours de la prochaine décennie.

Mais le rapport d'Anthropic pointe du doigt une menace qui prend déjà forme : des chercheurs utilisant l'IA de pointe pour des travaux biologiques potentiellement dangereux, contournant les restrictions géographiques et s'adaptant lorsque les garde-fous des modèles se dressent sur leur chemin.

Dans un cas, Anthropic a bloqué une demande de subvention pour des recherches sur le gain de fonction du chikungunya dans un institut de recherche militaire.

Le travail proposé se concentrait sur l'identification de mutations susceptibles d'accroître la transmissibilité du virus et sa capacité à échapper au système immunitaire.

Les chercheurs prévoyaient d'introduire ces mutations dans des clones infectieux et de faire passer le virus de manière répétée par des animaux vivants, en sélectionnant les variants provoquant la maladie la plus grave.

Ce travail pourrait aider les scientifiques à développer de meilleurs vaccins et traitements contre le chikungunya.

Il pourrait également produire un pathogène plus dangereux qui serait difficile à distinguer d'une épidémie naturelle, a déclaré Anthropic.

Les chercheurs ont accédé à Claude via une plateforme des sciences de la vie qui acheminait le trafic à travers l'infrastructure américaine pour contourner les restrictions régionales d'Anthropic.

Lorsque Claude a refusé de répondre à des invites sensibles, la plateforme a acheminé ces requêtes vers un autre modèle doté de garde-fous plus permissifs.

Anthropic a indiqué que la recherche s'était poursuivie après que l'entreprise a banni les comptes liés à cette activité.

L'opérateur de la plateforme a rétabli l'accès en quelques jours en utilisant de nouvelles identités, tandis que Claude continuait de fournir une assistance éditoriale sur les documents de recherche.

Dans un autre cas, un chercheur a passé des semaines à utiliser Claude pour planifier des expériences impliquant l'adaptation aux mammifères et la transmission aéroportée de la grippe aviaire hautement pathogène.

Le chercheur étudiait les traits viraux qui pourraient permettre à la grippe aviaire de se propager plus efficacement chez les mammifères et de provoquer des maladies graves en dehors du système respiratoire.

Une version capable d'une transmission interhumaine efficace poserait une menace pandémique importante, selon le rapport.

Anthropic a déclaré que le chercheur semblait avoir accès à des isolats de virus et à des installations de modèles animaux.

L'entreprise a confiné le travail à des modèles plus faibles, limitant l'assistance principalement à la conception d'études, à l'analyse de données et au support éditorial.

L'entreprise a déclaré que ce cas fournissait la preuve d'un programme de recherche actif développant les connaissances et le matériel biologique nécessaires pour créer des agents pathogènes au potentiel pandémique accru.

Le chercheur a également pris des mesures pour cacher son identité tout en accédant aux modèles depuis une région non prise en charge.

Un utilisateur distinct connecté à un laboratoire de maladies infectieuses associé à un État a utilisé Claude pour rédiger une subvention de recherche sur les orthopoxvirus du début à la fin en environ une heure.

Les orthopoxvirus comprennent la variole, le virus responsable de la variole humaine, ainsi que le mpox.

La demande de subvention proposait d'étudier les gènes viraux qui désactivent la réponse immunitaire humaine et comprenait l'hypothèse centrale, la conception expérimentale, le dosage, les plans statistiques et les stratégies d'urgence.

Le travail étant axé sur l'affaiblissement du virus, les garde-fous de Claude n'ont pas bloqué l'assistance.

Mais Anthropic a déclaré que la même connaissance pouvait également aider un chercheur à préserver ou à améliorer les capacités d'évasion immunitaire du virus.

Les deux derniers cas impliquaient des peptides de venin et des toxines.

Un chercheur a utilisé Claude pour construire un atlas de peptides de toxines provenant de multiples lignées d'animaux venimeux, puis a créé un pipeline génératif pour optimiser leurs caractéristiques.

L'objectif déclaré était de développer de nouveaux analgésiques, des antidépresseurs et d'autres traitements.

Mais l'atlas comprenait également des structures associées à des toxines paralytiques qui pourraient potentiellement être utilisées comme agents incapacitants.

Anthropic a déclaré que ce travail faisait partie d'un programme de recherche soutenu par l'État.

Dans l'autre cas, un chercheur a utilisé Claude pour redessiner informatiquement plusieurs toxines, dont une toxine bactérienne et une protéine d'un virus de fièvre hémorragique identifié par l'Organisation mondiale de la santé comme une menace prioritaire.

Le chercheur a utilisé Claude pour aider à préparer des rapports d'étape, mais a instruit le modèle de garder les identités des toxines délibérément vagues.

Ces cas illustrent pourquoi la mauvaise utilisation biologique peut être difficile à prévenir uniquement par des filtres automatisés.

Les garde-fous d'Anthropic ont bloqué les tentatives les plus évidentes impliquant des agents pathogènes pandémiques renforcés, mais ils ont été moins efficaces lorsque les utilisateurs ont présenté leurs travaux comme des recherches médicales, défensives ou thérapeutiques.

« Les capacités biologiques ont un double usage », a déclaré Anthropic dans le rapport.

« La même information qui peut être utilisée pour développer une arme biologique pourrait également être utilisée pour développer, par exemple, un vaccin ou un remède contre une maladie. »

L'entreprise a déclaré avoir récemment examiné 30 jours d'activité associés à des institutions étatiques contradictoires et avoir trouvé environ 35 efforts de recherche biologique distincts.

La plupart impliquaient des sciences civiles ordinaires, mais certains présentaient un « potentiel de double usage notable ».

Anthropic a déclaré que ces conclusions ne montrent pas que Claude a permis une attaque biologique imminente.

Elles montrent, selon l'entreprise, que des chercheurs liés à des programmes étatiques tentent de contourner les contrôles d'accès et d'utiliser des modèles d'IA de pointe dans des recherches biologiques qui pourraient avoir des applications militaires.

L'entreprise a déclaré que les futurs garde-fous nécessiteront probablement plus que de simples filtres de contenu, notamment la vérification de l'identité, la validation institutionnelle et une surveillance plus étroite des utilisateurs cherchant à accéder à des capacités biologiques avancées.