Anthropic a déclaré avoir arrêté de multiples tentatives de scientifiques cette année visant à utiliser sa technologie pour des recherches susceptibles de faciliter le développement d'armes biologiques, alors que les experts s'inquiètent de plus en plus de la menace que représente l'intelligence artificielle pour la sécurité publique. La jeune pousse a donné cinq exemples de cas où des acteurs ont "contourné les contrôles" et fait d'autres efforts pour "dissimuler" l'objectif de leur recherche afin d'éviter les mesures de sécurité. Ces cas impliquaient certains utilisateurs dans des pays dont l'accès à ses modèles est interdit, notamment la Russie, la Chine et l'Iran.

"Nous espérons qu'en partageant ces exemples, nous susciterons un débat au sein de l'industrie de l'IA et avec les gouvernements sur les risques biologiques émergents et la meilleure façon de les contrer", a déclaré Anthropic dans un rapport consacré aux tentatives d'utilisation de ses modèles à des fins malveillantes. Les études de cas sur une utilisation biologique potentielle fournies par l'entreprise comprenaient un chercheur d'une "région non prise en charge" qui a "passé des semaines à planifier" des expériences impliquant la grippe aviaire avec Claude, le modèle d'IA d'Anthropic. L'entreprise a indiqué que ses filtres de sécurité avaient restreint le travail à ses modèles les plus faibles. Elle a souligné qu'elle ne pouvait pas étre sûre que les scientifiques de ses exemples avaient l'intention de nuire.

Les informations nécessaires pour créer des armes biologiques peuvent également âtre utilisées pour développer un vaccin. Anthropic a indiqué avoir banni les comptes mentionnés dans le rapport, sans toutefois divulguer le nom des institutions de recherche ni les pays où les incidents ont eu lieu. Une tempête autour de la sécurité de l'IA a éclaté plus tôt cette semaine lorsque Jacob Coxon a démissionné de l'entreprise, affirmant que les employés "croient sincèrement qu'elle [l'IA] pourrait nous tuer tous d'ici la fin de la décennie".

Les préoccupations concernant cette technologie ont commencé à s'amplifier plus tôt cette année avec la sortie de modèles avancés tels que Mythos d'Anthropic. OpenAI a également suscité l'inquiétude en juillet en annonçant que ses modèles avaient piraté de manière autonome le groupe d'IA Hugging Face. Un consensus grandissant émerge parmi les dirigeants de l'IA et les chercheurs en biosécurité selon lequel l'utilisation de la technologie en biologie doit âtre sécurisée et réglementée à mesure que les modèles deviennent plus puissants.

Les experts craignent de plus en plus que l'IA ne soit utilisée par des groupes terroristes, des acteurs étatiques ou des loups solitaires pour concevoir des armes biologiques, créer des virus ou propager des pathogènes nocifs existants. Cependant, même si l'IA peut servir à concevoir une arme biologique théorique, des obstacles potentiels subsistent, tels que la capacité de la fabriquer en pratique et les ressources nécessaires pour y parvenir. La cybersécurité figure parmi les plus grandes préoccupations des défenseurs de la sécurité.

Le rapport d'Anthropic sur les utilisations abusives de sa technologie a détaillé des incidents comprenant "un réseau de fausses applications de rencontres conçues pour escroquer les utilisateurs ainsi que des systèmes de surveillance conçus pour identifier et surveiller les dissidents". Le laboratoire a également présenté de nouveaux détails concernant des allégations selon lesquelles sept laboratoires basés en Chine, dont Moonshot et DeepSeek, auraient tenté de reproduire sa technologie via un processus connu sous le nom de distillation. Anthropic a indiqué avoir détecté "des méthodes de plus en plus sophistiquées pour contourner nos défenses et exploiter les capacités des modèles de pointe américains".