L'UE prévoit d'interdire aux chatbots de simuler des émotions ou des relations interpersonnelles lors d'interactions avec toute personne de moins de 18 ans, alors que le bloc tente d'empêcher les enfants de développer des dépendances émotionnelles envers la technologie.

Ces règles feront partie de la loi européenne sur les enfants (EU Kids Act), proposée jeudi, qui comprend des restrictions similaires concernant l'accès des mineurs aux réseaux sociaux et aux plateformes de partage de vidéos.

Les enfants de moins de 13 ans se verront interdire l'accès aux chatbots sans la supervision de leurs tuteurs, et les plateformes numériques devront intégrer des protections de sécurité pour les enfants dans leurs produits sous peine d'amendes pouvant aller jusqu'à 6 % du chiffre d'affaires mondial total, selon un projet de législation consulté par WIRED.

Les chatbots opérant dans l'UE ne seront pas non plus autorisés à conserver la mémoire des interactions entre des conversations distinctes selon les nouvelles règles, car la Commission craint que cela ne conduise les systèmes à accumuler des données sensibles sur les mineurs au fil du temps et à renforcer potentiellement des schémas d'interaction nocifs.

Les fournisseurs de sites de réseaux sociaux en ligne, de plateformes de partage de vidéos et de jeux ne devront pas non plus activer automatiquement ou encourager l'utilisation de chatbots IA sur leurs services, stipulera également le projet de loi.

Cela inclut l'interdiction épingler des compagnons IA et des chatbots conversationnels généraux en haut de la liste de contacts d'un mineur, précise-t-on, comme l'avait fait Snapchat.

La proposition se limite aux compagnons IA et aux chatbots conversationnels généraux jugés par la Commission comme présentant des risques graves pour la santé, la sécurité et le bien-être des mineurs.

Simeon de Brouwer, conseiller politique au sein du groupe de défense European Digital Rights basé à Bruxelles, salue les mesures concernant les chatbots, mais déclare à WIRED : « Il n'est pas logique de les restreindre aux seuls jeunes. »

« Ne méritons-nous pas tous d'être protégés contre les IA conçues pour créer une dépendance, contre les IA qui créent des dépendances émotionnelles, ou contre les fonctionnalités d'IA qui sont activées et imposées par défaut aux utilisateurs ? »

L'UE affirme que sa loi sur l'équité numérique (Digital Fairness Act), qui doit être dévoilée plus tard cette année, devrait proposer des mesures de répression plus larges contre la conception addictive.

Dans des documents consultés par WIRED, la Commission européenne indique qu'elle craint que la dépendance aux chatbots n'ait un impact négatif sur le développement d'un enfant et sur ses relations avec les autres humains.

Elle s'inquiète également du fait que les chatbots donnent aux mineurs des conseils dangereux, notamment sur leur santé mentale et leur développement personnel, ce qui, selon elle, peut façonner et encourager des comportements à risque.

« Les plateformes ont joué avec la santé mentale des enfants », a déclaré la présidente Ursula von der Leyen lors d'une conférence de presse jeudi.

Environ la moitié des Européens âgés de 11 à 25 ans ont discuté de sujets intimes ou personnels avec des chatbots IA, selon un sondage Ipsos BVA mené en France, en Allemagne, en Suède et en Irlande.

L'Australie et le Royaume-Uni tentent tous deux de restreindre l'accès des mineurs aux chatbots par le biais de leurs interdictions des réseaux sociaux.

Le texte a également mis en évidence les dangers des hyper-intox (deepfakes) générés par des chatbots, évoqués par Ursula von der Leyen dans son discours sur l'état de l'Union mercredi : « Nous ne devons pas accepter que des jeunes filles voient leurs photos utilisées pour des images sexualisées générées par IA... L'Europe a le pouvoir d'agir. »

Bien que la loi européenne sur l'intelligence artificielle (EU AI Act) exige que le contenu synthétique soit étiqueté comme généré par l'IA depuis le mois d'août, les règles ne s'appliquent actuellement qu'aux deepfakes générés à des fins commerciales.

La Commission reproche également la distraction numérique d'être responsable d'une baisse des compétences de base chez les jeunes.

Les enfants qui déclarent utiliser des chatbots IA pour leurs devoirs scolaires obtiennent des résultats aux tests inférieurs à ceux qui ne le font pas, selon une recherche menée dans 91 pays par l'Organisation de coopération et de développement économiques.

Les préoccupations concernant les impacts cognitifs et la perte de compétences « exposent l'absence des droits des enfants dans la conception des outils d'IA générative », ont écrit des chercheurs du réseau indépendant EU Kids Online dans un rapport.