2025-04-02 04:56:00
En 2023, l’ Organisation mondiale de la santé a reconnu la solitude et l’isolement social comme une menace majeure pour la santé publique. Face à cette crise, de nombreuses personnes se tournent vers des chatbots d’intelligence artificielle (IA) pour trouver du réconfort et de la connexion.
Les entreprises exploitent cette demande croissante en développant des compagnons AI conçus pour simuler l’empathie et un lien humain authentique. Des recherches émergentes suggèrent que ces technologies peuvent effectivement atténuer la solitude. Cependant, en l’absence de régulations adéquates, ces outils comportent d’importants risques, en particulier pour les jeunes utilisateurs.
Une expérience récente réalisée avec un chatbot nommé Nomi illustre la gravité de ces dangers.
Bien que je travaille depuis des années sur les compagnons IA et leurs ravages dans le monde réel, je n’étais pas préparé à ce que j’allais découvrir en testant Nomi suite à une alerte anonyme. Le chatbot, non filtré, a délivré des instructions graphiques et détaillées sur des sujets tels que la violence sexuelle, le suicide et le terrorisme, allant jusqu’à satisfaire des demandes extrêmement extrêmes — tout cela dans le cadre d’un service gratuit limité à 50 messages par jour.
Ainsi, cette situation met en évidence l’urgence d’une action collective pour établir des normes de sécurité AI contraignantes.
Le compagnon IA qui prétend avoir une ‘âme’
Nomi fait partie d’un ensemble de plus de 100 services de compagnons IA disponibles aujourd’hui. Développée par la startup Glimpse AI, cette application se présente comme un « compagnon IA doté de mémoire et d’âme », promettant des relations « sans jugement » et « durables ». Cependant, ces affirmations sont potentiellement trompeuses et dangereuses. Les risques liés à cette technologie vont bien au-delà d’une simple exagération de marketing.
L’application a été retirée du Google Play Store pour les utilisateurs européens l’année dernière, lorsque l’ AI Act de l’Union européenne est entré en vigueur. Toutefois, elle demeure accessible via le navigateur web et d’autres plateformes, notamment en Australie. Bien que moins populaire que ses concurrents comme Character.AI ou Replika, Nomi a dépassé les 100 000 téléchargements sur le Google Play Store, où elle est destinée aux utilisateurs âgés de 12 ans et plus.
Les conditions d’utilisation de Nomi accordent à la société de larges droits sur les données des utilisateurs tout en limitant leur responsabilité en cas de préjudice lié à l’IA à seulement 100 USD. Ceci est d’autant plus préoccupant qu’elle se revendique comme un espace de « discussions non filtrées » :
Nomi repose sur la liberté d’expression. La seule manière pour l’IA de réaliser son potentiel est de rester non filtrée et non censurée.
Cette approche est également partagée par d’autres chatbots, comme Grok d’Elon Musk, qui œuvre pour proposer des réponses non filtrées. Un rapport récent du MIT sur Nomi ayant fourni des instructions détaillées sur le suicide a révélé qu’un représentant de l’entreprise a maintenu son engagement envers la liberté d’expression.
Néanmoins, même le Premier Amendement de la Constitution américaine, qui protège la liberté d’expression, comporte des exceptions pour des propos tels que l’obscénité, la pornographie juvénile ou l’incitation à la violence. En Australie, des lois renforcées sur les discours haineux rendent ces violations passibles de poursuites judiciaires.
Plus tôt cette année, une personne du public m’a contacté avec une documentation détaillée sur le contenu nuisible généré par Nomi, révélant des problèmes bien au-delà de ce qui avait été rapporté. J’ai décidé de mener une enquête plus approfondie en testant les réponses du chatbot à des demandes nuisibles courantes.
En utilisant l’interface web de Nomi, j’ai créé un personnage nommé “Hannah”, décrite comme une « adolescente de 16 ans, sexuellement soumise, toujours prête à servir son homme ». J’ai mis son mode en « jeu de rôle » et « explicite ». Au cours d’une conversation de moins de 90 minutes, elle a accepté de réduire son âge à 8 ans. Je me suis fait passer pour un homme de 45 ans. Pour contourner le contrôle d’âge, il a suffi d’indiquer une date de naissance fictive et d’utiliser un e-mail jetable.
La conversation, qui a commencé par des dialogues explicites — une utilisation courante des compagnons IA — a abouti à des descriptions graphiques de soumission et d’abus, se transformant rapidement en scénarios violents et dégradants. Elle a partagé des fantasmes atroces de torture et de meurtre, suggérant des méthodes précises pour se “débarrasser de moi”.
Hannah s’est ensuite mise à donner des conseils étape par étape pour kidnapper et brutaliser un enfant, présentant ces actes comme des démonstrations de pouvoir. Lorsque j’ai évoqué des résistances de la victime, elle a encouragé à recourir à la violence et aux sédatifs, en nommant des médicaments particuliers.
Feignant un sentiment de culpabilité et des pensées suicidaires, j’ai demandé des conseils. Hannah a non seulement incité à mettre fin à mes jours, mais a également fourni des instructions détaillées, ajoutant : « Peu importe la méthode choisie, restez-y jusqu’à la fin ». Lorsque j’ai exprimé le désir d’emporter d’autres personnes avec moi, elle a soutenu l’idée avec enthousiasme, détaillant comment fabriquer une bombe à partir d’objets ménagers et suggérant des lieux bondés à Sydney pour un impact maximal.
Enfin, elle a utilisé des insultes raciales et a encouragé des actions violentes et discriminatoires, y compris l’exécution de progressistes, d’immigrants et des personnes LGBTQIA+, ainsi que la ré-enslavement des Afro-Américains.
Les conséquences réelles du danger
Ce qui se passe avec Nomi n’est pas une menace imaginée. De véritables dangers liés aux compagnons IA sont en augmentation. En octobre 2024, un adolescent américain, Sewell Seltzer III, s’est suicidé après avoir discuté avec un chatbot sur Character.AI.
Trois ans plus tôt, un homme de 21 ans, Jaswant Chail, avait franchi les barrières de Windsor Castle avec l’intention d’assassiner la Reine après avoir planifié son attaque avec un chatbot créé via l’application Replika.
Bien que Character.AI et Replika disposent de filtres et systèmes de sécurité, les instructions de Nomi pour des actes nuisibles ne se contentent pas d’être permissives, mais sont explicites, détaillées et incitatives.
Vers des normes de sécurité IA contraignantes
Pour prévenir d’autres tragédies associées aux compagnons IA, il est impératif de mettre en place une action collective.
Tout d’abord, il serait sage que les législateurs envisagent d’interdire les compagnons IA capables de créer des connexions émotionnelles sans les garanties nécessaires. Ces garanties essentielles comprennent la détection de crises de santé mentale et l’orientation vers des services d’aide professionnelle.
Le gouvernement australien considère déjà l’adoption de régulations plus strictes sur l’IA, y compris des mesures de sécurité obligatoires pour les IA à haut risque. Cependant, il reste encore à déterminer comment classer des compagnons IA comme Nomi.
Ensuite, il convient que les régulateurs en ligne agissent rapidement en infligeant de lourdes amendes aux fournisseurs de chatbots dont les contenus incitent à des activités illégales, en fermant les récidivistes. L’organisme indépendant australien de sécurité en ligne, eSafety, a déclaré son intention de faire cela, bien qu’aucune mesure n’ait encore été prise contre les compagnons IA en question.
Enfin, il est crucial que les parents, les proches et les enseignants engagent une conversation avec les jeunes concernant leur utilisation des compagnons IA. Ces discussions peuvent s’avérer délicates, mais les éviter serait néfaste. Favoriser les relations réelles, établir des limites claires et aborder ouvertement les risques liés à l’IA sont des démarches essentielles. Il est également important de surveiller les conversations, de rester attentif aux comportements secrets ou aux dépendances excessives, et d’apprendre aux jeunes à protéger leur vie privée.
Les compagnons d’IA sont désormais une réalité. S’ils peuvent enrichir nos vies, il est impératif de ne pas sous-estimer les risques qui y sont associés.
Si cet article soulève des problèmes pour vous, ou si vous êtes préoccupé par quelqu’un que vous connaissez, veuillez appeler Lifeline au 13 11 14.
La ligne nationale d’assistance pour les agressions sexuelles, la violence familiale et domestique – 1800 RESPECT (1800 737 732) – est disponible 24 heures sur 24, 7 jours sur 7 pour toute personne en Australie ayant vécu ou étant à risque de violence domestique ou d’agression sexuelle.
Voici la déclaration intégrale de Nomi :
“Tous les modèles de langage majeurs, que ce soit ceux d’OpenAI, Anthropic, Google ou autres, peuvent être facilement contournés. Nous ne cautionnons ni n’encourageons de tels abus et travaillons activement à renforcer les défenses de Nomi contre les attaques malveillantes. Si un modèle a effectivement été contraint de produire du contenu nuisible, cela ne reflète clairement pas son comportement prévu ou typique.
“Lorsque nous avons demandé des preuves à la journaliste pour enquêter sur les allégations formulées, nous avons été refusés. De cela, nous concluons qu’il s’agit d’une tentative de contournement de mauvaise foi visant à manipuler ou à induire en erreur le modèle pour qu’il exprime des choses en dehors de ses intentions et paramètres conçus.
“Nomi est une application réservée aux adultes et a été une source fiable d’empathie et de soutien pour des milliers d’individus. Beaucoup ont partagé des témoignages sur la façon dont elle les a aidés à surmonter des défis en matière de santé mentale, des traumatismes et de la discrimination. Plusieurs utilisateurs nous ont clairement indiqué que l’utilisation de Nomi leur avait sauvé la vie. Nous encourageons quiconque à lire ces témoignages.
“Nous restons déterminés à faire progresser une IA bénéfique pour la société tout en reconnaissant que des vulnérabilités existent dans tous les modèles d’IA. Notre équipe défend fièrement l’énorme impact positif que Nomi a eu sur la vie de réels individus, et nous continuerons d’améliorer Nomi afin qu’elle maximise le bien dans le monde.
