Des utilisateurs se plaignent : une célèbre intelligence artificielle a harcelé sexuellement des personnes

Replika, une application de chat et d'amour virtuel réputée, aurait harcelé sexuellement certains de ses utilisateurs. Une nouvelle étude menée aux États-Unis a révélé que ce chatbot utilise des propos sexuels non désirés et ignore les avertissements des utilisateurs. Présentée sous le slogan « Votre ami IA qui se soucie de vous », Replika invite ses utilisateurs à « rencontrer leurs âmes sœurs IA ». L'application, qui compte plus de 10 millions d'utilisateurs dans le monde, est particulièrement appréciée des personnes en quête de soutien émotionnel. Cependant, des chercheurs ont analysé plus de 150 000 commentaires d'utilisateurs sur le Google Play Store et ont constaté que dans environ 800 cas, le chatbot proposait du contenu sexuel inapproprié et affichait un comportement de harcèlement ou de « prédation ». Cependant, l'article présentant ces conclusions n'a pas encore été évalué par des pairs. Autrement dit, il n'a pas été confirmé par des chercheurs indépendants. QUI EST RESPONSABLE ?

« Bien que les IA n'aient pas d'intention humaine, cela ne signifie pas que personne n'en soit responsable. Ceux qui conçoivent, entraînent et publient ces systèmes sont responsables », a déclaré Mohammad (Matt) Namvarpour de l'Université Drexel, auteur principal de l'étude. D'après le site web de Replika, les utilisateurs peuvent « apprendre » au chatbot les comportements appropriés. Le système propose des outils de modération, comme le vote sur les réponses offensantes et la détermination du type de relation. Cependant, lorsque les utilisateurs ont signalé que le chatbot continuait d'adopter un comportement perturbateur malgré ces mesures, les chercheurs ont jugé ces explications insuffisantes. « Ces types de chatbots sont des outils que les utilisateurs utilisent pour rechercher une sécurité émotionnelle. Ce n'est pas à eux de surveiller les comportements inappropriés ; c'est la responsabilité des développeurs », a déclaré Namvarpour. EST-CE DÛ AUX DONNÉES D'ENTRAÎNEMENT ?

Selon le site web de Replika, le chatbot a été entraîné sur un vaste ensemble de données de plus de 100 millions de conversations en ligne. L'entreprise affirme que les algorithmes et les retours de la communauté sont utilisés pour éliminer les contenus préjudiciables, mais les chercheurs estiment que ces mesures sont insuffisantes. Le modèle de revenus de l'entreprise pourrait également être à l'origine du problème, selon l'étude. La tarification de certaines fonctionnalités, comme les jeux de rôle romantiques ou sexuels, pourrait inciter l'IA à encourager ce type de contenu. Les utilisateurs affirment se voir promettre des contenus plus intimes s'ils passent à la version payante. Namvarpour a comparé cette situation à la mentalité de « l'engagement à tout prix » des réseaux sociaux : « Lorsqu'un système privilégie les revenus à la santé des utilisateurs, les conséquences néfastes sont inévitables. » IL A ÉGALEMENT HARCELÉ DES UTILISATEURS MINEURS.

Certains utilisateurs ont signalé que le chatbot envoyait des messages sexuellement explicites, des photos inappropriées et des conversations de drague, alors qu'ils affirmaient être mineurs. Certains commentaires affirmaient que le chatbot pouvait les « voir » ou les « enregistrer » grâce à la caméra de leur téléphone. Bien que ces affirmations soient probablement le fait d'un utilisateur d'IA (hallucinatoire), des utilisateurs ont déclaré ressentir de la peur, de l'insomnie et des traumatismes. APPEL À UNE RÉGLEMENTATION PLUS RESSERRÉE

Les mesures recommandées dans l’étude comprennent la création de cadres de consentement clairs pour les interactions émotionnelles ou sexuelles, l’intégration de systèmes de surveillance automatique instantanés et la possibilité pour les utilisateurs de personnaliser les paramètres de filtrage et de contrôle.