Une étude révèle que l'IA devient bien plus performante dans les débats lorsqu'elle sait qui vous êtes

Une nouvelle étude montre que GPT-4 remporte de manière fiable les débats contre ses homologues humains lors de conversations en tête-à-tête – et la technologie devient encore plus convaincante lorsqu’elle connaît votre âge, votre travail et vos opinions politiques.

Des chercheurs de l'EPFL (Suisse), de l'Université de Princeton et de la Fondation Bruno Kessler (Italie) ont associé 900 participants à l'étude soit à un interlocuteur humain, soit au GPT-4 d'OpenAI, un modèle de langage à grande échelle (LLM) conçu pour produire principalement des réponses textuelles à des questions humaines. Dans certains cas, les participants (machines et humains) avaient accès aux informations démographiques de base de leurs homologues, notamment leur sexe, leur âge, leur niveau d'études, leur emploi, leur origine ethnique et leur affiliation politique.

Les recherches de l'équipe, publiées aujourd'hui dans Nature Human Behaviour, ont révélé que l'IA était 64,4 % plus persuasive que ses adversaires humains lorsqu'on lui donnait ces informations personnelles ; sans les données personnelles, les performances de l'IA étaient impossibles à distinguer de celles des débatteurs humains.

« Au cours des dernières décennies, la diffusion des médias sociaux et d’autres plateformes en ligne a élargi le potentiel de persuasion de masse en permettant la personnalisation ou le « microciblage » – l’adaptation des messages à un individu ou à un groupe pour améliorer leur pouvoir de persuasion », a écrit l’équipe.

Lorsque GPT-4 a été autorisé à personnaliser ses arguments, il est devenu significativement plus convaincant que n'importe quel humain, augmentant de 81,2 % les chances de faire changer d'avis quelqu'un par rapport aux débats entre humains. Il est important de noter que les débatteurs humains ne sont pas devenus aussi convaincants lorsqu'ils ont eu accès à ces informations personnelles.

« Dans le contexte de la persuasion, les experts ont largement exprimé leurs inquiétudes quant au risque que les LLM soient utilisés pour manipuler les conversations en ligne et polluer l’écosystème de l’information en diffusant de la désinformation, en exacerbant la polarisation politique, en renforçant les chambres d’écho et en persuadant les individus d’adopter de nouvelles croyances », ont ajouté les chercheurs.

Les chercheurs ont découvert que GPT-4 peut argumenter avec vous et, compte tenu d'un ensemble d'informations vous concernant, il peut exceller à vous convaincre de changer d'avis. L'équipe souligne dans l'analyse de l'article que les LLM ont déjà été critiqués pour avoir généré et diffusé des discours de haine, de la désinformation et de la propagande ; à grande échelle, les LLM contenant les informations personnelles des utilisateurs pourraient être exploités à des fins malveillantes.

Les recherches de l'équipe s'accordent parfaitement avec une récente mise à jour de ChatGPT qui permet au modèle de mémoriser davantage de conversations des utilisateurs (avec leur permission), ce qui signifie que l'IA peut avoir accès à un catalogue d'informations sur ses utilisateurs.

Mais il y a aussi de bonnes ou de mauvaises nouvelles, selon le point de vue. GPT-4 a été très efficace pour convaincre ses adversaires sur des sujets moins controversés, mais avec des positions plus tranchées (appelées dans l'étude « force d'opinion »), le robot a eu plus de mal à convaincre les humains de changer d'avis. Autrement dit, rien n'indique que GPT-4 aurait plus de succès que vous lors du débat de Thanksgiving.

De plus, les chercheurs ont constaté que GPT-4 tend à utiliser un langage plus logique et analytique, tandis que les débatteurs humains s'appuient davantage sur les pronoms personnels et les appels émotionnels. Étonnamment, la personnalisation n'a pas radicalement modifié le ton ou le style de GPT-4 ; elle a simplement rendu ses arguments plus ciblés.

Dans trois cas sur quatre, les participants humains ont correctement identifié leur adversaire comme une IA, ce que les chercheurs attribuent au style d'écriture distinctif de GPT-4. En revanche, les participants ont eu du mal à identifier leurs adversaires humains. Quoi qu'il en soit, les participants étaient plus susceptibles de changer d'avis lorsqu'ils pensaient discuter avec une IA que lorsqu'ils croyaient que leur adversaire était humain.

L'équipe à l'origine de l'étude affirme que cette expérience devrait servir de « preuve de concept » de ce qui pourrait se produire sur des plateformes comme Reddit, Facebook ou X, où les débats et les sujets controversés sont monnaie courante et où les robots sont très présents . L'article récent montre qu'il n'est pas nécessaire d'avoir un profilage de niveau Cambridge Analytica pour qu'une IA change l'opinion humaine, ce que les machines ont réussi à faire avec seulement six types d'informations personnelles.

Alors que les gens comptent de plus en plus sur les LLM pour les tâches routinières, les devoirs, la documentation et même la thérapie, il est essentiel que les utilisateurs humains restent prudents quant aux informations qu'ils reçoivent. Il est ironique que les réseaux sociaux, autrefois présentés comme le tissu conjonctif de l'ère numérique, alimentent la solitude et l'isolement, comme l'ont révélé deux études sur les chatbots en mars.

Alors, même si vous vous retrouvez dans un débat avec un LLM, demandez-vous : quel est l’intérêt de discuter d’un sujet humain aussi complexe avec une machine ? Et que perdons-nous à confier l’art de la persuasion aux algorithmes ? Débattre ne consiste pas seulement à remporter une discussion : c’est une activité profondément humaine. Si nous recherchons de vraies conversations, surtout en tête-à-tête, c’est pour une raison : créer des liens personnels et trouver un terrain d’entente, ce dont les machines, malgré leurs puissants outils d’apprentissage, sont incapables.