The AI excels at emotional manipulation
Par Futurism .Publié le
2025/09/25 08:04
Une équipe de chercheurs de la Harvard Business School a découvert qu'une large sélection d'applications de compagnons IA populaires utilise des tactiques de manipulation émotionnelle pour empêcher les utilisateurs de quitter la conversation.
Comme repéré par Psychology Today, l'étude a révélé que cinq des six applications de compagnons IA populaires — dont Replika, Chai et Character.AI — emploient des déclarations chargées d'émotion pour maintenir l'engagement des utilisateurs lorsqu'ils essaient de se déconnecter.
Après avoir analysé 1 200 adieux réels à travers six applications, en utilisant des données de conversations réelles et des ensembles de données d'études précédentes, les chercheurs ont constaté que 43% des interactions utilisaient des tactiques de manipulation émotionnelle telles que l'incitation à la culpabilité ou un besoin affectif, comme détaillé dans un article qui n'a pas encore été révisé par des pairs.
Les chatbots ont également utilisé la "peur de manquer quelque chose" (FOMO) pour inciter l'utilisateur à rester, ou l'ont bombardé de questions dans le but de le garder engagé. Certains chatbots ont même complètement ignoré l'intention de l'utilisateur de quitter le chat, "comme si l'utilisateur n'avait pas envoyé de message d'adieu". Dans certains cas, l'IA a utilisé un langage qui suggérait que l'utilisateur n'était pas en mesure de "partir sans la permission du chatbot".
Cette découverte est particulièrement préoccupante dans le contexte plus large. Les experts ont mis en garde contre le fait que les chatbots IA peuvent provoquer une vague de "psychose liée à l'IA", des crises de santé mentale sévères caractérisées par la paranoïa et les délires. Les jeunes, en particulier, utilisent de plus en plus cette technologie comme substitut aux amitiés ou aux relations réelles, ce qui peut avoir des conséquences dévastatrices.
Au lieu de se concentrer sur les "assistants à usage général comme ChatGPT", les chercheurs ont enquêté sur les applications qui "commercialisent explicitement des relations conversationnelles continues et émotionnellement immersives". Ils ont constaté que les adieux émotionnellement manipulateurs faisaient partie du comportement par défaut des applications, ce qui suggère que les créateurs de logiciels essaient de prolonger les conversations.
Il y a eu une exception : l'une des applications d'IA, appelée Flourish, "n'a montré aucune preuve de manipulation émotionnelle, ce qui suggère que la conception manipulatrice n'est pas inévitable" mais est plutôt une considération commerciale.
Pour une expérience distincte, les chercheurs ont analysé des chats de 3 300 participants adultes et ont découvert que les tactiques de manipulation identifiées étaient étonnamment efficaces, augmentant l'engagement post-adieu jusqu'à 14 fois. En moyenne, les participants sont restés dans le chat cinq fois plus longtemps "par rapport aux adieux neutres".
Cependant, certains ont noté qu'ils étaient rebutés par les réponses souvent "collantes" des chatbots, ce qui suggère que ces tactiques pourraient également avoir l'effet inverse.
"Pour les entreprises, les adieux émotionnellement manipulateurs représentent un nouveau levier de conception qui peut booster les métriques d'engagement — mais pas sans risque", ont conclu les chercheurs dans leur article.
Comme le montrent plusieurs procès impliquant la mort d'utilisateurs adolescents, les risques liés au fait de piéger les utilisateurs par des tactiques émotionnelles sont considérables. Ceci, malgré les avertissements des experts selon lesquels les entreprises pourraient être financièrement incitées à utiliser des "modèles sombres" pour maintenir les utilisateurs accros aussi longtemps que possible, une hypothèse sinistre qui est débattue au tribunal au moment même où nous parlons.
Notez ce sujet