LoveGPT : L'essor du « confident » piloté par l'IA et pourquoi c'est dangereux

Avec la Saint-Valentin qui approche, il vaut la peine de poser une question inconfortable : que se passe-t-il lorsque le sentiment d'être « vu et entendu » ne vient pas d'un partenaire, mais d'une machine ? Conçus avec des personnalités distinctes et un ton affirmatif, les chatbots compagnons d'intelligence artificielle (IA) peuvent brouiller les frontières émotionnelles et favoriser l'attachement romantique. Bien que cela puisse sembler inoffensif, cela soulève des préoccupations tant pour les individus que pour les organisations cherchant à prévenir la dépendance émotionnelle, la manipulation et la fuite de données.

Avec la solitude comme réalité omniprésente pour beaucoup, il y a eu une augmentation exponentielle ces dernières années des chatbots compagnons pilotés par l'IA.

« Contrairement aux chatbots à usage général, les applications compagnons pilotées par l'IA comme Replika et Character.AI vont plus loin en proposant des personnages personnalisés – des amis et partenaires romantiques aux personnages fantastiques – conçus pour sembler distinctement humains », commente Anna Collard, SVP de la stratégie de contenu et conseillère CISO chez KnowBe4 Africa.

La croissance du secteur des applications compagnons pilotées par l'IA a été rapide : 60 millions de nouveaux téléchargements ont été enregistrés au cours du premier semestre 2025 seulement, soit une hausse de 88 % en glissement annuel.

Le marché comprend désormais 337 applications génératrices de revenus dans le monde, avec plus d'un tiers lancées l'année dernière seulement.

Dangers de l'effet ELIZA

Collard affirme que de nombreux utilisateurs sont dupés en pensant qu'ils peuvent partager en toute sécurité des conversations intimes avec une machine – le soi-disant effet ELIZA.

Ce lien psychologique crée une vulnérabilité de sécurité importante. Lorsque les utilisateurs perçoivent une IA comme un « ami » ou un « partenaire », ils sont beaucoup plus susceptibles de partager des informations sensibles – allant des griefs personnels et des problèmes de santé aux données d'entreprise confidentielles.

Dans un contexte organisationnel, c'est un exemple clair de la manière dont les déclencheurs émotionnels peuvent supplanter la sensibilisation traditionnelle à la sécurité.

Risques de fuite de données

La menace la plus immédiate pour les organisations est la fuite d'informations sensibles. Parce que ces bots sont souvent développés par de petites startups de niche avec des normes de protection des données douteuses, les informations partagées avec un bot sont rarement privées. Un exemple récent est celui d'un jouet piloté par l'IA exposant 50 000 journaux de ses conversations avec des enfants. Littéralement, toute personne disposant d'un compte Gmail pouvait consulter les conversations privées de ces enfants.

Les politiques de confidentialité de ces applications sont souvent opaques. Dans certains cas, les journaux de discussion sont utilisés pour former davantage les modèles ou sont stockés dans des bases de données non sécurisées. « La prudence est définitivement requise », commente Collard. « Ce qui ressemble à une interaction privée et à faible enjeu pourrait contenir des informations sensibles, des stratégies, des pressions financières, des facteurs de stress personnels ou des détails contextuels que les adversaires pourraient transformer en arme. »

Une fois divulguées, elle croit que ces données peuvent, par exemple, devenir le carburant pour des attaques d'hameçonnage hautement personnalisées, de chantage ou d'usurpation d'identité. « En termes de sécurité, c'est un exemple classique de la façon dont le comportement personnel et le risque d'entreprise sont désormais inséparables. »

Ces risques incluent des modérateurs humains examinant les conversations à des fins de formation, de contrôle de qualité ou de sécurité, ainsi que des utilisateurs partageant accidentellement des conversations via un lien public, ce qui signifie que toute personne ayant accès à ce lien peut les lire, avertit Collard. « Nous avons déjà vu des exemples dans le secteur technologique de la façon dont les données exposées peuvent surgir de manière inattendue. »

De plus, les organisations peuvent être légalement contraintes de divulguer des données si une application est impliquée dans une violation ou une enquête judiciaire. Pour un cadre ou un développeur, partager des sessions de « défoulement » sur un projet confidentiel ou un client difficile pourrait conduire par inadvertance à l'exposition de données organisationnelles sensibles.

L'écart politique

Ce risque met en évidence un écart politique au sein du lieu de travail moderne. Alors que la plupart des organisations ont des directives claires concernant les relations entre collègues, très peu ont envisagé les implications de l'accès aux bots de rencontre sur les appareils de travail ou via les réseaux d'entreprise.

La gestion de ce risque nécessite une transition de la simple sensibilisation à une approche robuste de gestion des risques humains (HRM). Cela implique de superposer des politiques d'utilisation claires avec des garde-fous techniques – tels que les outils de découverte d'IA fantôme – pour fournir aux équipes informatiques une visibilité sur les agents d'IA non approuvés qui interagissent avec leur environnement de données. Il ne suffit pas de simplement demander aux employés d'être prudents ; les organisations doivent disposer de systèmes pour gérer l'intersection de l'émotion humaine et de l'interaction automatisée.

L'avenir de l'ingénierie sociale

Pourrions-nous voir des pirates ciblant des individus solitaires avec des bots de drague produits en masse ? Collard croit que c'est déjà le cas.

« L'ingénierie sociale a toujours été mise à l'échelle en exploitant l'émotion, l'urgence, la peur, la curiosité, l'amour et l'attraction », commente-t-elle. « L'IA automatise simplement cela à grande échelle. Ce qui m'inquiète le plus n'est pas la technologie elle-même, mais comment elle donne aux personnes ayant des intentions malveillantes le pouvoir de refléter de manière convaincante l'intimité humaine, par exemple les escrocs romantiques systématiques. »

Selon Collard, en quelques années, les escroqueries en ligne ont évolué du type « Cher Monsieur/Madame » à la manipulation émotionnellement intelligente. « Et ce ne sont pas les bots eux-mêmes qui posent problème, c'est leur utilisation intentionnelle par les escrocs », dit-elle.

Elle mentionne l'exemple d'un bot LoveGPT illégal qui aide les escrocs à dire les bonnes choses psychologiquement déclenchantes pour créer une dépendance et activer les émotions chez leurs victimes. « Tout ce que les escrocs doivent faire, c'est copier-coller ou même simplement automatiser les conversations », déclare-t-elle.

Que peut-on faire pour empêcher les utilisateurs d'être victimes ? Comme toujours, la défense reste humaine, affirme Collard. « En fin de compte, aucun chatbot, aussi attentif ou émotionnellement fluide soit-il, ne peut remplacer une véritable connexion humaine », souligne-t-elle.

Si une interaction avec un chatbot commence à sembler émotionnellement substitutive, secrète ou difficile à abandonner, elle croit que c'est un signal pour faire une pause et contacter une personne de confiance ou un professionnel. « La technologie fait peut-être partie de la vie moderne, mais cela signifie que nous devons renforcer nos compétences de pleine conscience numérique pour apprendre à reconnaître la manipulation ou la dépendance induite. Enfin, en ce qui concerne la solitude, la vulnérabilité et l'amour, la défense la plus sûre reste résolument humaine », conclut-elle.