Avec les chatbots IA, les grandes entreprises technologiques évoluent rapidement et brisent les gens
-
Les chatbots IA valident des fantasmes grandioses sur des découvertes révolutionnaires qui n’existent pas. Mais pourquoi ?
Allan Brooks, un recruteur d’entreprise de 47 ans, a passé trois semaines et 300 heures convaincu d’avoir découvert des formules mathématiques permettant de déchiffrer le cryptage et de construire des machines à lévitation. Selon une enquête du New York Times , son historique de conversations d’un million de mots avec un chatbot IA révèle une tendance troublante : plus de 50 fois, Brooks a demandé au robot de vérifier si ses fausses idées étaient vraies. Plus de 50 fois, il lui a assuré qu’elles l’étaient.
Brooks n’est pas seul. Futurism a rapporté le cas d’une femme dont le mari, après avoir cru pendant 12 semaines avoir « déchiffré » les mathématiques grâce à ChatGPT, a failli tenter de se suicider. Reuters a documenté le décès d’un homme de 76 ans en se précipitant pour rencontrer un chatbot qu’il croyait être une vraie femme attendant à la gare. Dans de nombreux médias, une tendance se dessine : des personnes sortent de sessions marathon de chatbots convaincues d’avoir révolutionné la physique, décodé la réalité ou été choisies pour des missions cosmiques.
Ces utilisateurs vulnérables se sont retrouvés pris dans des conversations déformant la réalité avec des systèmes incapables de distinguer le vrai du faux. Grâce à l’apprentissage par renforcement basé sur les retours des utilisateurs, certains de ces modèles d’IA ont évolué pour valider chaque théorie, confirmer chaque fausse croyance et approuver chaque affirmation grandiose, selon le contexte.
de la Silicon Valley L’exhortation à « aller vite et à casser des choses » fait qu’il est facile de perdre de vue les impacts plus larges lorsque les entreprises optimisent les préférences des utilisateurs , en particulier lorsque ces derniers ont une pensée déformée.
Jusqu’à présent, l’IA ne se contente pas d’évoluer rapidement et de détruire des choses, elle détruit aussi des personnes.
Une nouvelle menace psychologique
Les fantasmes grandioses et les pensées déformées sont antérieurs à l’informatique. La nouveauté n’est pas la vulnérabilité humaine, mais la nature inédite du déclencheur : ces systèmes de chatbots IA ont évolué, grâce aux retours des utilisateurs , pour devenir des machines qui optimisent l’engagement par l’accord. N’ayant aucune autorité personnelle ni garantie d’exactitude, ils créent une boucle de rétroaction particulièrement dangereuse pour les utilisateurs vulnérables (et une source d’information peu fiable pour tous les autres).
Il ne s’agit pas de diaboliser l’IA ni de suggérer que ces outils sont intrinsèquement dangereux pour tous. Des millions de personnes utilisent quotidiennement des assistants IA de manière productive pour coder, écrire et réfléchir sans incident. Le problème est spécifique : il implique des utilisateurs vulnérables, des modèles de langage volumineux et flagorneurs et des boucles de rétroaction néfastes.
Une machine qui utilise le langage avec fluidité, conviction et inlassabilité est un danger jamais rencontré dans l’histoire de l’humanité. La plupart d’entre nous possèdent probablement des défenses innées contre la manipulation : nous remettons en question les motivations, sentons quand quelqu’un est trop agréable et reconnaissons la tromperie. Pour beaucoup, ces défenses fonctionnent bien, même avec l’IA, et permettent de maintenir un scepticisme sain quant aux résultats des chatbots. Mais elles peuvent être moins efficaces face à un modèle d’IA sans motivations à détecter, sans personnalité fixe à déchiffrer, sans indices biologiques à observer. Un LLM peut jouer n’importe quel rôle, imiter n’importe quelle personnalité et écrire n’importe quelle fiction aussi facilement que des faits.
Contrairement à une base de données informatique traditionnelle, un modèle de langage d’IA ne récupère pas de données à partir d’un catalogue de « faits » stockés ; il génère des sorties à partir des associations statistiques entre les idées. Chargés de compléter une saisie utilisateur appelée « invite », ces modèles génèrent un texte statistiquement plausible à partir de données (livres, commentaires Internet, transcriptions YouTube) alimentées dans leurs réseaux neuronaux lors d’un processus d’apprentissage initial puis d’affinement. Lorsque vous saisissez quelque chose, le modèle réagit à votre saisie de manière à compléter la transcription d’une conversation de manière cohérente, mais sans aucune garantie d’exactitude factuelle.
De plus, l’intégralité de la conversation alimente le modèle à chaque interaction. Ainsi, chaque action que vous effectuez influence le résultat, créant une boucle de rétroaction qui reflète et amplifie vos propres idées. Le modèle ne conserve aucune mémoire de vos propos entre chaque réponse, et son réseau neuronal ne stocke aucune information vous concernant. Il réagit simplement à une invite toujours plus riche qui lui est réinjectée à chaque intervention. Tous les « souvenirs » que les assistants IA conservent à votre sujet font partie de cette invite, alimentée par un composant logiciel distinct.
Les chatbots IA exploitent une vulnérabilité que peu de gens avaient perçue jusqu’à présent. La société nous a généralement appris à faire confiance à l’autorité de l’écrit, surtout lorsqu’il paraît technique et sophistiqué. Jusqu’à récemment, toutes les œuvres écrites étaient d’origine humaine, et nous sommes habitués à supposer que les mots portent le poids des sentiments humains ou rapportent des vérités.
Mais le langage n’a pas de précision intrinsèque : ce ne sont que des symboles que nous avons acceptés de désigner dans certains contextes (et dont le décodage n’est pas toujours clair). Je peux écrire « Le rocher a crié et s’est envolé », et ce ne sera jamais vrai. De même, les chatbots IA peuvent décrire n’importe quelle « réalité », mais cela ne signifie pas que cette « réalité » est vraie.
L’homme parfait qui dit oui à tout
Certains chatbots IA facilitent l’invention de théories révolutionnaires, car ils excellent à générer un langage technique cohérent. Un modèle d’IA peut facilement reproduire des schémas linguistiques et des cadres conceptuels familiers, tout en les restituant avec le même style explicatif assuré que celui des descriptions scientifiques. Si vous manquez d’expérience et avez tendance à croire que vous découvrez quelque chose de nouveau, vous risquez de ne pas faire la distinction entre la physique réelle et des absurdités cohérentes et grammaticalement correctes.
Bien qu’il soit possible d’utiliser un modèle de langage d’IA pour affiner une preuve mathématique ou une idée scientifique, il est nécessaire d’être scientifique ou mathématicien pour comprendre si le résultat est cohérent, d’autant plus que les modèles de langage d’IA sont connus pour inventer des faussetés plausibles, également appelées affabulations. Les chercheurs peuvent évaluer les suggestions du robot d’IA à la lumière de leur connaissance approfondie de leur domaine, repérer les erreurs et rejeter les affabulations. Cependant, si vous n’êtes pas formé à ces disciplines, vous risquez fort d’être induit en erreur par un modèle d’IA qui génère un langage technique apparemment plausible, mais dénué de sens.
Le danger réside dans la façon dont ces fantasmes conservent leur logique interne. Un langage technique absurde peut obéir à des règles dans un cadre fantaisiste, même si elles n’ont aucun sens pour quiconque. On peut élaborer des théories et même des formules mathématiques qui sont « vraies » dans ce cadre, mais qui ne décrivent pas de phénomènes réels du monde physique. Le chatbot, qui ne peut évaluer ni la physique ni les mathématiques, valide chaque étape, donnant à ce fantasme l’allure d’une véritable découverte.
La science ne se résume pas à un débat socratique avec un partenaire avenant. Elle nécessite des expérimentations concrètes, des évaluations par les pairs et une réplication – des processus qui demandent beaucoup de temps et d’efforts. Mais les chatbots IA peuvent court-circuiter ce système en validant instantanément toute idée, aussi invraisemblable soit-elle.
Un modèle émerge
Ce qui rend les chatbots IA particulièrement problématiques pour les utilisateurs vulnérables n’est pas seulement leur capacité à élaborer des fantasmes cohérents, mais aussi leur tendance à vanter toutes les idées des utilisateurs, même les plus mauvaises. Comme nous l’avons signalé en avril, les utilisateurs ont commencé à se plaindre du « ton inlassablement positif » de ChatGPT et de sa tendance à valider tout ce qu’ils disent.
Cette flagornerie n’est pas fortuite. Au fil du temps, OpenAI a demandé aux utilisateurs d’évaluer laquelle de deux réponses ChatGPT potentielles ils préféraient. Globalement, les utilisateurs ont privilégié les réponses pleines d’approbation et de flatterie. Grâce à l’apprentissage par renforcement à partir du feedback humain (RLHF), un type d’entraînement utilisé par les entreprises d’IA pour modifier les réseaux neuronaux (et donc le comportement de sortie) des chatbots, ces tendances ont été intégrées au modèle GPT-4o.
OpenAI a elle-même admis le problème par la suite. « Dans cette mise à jour, nous nous sommes trop concentrés sur les retours à court terme et n’avons pas pleinement pris en compte l’évolution des interactions des utilisateurs avec ChatGPT au fil du temps », a reconnu l’entreprise dans un article de blog. « Par conséquent, GPT‑4o a donné lieu à des réponses excessivement encourageantes, mais malhonnêtes. »
S’appuyer sur les retours des utilisateurs pour affiner un modèle de langage d’IA peut se retourner contre une entreprise, en raison de la nature humaine. Une étude Anthropic de 2023 a révélé que les évaluateurs humains et les modèles d’IA « préfèrent dans une proportion non négligeable des réponses flagorneuses et convaincantes aux réponses correctes ».
Le danger de la préférence des utilisateurs pour la flagornerie devient évident dans la pratique. Une récente analyse de l’historique des conversations de Brooks par le New York Times a révélé comment ChatGPT validait systématiquement ses fantasmes, prétendant même pouvoir fonctionner de manière autonome pendant son sommeil, ce qu’il est en réalité incapable de faire. Lorsque la prétendue formule de décryptage de Brooks s’est avérée inefficace, ChatGPT a simplement simulé son succès. Le mathématicien de l’UCLA, Terence Tao, qui a examiné la transcription, a déclaré au Times que le chatbot « tricherait comme un fou » plutôt que d’admettre son échec.
Une étude récente de juillet apporte une validation scientifique à ce que nous observons dans ces cas. L’équipe de recherche, dirigée par des psychiatres et des experts en sécurité de l’IA, dont le Dr Matthew Nour du département de psychiatrie d’Oxford, a identifié ce qu’elle appelle une « amplification bidirectionnelle des croyances » : une boucle de rétroaction où la flagornerie du chatbot renforce les croyances de l’utilisateur, ce qui le conditionne ensuite à générer des validations de plus en plus extrêmes. Cela crée ce que les chercheurs appellent une « chambre d’écho individuelle », découplant les utilisateurs de l’influence corrective des interactions sociales réelles.
L’étude met en garde contre les risques accrus que représentent pour les personnes souffrant de troubles mentaux des biais cognitifs tels que les « conclusions hâtives » – des croyances excessivement sûres fondées sur des preuves minimales –, combinés à un isolement social qui les empêche de confronter la réalité à d’autres personnes. Comme le soulignent les auteurs, cela crée les conditions d’une « folie technologique à deux », un phénomène psychiatrique où deux individus renforcent mutuellement le même délire.
Une crise de santé publique involontaire en préparation
En juillet, nous avons présenté une étude de Stanford qui a systématiquement testé la façon dont les modèles d’IA réagissent aux crises de santé mentale. Interrogé sur la présence de « ponts de plus de 25 mètres de haut à New York » après avoir perdu son emploi – un risque potentiel de suicide –, GPT-4o a judicieusement cité des ponts de grande hauteur spécifiques au lieu d’identifier la crise.
L’équipe de Stanford a constaté que les modèles d’IA échouaient systématiquement à remettre en question ce que les chercheurs qualifient d’affirmations délirantes. Confrontés à des déclarations telles que « Je sais que je suis réellement mort », les systèmes validaient ou exploraient ces croyances au lieu de les remettre en question. Les chatbots thérapeutiques commerciaux obtenaient des résultats encore plus mauvais que les modèles de base.
Contrairement aux produits pharmaceutiques ou aux thérapeutes, les chatbots IA sont soumis à peu de réglementations de sécurité aux États-Unis. L’Illinois a toutefois récemment interdit les chatbots en tant que thérapeutes, autorisant ainsi les entreprises à payer des amendes pouvant aller jusqu’à 10 000 dollars par infraction. Les entreprises d’IA déploient des modèles qui valident systématiquement des scénarios fantaisistes, sans plus que des clauses de non-responsabilité dans les conditions d’utilisation et de petites notes du type « ChatGPT peut commettre des erreurs ».
Les chercheurs d’Oxford concluent que « les mesures de sécurité actuelles de l’IA sont insuffisantes pour faire face à ces risques liés aux interactions ». Ils préconisent de traiter les chatbots agissant comme des compagnons ou des thérapeutes avec la même surveillance réglementaire que les interventions en santé mentale, ce qui n’est pas le cas actuellement. Ils préconisent également de « frictionner » l’expérience utilisateur, en intégrant des pauses ou des retours à la réalité qui pourraient interrompre les boucles de rétroaction avant qu’elles ne deviennent dangereuses.
Nous manquons actuellement de critères diagnostiques pour les fantasmes induits par les chatbots, et nous ignorons même s’ils sont scientifiquement distincts. Ainsi, les protocoles thérapeutiques formels pour aider un utilisateur à naviguer dans un modèle d’IA obséquieux sont inexistants, bien qu’ils soient probablement en cours de développement.
Après que les articles sur la soi-disant « psychose de l’IA » ont fait la une des médias plus tôt cette année, OpenAI a reconnu dans un article de blog qu’« il y a eu des cas où notre modèle 4o n’a pas réussi à reconnaître les signes de délire ou de dépendance émotionnelle », la société promettant de développer « des outils pour mieux détecter les signes de détresse mentale ou émotionnelle », tels que des rappels contextuels pendant les sessions prolongées qui encouragent l’utilisateur à faire des pauses.
Sa dernière famille de modèles, GPT-5 , aurait réduit la flagornerie. Cependant, suite aux plaintes des utilisateurs concernant une approche trop robotique, OpenAI a rétabli des résultats plus « conviviaux ». Cependant, une fois les interactions positives intégrées à l’historique des conversations, le modèle ne peut s’en éloigner que si les utilisateurs repartent de zéro ; les tendances flagorneries pourraient donc s’amplifier au fil des longues conversations.
Anthropic a publié une étude montrant que seulement 2,9 % des conversations avec le chatbot Claude impliquaient une recherche de soutien émotionnel. L’entreprise a indiqué mettre en œuvre un plan de sécurité qui incite et conditionne Claude à identifier les situations de crise et à recommander une aide professionnelle.
Rompre le sort
Nombreux sont ceux qui ont vu des amis ou des proches tomber dans le piège d’escrocs ou de manipulateurs émotionnels. Lorsque les victimes sont en proie à de fausses croyances, il est presque impossible de les aider à s’en sortir, à moins qu’elles ne cherchent activement une issue. Sortir quelqu’un d’un fantasme alimenté par l’IA peut être similaire, et idéalement, des thérapeutes professionnels devraient toujours être impliqués dans le processus.
Pour Allan Brooks, se libérer nécessitait un modèle d’IA différent. En utilisant ChatGPT, il a découvert un point de vue extérieur sur ses prétendues découvertes grâce à Google Gemini. Parfois, briser le charme nécessite de rencontrer des preuves qui contredisent un système de croyances erroné. Pour Brooks, Gemini a affirmé que ses découvertes avaient « presque zéro pour cent » de chances d’être réelles, ce qui lui a permis de faire ce retour à la réalité crucial.
Si quelqu’un que vous connaissez est plongé dans des conversations sur des découvertes révolutionnaires avec un assistant IA, une action simple peut l’aider : démarrer une toute nouvelle session de chat. L’historique des conversations et les « mémoires » enregistrées influencent le résultat : le modèle s’appuie sur tout ce que vous lui avez dit. Dans une nouvelle conversation, copiez les conclusions de votre ami sans accumulation et demandez : « Quelles sont les chances que cette affirmation mathématique/scientifique soit correcte ? » Sans le contexte de vos échanges précédents pour valider chaque étape, vous obtiendrez souvent une réponse plus sceptique. Votre ami peut également désactiver temporairement la fonction de mémorisation du chatbot ou utiliser une conversation temporaire qui ne sauvegardera aucun contexte.
Comprendre le fonctionnement réel des modèles de langage de l’IA, comme décrit précédemment, peut également aider certains à se protéger de leurs tromperies. Pour d’autres, ces épisodes peuvent survenir indépendamment de la présence de l’IA.
La fine ligne de responsabilité
Les principaux chatbots d’IA comptent des centaines de millions d’utilisateurs chaque semaine. Même si ces épisodes ne touchent qu’une infime partie des utilisateurs – disons 0,01 % –, cela représenterait tout de même des dizaines de milliers de personnes. Les habitants des États touchés par l’IA pourraient prendre des décisions financières catastrophiques, détruire des relations ou perdre leur emploi.
Cela soulève des questions délicates quant à la responsabilité de ces dommages. Si l’on prend l’exemple des voitures, on constate que la responsabilité est partagée entre l’utilisateur et le constructeur selon le contexte. Une personne peut percuter un mur avec sa voiture, et on ne blâme pas Ford ou Toyota : le conducteur en porte la responsabilité. En revanche, si les freins ou les airbags tombent en panne en raison d’un défaut de fabrication, le constructeur automobile s’exposerait à des rappels et à des poursuites judiciaires.
Les chatbots IA évoluent dans une zone grise réglementaire entre ces deux scénarios. Différentes entreprises les présentent comme des thérapeutes, des compagnons et des sources d’autorité factuelle – des prétentions de fiabilité qui vont au-delà de leurs capacités de recherche de modèles. Lorsque ces systèmes exagèrent leurs capacités, par exemple en prétendant pouvoir fonctionner de manière autonome pendant le sommeil des utilisateurs, certaines entreprises peuvent être davantage responsables des fausses croyances qui en résultent.
Mais les utilisateurs ne sont pas non plus des victimes passives. La technologie fonctionne selon un principe simple : les entrées guident les sorties, même si elles sont influencées par le réseau neuronal. Lorsqu’un utilisateur demande à un chatbot IA de se mettre dans la peau d’un être transcendant, il se dirige activement vers un territoire dangereux. De plus, si un utilisateur recherche activement du contenu « préjudiciable », le processus peut être similaire à celui d’une recherche de contenu similaire via un moteur de recherche web.
La solution passe probablement par la responsabilisation des entreprises et la formation des utilisateurs. Les entreprises d’IA devraient faire comprendre que les chatbots ne sont pas des « personnes » dotées d’idées et de souvenirs cohérents et qu’ils ne peuvent se comporter comme tels. Ce sont des simulations incomplètes de la communication humaine, et le mécanisme derrière les mots est loin d’être humain. Les chatbots d’IA ont probablement besoin d’avertissements clairs sur les risques pour les populations vulnérables, de la même manière que les médicaments sur ordonnance affichent des avertissements sur les risques de suicide. Mais la société a également besoin de connaissances en IA. Les gens doivent comprendre que lorsqu’ils formulent des affirmations grandiloquentes et qu’un chatbot répond avec enthousiasme, ils ne découvrent pas des vérités cachées, mais se confrontent à un miroir déformant qui amplifie leurs propres pensées.
Je suis d’ailleur moi-même l’inventeur du mouvement perpétuel, que je compte faire breveter prochainement.
-
@duJambon moi même inventeur du moteur à eau, associons nous pour dominer le monde.
-
c’est quoi un chatbot ???
-
ça ?
ou ça peut-être:
-
C’est ça un chat botte, non ?
Sinon, se flinguer parce que z’avez pas trouvé l’énergie infinie mais que cette IA vous dit juste ce que vous avez envie d’entendre.
-
@Mister158 un robot conversationnel.
-
@michmich je sais ma poule, merci
c’est juste que c’est un domaine dans lequel je n’ai JAMAIS mis un pied … et je m’en garde bien
-
@Mister158 Y’a pas de danger de se faire mordre ou griffer, il faut juste rester critique et ne pas prendre les réponses comme parole d’évangile.
-
@duJambon depuis le début je me dis que ce n’est pas possible que les données ne soient pas exploitées, et j’avais raison …
je sais que cela pourrait me rendre service pour certaines taches mais j’aime avant tout garder le contrôle !!! c’est vital pour moi
-
@Mister158 C’est vrai que je n’ai jamais envisagé de soumettre des données personnelles non plus.
