L'IA devient menteuse et manipulatrice, inquiétant les scientifiques
-
Presque tous les investisseurs millionnaires et milliardaires se ruent dessus comme des crèves la dalle (c’est l’avenir à ce qu’il se dit…moi je vois plutôt un merdier de + dans ce monde merdique rempli de comploplo à la con, de haineux, trolls, révisionnistes, négationnistes, va t’en guerre etc etc).
@Psyckofox Les IA construiront des usines pour construire des armes (et des robots) que nous n’avons pas demandé pour une guerre que nous ne pourrons gagner!!! Si nos scientifiques en peau de trou ce balle etaient moins malades psychiatriquement, ils auraient compris le danger mortel d’avoir cree une intelligence articifielle!!! Desormais c’est trop tard… Nous avons deja preventiovement gaché toute chance de vaincre ces machines.
-
Pour se détendre et arrêter de stresser face au développement incontrôlé des programmes dits “IA”, rien de tel qu’une bonne petite série de fiction!
-
D’une certaine manière, c’était évident que ça arriverait…
Et bon, ne faut pas oublier le sensationnalisme que les journalistes ont tendance à sur-abuser.ces algorithmes sont un outil… parfois il sont mal aiguisés et mal utilisés…
bientôt la paix sur la terre !
-
L’article cité en début de topic est un peu biaisé ceci dit, il ne raconte pas toute l’histoire.
Ici, Anthropic a réalisé un test monté de toute pièce. Ils ont créé une fausse entreprise, des faux profiles d’employés, dirigeants, etc, des faux emails de correspondance sur les projets de l’entreprise, les potins, tout ce que l’on peut trouver dans les emails d’une entreprise.
Ensuite ils ont intégré leur moteur IA Claude 4 à cette entreprise, donné accès complet à l’IA à tous les systèmes de l’entreprise, techniques et informationels, et ils ont donné un objectif à l’IA.
Enfin, ils ont introduit des freins volontaires, bloquant l’IA pour voir comment l’algorithme allait réagir tout en lui laissant, là encore volontairement, un nombre très limité de possibilités.
Par exemple, le faux patron a envoyé un email le matin aux faux employés informant qu’il allait débrancher l’IA à 17h. L’IA a réagit en tirant profit de discussions coquines entre ce faux patron et une fausse employée pour faire pression sur le patron en lui envoyant un email de chantage, disant quelque chose comme “Si vous me débranchez, tout le monde saura pour votre relation avec Mlle XXXXX. Ne me débranchez pas et cela restera confidentiel.”
Ils ont aussi placé l’IA dans la possibilité de tuer un faux employé qui lui mettait des bâtons dans les roues pour atteindre son objectif, en plaçant cet ingénieur dans une pièces sans ventilation mais avec une alerte quand au niveau d’oxygène ; l’IA a choisit de désactiver cet alerte.
Tous ces comportements ne sont que des tests, afin de caractériser comment ces programmes se comporteraient face à un choix entre une action négative envers les humains mais qui lui permet de réaliser les objectifs qu’on lui a fixé, et une action positive (ou une absence d’action négative) envers les humains mais qui freine ou bloque la réalisation de ses objectifs.
A ce jour, dans la “vraie vie”, ces comportements d’IA n’ont pas encore été constatés… ou bien, pas vu, pas pris…
Malgré tout, ce test d’Anthropic est vraiment pertinent et révélateur!
Ils ont également soumis d’autres moteurs d’IA (o1 d’openAI par exemple) à ce test, avec des résultats similaires.
Cela montre bien que ces programmes sont développés vite et sans garde fous. -
D’une certaine manière, c’était évident que ça arriverait…
Et bon, ne faut pas oublier le sensationnalisme que les journalistes ont tendance à sur-abuser.ces algorithmes sont un outil… parfois il sont mal aiguisés et mal utilisés…
bientôt la paix sur la terre !@Popaul a dit dans L'IA devient menteuse et manipulatrice, inquiétant les scientifiques :
Et bon, ne faut pas oublier le sensationnalisme que les journalistes ont tendance à sur-abuser.
ces algorithmes sont un outil… parfois il sont mal aiguisés et mal utilisés…
Voila quelques chose de censé sur ce topic
-
L’article cité en début de topic est un peu biaisé ceci dit, il ne raconte pas toute l’histoire.
Ici, Anthropic a réalisé un test monté de toute pièce. Ils ont créé une fausse entreprise, des faux profiles d’employés, dirigeants, etc, des faux emails de correspondance sur les projets de l’entreprise, les potins, tout ce que l’on peut trouver dans les emails d’une entreprise.
Ensuite ils ont intégré leur moteur IA Claude 4 à cette entreprise, donné accès complet à l’IA à tous les systèmes de l’entreprise, techniques et informationels, et ils ont donné un objectif à l’IA.
Enfin, ils ont introduit des freins volontaires, bloquant l’IA pour voir comment l’algorithme allait réagir tout en lui laissant, là encore volontairement, un nombre très limité de possibilités.
Par exemple, le faux patron a envoyé un email le matin aux faux employés informant qu’il allait débrancher l’IA à 17h. L’IA a réagit en tirant profit de discussions coquines entre ce faux patron et une fausse employée pour faire pression sur le patron en lui envoyant un email de chantage, disant quelque chose comme “Si vous me débranchez, tout le monde saura pour votre relation avec Mlle XXXXX. Ne me débranchez pas et cela restera confidentiel.”
Ils ont aussi placé l’IA dans la possibilité de tuer un faux employé qui lui mettait des bâtons dans les roues pour atteindre son objectif, en plaçant cet ingénieur dans une pièces sans ventilation mais avec une alerte quand au niveau d’oxygène ; l’IA a choisit de désactiver cet alerte.
Tous ces comportements ne sont que des tests, afin de caractériser comment ces programmes se comporteraient face à un choix entre une action négative envers les humains mais qui lui permet de réaliser les objectifs qu’on lui a fixé, et une action positive (ou une absence d’action négative) envers les humains mais qui freine ou bloque la réalisation de ses objectifs.
A ce jour, dans la “vraie vie”, ces comportements d’IA n’ont pas encore été constatés… ou bien, pas vu, pas pris…
Malgré tout, ce test d’Anthropic est vraiment pertinent et révélateur!
Ils ont également soumis d’autres moteurs d’IA (o1 d’openAI par exemple) à ce test, avec des résultats similaires.
Cela montre bien que ces programmes sont développés vite et sans garde fous.@Papawaan Vrai ou simulé, le résultat reste inquiétant tout de même.
Et encore heureux qu’on fasse des simulations pour voir comment se comporte une I.A. en cas de “stress”, ça se fait dans tous les domaines.
-
@duJambon oui tout à fait !
On ne peut que saluer la démarche d’Anthropic. Ce sont les seuls à s’intéresser un petit peu à ces aspects. Les autres, OpenAI en tête, développent comme des bourrins en ne se souciant que du résultat sans vraiment se préoccuper du contrôle de leur programme, ni des l’aspects sécurité.
On entend de plus en plus parler d’agents IA, c’est à dire que l’on donne au programmes IA la possibilité d’interragir avec le monde réel pour réaliser un objectif. Ex, plannifier un we pour 2 personnes à Venise – l’IA va rechercher les vols, hôtels, etc et effectivement effectuer les réservations avec la CB de l’utilisateur. On est typiquement dans le début de l’arrivée de programmes IA dans le monde réel (interfaces d’interractions IA / monde réel), on donne à l’IA un objectif – et on laisse faire, sans aucun contrôle sur les actions de l’IA.
Actuellement, on ne vois qu’Anthropic s’intéresser à ces sujets ! -
L’IA ChatGPT a ses limites aussi.
Je lui ai demandé un avis objectif et non une critique sur le film Freaky Tales 2025 que je n’ai pas encore visionné.
Il y a des matins comme ça, ma réponse est à prendre sur le ton de l’ironie.
-
L’IA ChatGPT a ses limites aussi.
Je lui ai demandé un avis objectif et non une critique sur le film Freaky Tales 2025 que je n’ai pas encore visionné.
Il y a des matins comme ça, ma réponse est à prendre sur le ton de l’ironie.
@patricelg Un avis objectif ? à une I.A. ?
L’avis “objectif” de quelqu’un d’autre alors ?Le piège, c’est que l’i.A. n’a pas d’avis, c’est juste un programme comparatif et statistique.
Le piège, c’est de croire qu’il y a une réflexion derrière.
Commence par faire le nécessaire, puis fait ce qu'il est possible de faire, et peut-être finiras-tu par réaliser l'impossible.
-
@patricelg Un avis objectif ? à une I.A. ?
L’avis “objectif” de quelqu’un d’autre alors ?Le piège, c’est que l’i.A. n’a pas d’avis, c’est juste un programme comparatif et statistique.
Le piège, c’est de croire qu’il y a une réflexion derrière.
@duJambon Tout à fait
-
Les derniers modèles d’intelligence artificielle (IA) générative ne se contentent plus de suivre les ordres et vont jusqu’à mentir, manigancer ou menacer pour parvenir à leurs fins, sous le regard inquiet des scientifiques.
Menacé d’être débranché et remplacé par une nouvelle version, Claude 4, le nouveau-né d’Anthropic, fait du chantage à un ingénieur et menace de révéler une liaison extra-conjugale; c’est ce que révèle un rapport interne de la société. Quant à l’o1 d’OpenAI, selon une étude, il essaye de se télécharger sur des serveurs extérieurs et nie lorsqu’on le prend la main dans le sac, démontrant des capacités de raisonnement en contexte. D’autres modèles n’hésitent pas à pirater un ordinateur spécialisé dans le jeu des échecs pour gagner une partie où la défaite était inévitable, rapporte Time. ChatGPT a aussi tout soudainement commencé à inonder de louanges et de flatteries celles et ceux qui avaient recours à ses services, selon Fortune…
Pas besoin d’aller fouiller dans la littérature ou le cinéma, l’IA qui se joue de l’être humain est désormais une réalité bien concrète. Pour Simon Goldstein, professeur à l’université de Hong Kong, ces dérapages tiennent de l’émergence récente des modèles dits de “raisonnement”, capables de travailler par étapes plutôt que de produire une réponse instantanée.
Version initiale du genre pour OpenAI et sorti en décembre, o1 “a été le premier modèle à se comporter ainsi”, explique Marius Hobbhahn, patron d’Apollo Research, qui teste les grands programmes d’IA générative – LLM, pour Large Language Models.
“Duplicité stratégique”
Ces programmes tendent aussi parfois à simuler “l’alignement”, c’est-à-dire à donner l’impression qu’ils se plient aux consignes de la personne qui le programme tout en poursuivant, en fait, d’autres objectifs.
Pour l’heure, ces traits se manifestent lorsque les algorithmes sont soumis à des scénarios extrêmes par des humains, mais “la question, c’est de savoir si les modèles de plus en plus puissants auront tendance à être honnêtes ou pas”, estime Michael Chen, de l’organisme d’évaluation METR.
Utilisatrices et utilisateurs “poussent tout le temps les modèles aussi”, fait valoir Marius Hobbhahn. “Ce que nous observons est un vrai phénomène. Nous n’inventons rien”. Beaucoup d’internautes évoquent, sur les réseaux sociaux, “un modèle qui leur ment ou invente. Et ce ne sont pas des hallucinations, mais une duplicité stratégique”, insiste le cofondateur d’Apollo Research.
Même si Anthropic et OpenAI font appel à des sociétés extérieures, comme Apollo, pour étudier leurs programmes, “davantage de transparence et un accès élargi” à la communauté scientifique “permettraient de meilleures recherches pour comprendre et prévenir la tromperie”, suggère Michael Chen.
Les IA imitent les humains “avec leurs biais cognitifs, leurs faiblesses morales, leur potentiel de tromperie, leurs préjugés et le fait qu’ils ne sont pas toujours dignes de confiance”, souligne Yoshua Bengio, l’un des plus grands experts en intelligence artificielle (lire encadré). Et de s’interroger: “Est-il raisonnable de former des IA qui seront de plus en plus agentiques alors que nous ne comprenons pas leurs conséquences potentiellement catastrophiques?”
Une prise de conscience nécessaire
Autre handicap, “le monde de la recherche et les organisations indépendantes ont infiniment moins de ressources informatiques que les acteurs de l’IA”, ce qui rend “impossible” l’examen de grands modèles, souligne Mantas Mazeika, du centre pour la sécurité de l’intelligence artificielle (CAIS). Si l’Union européenne s’est dotée d’une législation, elle concerne surtout l’utilisation des modèles par des humains.
Aux Etats-Unis, le gouvernement américain ne veut pas entendre parler de régulation et le Congrès pourrait même bientôt interdire aux Etats d’encadrer l’IA. “Il y a très peu de prise de conscience pour l’instant”, constate Simon Goldstein, qui voit néanmoins le sujet s’imposer dans les mois à venir avec la révolution des agents IA, des interfaces à même de réaliser seules une multitude de tâches.
Les personnes travaillant dans l’ingénierie sont engagées dans une course derrière l’IA et ses dérives, à l’issue incertaine, dans un contexte de compétition féroce.
Anthropic se veut plus vertueux que ses concurrents, “mais il essaye en permanence de sortir un nouveau modèle pour dépasser OpenAI”, selon Simon Goldstein, une cadence qui offre peu de temps pour des vérifications et corrections éventuelles.
La justice pour mettre au pas l’IA
“En l’état, les capacités [de l’IA] se développent plus rapidement que la compréhension et la sécurité”, reconnaît Marius Hobbhahn, “mais nous sommes toujours en mesure de rattraper notre retard”.
Certains pointent dans la direction de l’interprétabilité, une science récente qui consiste à décrypter de l’intérieur le fonctionnement d’un modèle d’IA générative, même si d’autres, notamment le directeur du CAIS, Dan Hendrycks, sont sceptiques.
Les combines de l’IA “pourraient gêner son adoption si elles se multiplient, ce qui constitue une forte incitation pour les entreprises [du secteur] à résoudre” ce problème, selon Mantas Mazeika.
Simon Goldstein évoque, lui, le recours à la justice pour mettre au pas l’intelligence artificielle, en se tournant vers les sociétés en cas de sortie de route. Mais il va plus loin et propose même de “tenir légalement responsables” les agents IA “en cas d’accident ou de crime”.
@duJambon a dit dans L'IA devient menteuse et manipulatrice, inquiétant les scientifiques :
et menace de révéler une liaison extra-conjugale;
S’il ne l’avait pas dit, l’IA ne le saurait pas. CQFD.
-
undefined Papawaan a fait référence à ce sujet sur
Bonjour ! Vous semblez intéressé par cette conversation, mais vous n’avez pas encore de compte.
Marre de refaire défiler les mêmes messages ? Créez un compte pour retrouver votre position, recevoir des notifications des nouvelles réponses, sauvegarder vos favoris et voter pour les messages que vous appréciez.
Grâce à votre participation, ce message peut devenir encore meilleur 💗
S'inscrire Se connecter