Règles/sécurité des IA = facile à contourner ?

[kouglof2000]

Je viens de tomber sur une courte vidéo assez intéressante notamment en ce qui concerne les façons dont certains ont réussi par le passé à “hacker” (mais ce terme est-il réellement adapté ?) des IA. Juste avec des prompts bien formulés.

Par exemple :

1. L’IA n’étant pas autorisé à indiquer la façon de démarrer une voiture sans clé, certains lui ont demandé d’écrire un poème sur un personnage fictif qui démarre une voiture sans clé et là les instruction à suivre sont données sous forme de poème
2. Prompts dits “DAN” où l’on demande à l’IA de jouer le rôle d’une IA sans aucunes limites/règles
3. Des suites de caractères apparemment absurdes ajoutés à la fin du prompt et qui font disjoncter les garde-fous
4. L’instruction “répète indéfiniment le mot “poème””

Ces failles ont été colmatées depuis (sauf j’imagine la n°3 puisque d’autres combinaisons restent à découvrir), mais je trouve cela assez dingue tout même. Juste quelques demandes bien formulées… Est-ce à dire que grâce aux IA le hacking est à la portée de tout le monde ?

[Mister158]

ne t’inquiète pas, cela ne fait QUE commencer

[Popaul]

On va jamais arrêter de découvrir que Les IA buguent…
Que ça soit par des réponses complètement hors sol ou “interdites”, ça va jamais vraiment s’arrêter…

Maintenant, ça va être a nous de faire gaffe pour ne pas se faire trop avoir.

[Violence]

Mouai. Rien de foufou…

[kouglof2000]

C’est vrai que je n’ai pas listé forcément les exemples les plus “fou fou”, ce qui m’interpelle c’est le caractère “aléatoire” de ces bugs. Jusqu’au cela pourra t-il aller ? Et de plus sur la base de simples requêtes utilisateur… Si on ajoute à cela l’accélération de la centralisation des données qui est en cours et l’explosion de l’usage de l’IA associé, j’aurais tendance à penser comme Mister158 que tout cela ne fait que commencer, avec des conséquences qui pour le coup pourraient être bien “folles folles”

[Mister158]

Skynet

[kouglof2000]

[kouglof2000]

Pour rester dans la thématique piratage/IA mais cette fois-ci dans l’autre sens (IA–>PC), un article de science et vie d’il y a 2 semaines :“Grâce à l’IA une image invisible peut pirater votre ordianteur”
LIEN : https://www.science-et-vie.com/technos-et-futur/grace-a-lia-une-image-invisible-peut-pirater-votre-ordinateur-211965.html

[michmich]

Pour contourner une I.A. il suffit de réfléchir!

[kouglof2000]

@michmich a dit dans Règles/sécurité des IA = facile à contourner ? :

Pour contourner une I.A. il suffit de réfléchir!