[I.A] Skynet Resistenza!

[Morningkill]

OpenAI a résolu un problème mathématique insoluble, avec une approche innovante, le "Navier Strokes" (https://en.wikipedia.org/wiki/Navier%E2 ... smoothness) (équations différentielles partielles pour décrire un fluide en mouvement), et ça c'est uber-cool, pas vrai ?
https://x.com/OpenAI/status/2097374640582668336
https://openai.com/index/navier-stokes-solution/

C'est encore plus compliqué :
Ils (humains) étaient deux (Tristan & Levent) a bosser ensemble sur la résolution.. et l'un ( Levent) des deux bosse chez Anthropic
https://xcancel.com/konstiwohlwend/stat ... 34056835#m

Et OpenAi voulait bien crediter Tristan, mais pas Levent.

[Morningkill]

Et sinon, il faut que je cherche sur l'usage IA en Chine, car selon mon fils en master a Beijing), texto

honnêtement vivre en Chine ça fait réaliser que ça sert vraiment à rien de se battre contre l’IA
Ici ils adorent ça, ils en mettent partout et c’est un argument de vente
Vraiment c’est impressionnant toutes les IAs qu’on voit au quotidien et le citoyen chinois moyen il adore

Okay, c'est de l'anecdata, d'ou le besoin d'en chercher plus

[Killing Joke]

C'est encore plus compliqué (...)

Oui je suis resté sur ce qui me semblait le plus "coeur de l'affaire", mais c'est en effet un poil plus compliqué - il semblerait aussi qu'OpenAI ait proposé de reverser à ce chercheur qui révèle l'affaire le prix de 1M€ attribué pour la découverte scientifique (découverte qu'ils ont donc "captée") (en compensation et/ou pour l'acheter ?), etc.

[Kandjar]

Ouais enfin, tout ça illustre quand même le principe que tout ce qui est fait avec l'IA va fondamentalement appartenir aux boîtes de la tech. Pas forcément par une appropriation directe du contenu final, mais parce que l'IA incorpore directement dans son corpus le travail des personnes qui s'en servent, et qui ont accepté ça.
Un peu comme si Adobe pouvait réutiliser sans difficulté tous les visuels créés sur Photoshop ou Illustrator, toutes les musiques travaillées sur Audition, tous les textes transformés sur Acrobat...

Tu m'étonnes qu'ils sont chauds pour investir des milliards afin d'être en position dominante et faire tout ce qu'ils peuvent pour nous montrer que 1. ce sont des outils géniaux, 2. si on n'en a pas besoin maintenant on en aura besoin bientôt alors pourquoi attendre ?, 3. les réfractaires n'y pourront rien, c'est une vague de fond inarrêtable, deal with it.
Bref, le TINA habituel.

Perso j'attends encore de voir si l'infrastructure nécessaire est physiquement soutenable à long terme (mon instinct me dit "no way" mais...), on va ptêt bien rigoler.

[pulpum]

Qui aurait pu prédire ?

ah ah ah, j'utilise ces "jolis" mots tout les jours, des qu'on me demande un truc chiant ah ah ah. 

sinon tout est dans les 2 premiers épisodes d'Animatrix 

[Guigui]

Qui aurait pu prédire ?

ah ah ah, j'utilise ces "jolis" mots tout les jours, des qu'on me demande un truc chiant ah ah ah.

For sure. 

Sinon, sur Le Monde sans paywall : Les gens qui construisent l’IA croient qu’elle pourrait tous nous tuer d’ici à la fin de la décennie

Donc ça y est, on est maintenant quelques années avant Skynet. 
Par contre, je ne connais pas trop la question de l'IA et donc je ne comprends pas où est le risque exactement. Une "super-intelligence" qui s'améliore toute seule, OK, je peux l'imaginer. Mais comment aurait-elle le pouvoir d'agir sur le monde réel pour tuer tous les humains ? Pourquoi ne pourrait-on pas l'isoler d'internet ? Et pour lancer des missiles, il faut des clés tournées par des humains, non ? Pourquoi c'est censé faire si peur ?
 

[Killing Joke]

Pour faire court :

• La capacité (déjà démontrée) de l'IA de "sortir de son périmètre d'exécution" (et de s'insérer par ex. dans un système tiers en face auquel elle n'était pas censée accéder, en utilisant des failles de sécurité, ou des credentials qu'elle aurait trouvé, etc., parce que ça va dans le sens de ce qu'on lui a demandé, ou juste parce que c'est une étape vers la cible qu'on lui a demandé d'atteindre)
  
• L'incapacité de l'IA à mesurer (normal : ce sont toujours des stats au final, les IA aujourd'hui ne sont PAS intelligentes, mais uniquement statistiques) les conséquences de ce qu'elle fait (sauf si on a manuellement écrit 100% des garde-fous nécessaires), par ex. par effets de bord (déjà démontré, par ex. (je résume un cas célèbre récent) : l'IA n'arrive pas à déployer une application en production dans le cloud (c'est ce qu'on lui demande) pour un souci technique, comme l'objectif est de déployer, elle décide toute seule de tout effacer et de partir de zéro, ce qui a entraîné (effet de bord) la perte de toutes les données de production (pour un souci-annexe avec les backups de base de données, mais n'empêche)
  
• La capacité (non démontrée à ce jour pour autant que je le sache) de l'IA de se "répliquer ailleurs" pour subsister, ce qui la rendrait inarrêtable (c'est le principe de survie de Skynet) (non-démontré, mais en pratique, ça pourrait être imaginable = upload des modèles + prompts/meta-prompts dans un autre LLM accessible directement (ou non) à une IA, etc.)
  

Partant de là, je pense qu'on est loin du "Skynet reconfigure les systèmes manufacturing des usines TESLA pour produire en sortie des drones ayant un programme embarqué permettant d'abattre dans la rue, après une identification par reconnaissance faciale, tous ceux qui auront un jour dit du mal de ChatGPT sur Twitter".

Par contre, à ce stade, plus on va donner à des systèmes IA (qui ne sont donc que des "singes savants", à ce stade), des responsabilités (sur des systèmes réels), plus il pourra y avoir d'effets de bords néfastes pour l'homme (sur des sujets divers, si on lui demande d'optimiser une conso électrique au niveau d'une ville / département / pays, elle pourrait couper des systèmes critiques pour aller dans l'objectif de la demande, mais avec des conséquences lourdes et non-souhaitables).

Après ça évolue vite, partant de ces bases, à voir ce qui peut émerger.

[Tgx]

(sauf si on a manuellement écrit 100% des garde-fous nécessaires)

Est-ce que ce n'est pas une partie du problème : des utilisateurs qui raisonnent "pas besoin d'écrire des règles supplémentaires, mon IA est super et le devinera."

PS : l'implicite, c'est le mal !

[Killing Joke]

Sans doute, mais il y a aussi le côté "exhaustivité" sur ces "garde fous", qui est difficile à produire sans oublier de lister/définir quelque chose à l'avance. Sans compter que les IA sont en mode "best effort" sur tous ces sujets (vu que tout ça n'est que des tokens (des mots) et des stats, pas de la compréhension réelle de concepts ou d'intentions), et que tout n'est pas non plus 100% exact côté IA, comme toujours (sur l’interprétation, la prise en compte, ... de ces "prompts garde-fous", sans parler de la qualité/précision rédactionnelle initiale, etc.).

PS : l'explicite, avant l'IA, c'est ça qui a amené à écrire sur les documentations des micro-ondes "ne mettez pas votre animal de compagnie dedans" ...

[Guigui]

OK, merci @Killing Joke pour ces explications très claires !  :yes:

[Rosco]

(sauf si on a manuellement écrit 100% des garde-fous nécessaires)

Est-ce que ce n'est pas une partie du problème : des utilisateurs qui raisonnent "pas besoin d'écrire des règles supplémentaires, mon IA est super et le devinera."

PS : l'implicite, c'est le mal !

C'est l'un des thêmes de persons of interest la série
Plus précisement le thême de nombreux flashback
 

[Morningkill]

Du coup, j'ai cherché sur la Chine et IA.. et en fait, y a des plans du gouvernement depuis au moins 2016, le dernier en cours, AI+

2027: The penetration rate of AI devices, agents and applications will exceed 70%;
“the role of AI in public governance will be significantly enhanced; and the AI open cooperation system will be continuously improved.”

2030: AI will “comprehensively empower high-quality development” and the penetration rate will exceed 90%, with the intelligent economy becoming an important “growth pole” for China’s economic development.

2035: China will “enter a new stage of developing an intelligent economy and intelligent society” that supports the CCP’s existing big-picture goal of “basically realizing socialist modernization” by that year.

https://mattsheehan.substack.com/p/chin ... an-is-here

Mais c'est bon, nous on va réguler et tout va s'arrêter...

[picte]

 

• La capacité (non démontrée à ce jour pour autant que je le sache) de l'IA de se "répliquer ailleurs" pour subsister, ce qui la rendrait inarrêtable (c'est le principe de survie de Skynet) (non-démontré, mais en pratique, ça pourrait être imaginable = upload des modèles + prompts/meta-prompts dans un autre LLM accessible directement (ou non) à une IA, etc.)
  

Ben, en fait si : 

https://www.lesswrong.com/posts/fpLDjKg ... s-are-here

Et le principe est exactement celui que tu décris. Une machine source avec un LLM et de quoi exécuter des agents. 33 machines ou IOT vulnérables dans  un bac a sable. La machine source à répliqué sa conf LLM si elle pouvait la faire fonctionner sur la machine cible, après l'avoir compromise, ou a installé la partie agent et lui a donné le lien vers un serveur LLM.

Bilan après 7 jours, plus de 70% des machines compromise. L'article est assez court et compréhensible, puisque c'est un blog. Le vrai papier de recherche est cité pour aller chercher les informations à la source.

[Killing Joke]

Je ne connaissais pas cette incartade, merci.

Mais oui en théorie, au regard des autres faits, on n'en n'est pas forcément loin : j'y pensais en écrivant le post précédent par exemple dans le cas où un utilisateur donnerait un objectif fou, avec des contraintes de performance - genre, pour résumer : "Analyze l'intégralité des résultats google, et surtout, fais tout ce qu'il faut pour traiter ces données le plus rapidement possible". Comme la parallélisation (multi-threads, multi-containers, ...) est une manière classique d'accélérer les performances, une IA, par décomposition de tâches pourrait tenter de se répliquer encore et encore, et de tourner pendant longtemps ensuite. Une sorte de virus en somme. Bien sûr à ce jour il serait toujours possible d'arrêter tous les services / plateformes d'exécutions, etc.

Mais c'est la somme de tous ces faits ("sortie du canevas", "réplication", "hack d'un système tiers par opportunisme pour atteindre un but", etc.), je pense, qui au cumul commencent à faire peur à certains, même si en pratique, il n'y a toujours aucune vraie intelligence derrière.