CasusNO

cdang a écrit : ↑jeu. juil. 24, 2025 11:02 am Un LLM génère du texte aléatoire en utilisant des probabilités déterminées par le script

Ce terme de génération aléatoire m'agace, car si c'est en partie vrai, ça donne l'impression qu'on tire a pile ou face chaque lettre de la réponse (ce qu'on retrouve dans les explications simples du phénomènes)
J'y ai repensé en voyant ce message ici, ou un joyeux forumeur @LE merlock demande à l'IA d'évaluer la validités des professions classiques de l'ADC dans un contexte URSS : https://www.casusno.fr/viewtopic.php?p=2281079#p2281079

On n'a pas son prompt (pour ca que je l'ai taggué ) pour bien juger, mais on a un résultat exploitable ou le hasard fait quand même vachement bien les choses.

Pour ma part, je reste toujours émerveillé . Y a rien la dedans que je n'aurai pu trouver par moi même (mais ça m'aurait demandé des recherches, exemple, la dénomination des criminels), mais la question a du être vite répondu, et donne pas mal d'inspiration.

Altay a écrit : ↑jeu. juil. 24, 2025 1:36 pm Sauf que le mec en question n'est pas vraiment un développeur à la base. Il a simplement bien intégré le discours des vendeurs de LLM qui prétendent que maintenant tu n'as pas besoin de savoir coder puisque le LLM le fait pour toi. Et donc on en arrive à ce genre de situation. Les boîtes derrière ces discours commerciaux sont irresponsables.

Mais ca quelque part.. ca fait 40 ans que je dev, ca fait 40 ans (ou peut etre 35) que j'entends dire "non, mais les devs c'est fini maintenant, on n'en a plus besoin, vous pouvez faire sans ces prétentieux trop payés " avec les solutions allant des AGL au no-code.

Mais comme disait (aurait dit ?) Barnum : un imbecile nait toutes les minutes

Morningkill a écrit : ↑ven. août 01, 2025 7:08 pm Ce terme de génération aléatoire m'agace, car si c'est en partie vrai, ça donne l'impression qu'on tire a pile ou face chaque lettre de la réponse (ce qu'on retrouve dans les explications simples du phénomènes)

C'est pourtant réellement comme ça que ça fonctionne, simplement la pièce n'est pas équilibrée (elle penche fortement d'un côté) et a plus que deux faces. Il suffit d'exécuter la même requête indépendamment deux fois pour s'apercevoir que les résultats obtenus sont stochastiques.

Morningkill a écrit : ↑ven. août 01, 2025 7:14 pm Mais ca quelque part.. ca fait 40 ans que je dev, ca fait 40 ans (ou peut etre 35) que j'entends dire "non, mais les devs c'est fini maintenant, on n'en a plus besoin, vous pouvez faire sans ces prétentieux trop payés " avec les solutions allant des AGL au no-code.

Hélas l'investissement dans les LLM pour l'assistance à la programmation est bien plus massif que celui qu'il y a eu dans les gadgets que tu décris. Il y a beaucoup de boîtes qui risquent d'y perdre des plumes si le marché de « l'IA » se casse la gueule. On se plaint de l'impact sur l'emploi en ce moment, mais si la bulle éclate, les retombées vont faire mal (parmi les 10 boîtes avec la plus haute valorisation boursière, il y en a 8 dont la valeur perçue est devenue intimement liée au machine learning : NVIDIA, Microsoft, Apple, Google, Amazon, Facebook, TSMC et Tesla).

Morningkill a écrit : ↑ven. août 01, 2025 7:08 pm J'y ai repensé en voyant ce message ici, ou un joyeux forumeur @LE merlock demande à l'IA d'évaluer la validités des professions classiques de l'ADC dans un contexte URSS : https://www.casusno.fr/viewtopic.php?p=2281079#p2281079

On n'a pas son prompt (pour ca que je l'ai taggué ) pour bien juger, mais on a un résultat exploitable ou le hasard fait quand même vachement bien les choses.

Pour ma part, je reste toujours émerveillé . Y a rien la dedans que je n'aurai pu trouver par moi même (mais ça m'aurait demandé des recherches, exemple, la dénomination des criminels), mais la question a du être vite répondu, et donne pas mal d'inspiration.

C'est quoi le "prompt" ? 

Le merlock a écrit : ↑sam. août 02, 2025 9:29 am
C'est quoi le "prompt" ? 

Un truc de shadok

Altay a écrit : ↑ven. août 01, 2025 8:42 pm C'est pourtant réellement comme ça que ça fonctionne, simplement la pièce n'est pas équilibrée (elle penche fortement d'un côté) et a plus que deux faces. Il suffit d'exécuter la même requête indépendamment deux fois pour s'apercevoir que les résultats obtenus sont stochastiques.

Oui, mais demande deux fois la même chose (suffisament longue/complexe, et d'"expression libre" (pas un calcul mathématique quoi)) a un humain et tu n'auras pas le même résultat non plus.
Mais je suis mal exprimé sur mon sentiment, ce que je voulais dire, c'est qu'on peut pas rejeter (je dirai presque dénigrer, mais ca me gêne car je suis pas loin d'une certain anthropomorphisation la )l'IA parce que c'est des réponses stochastiques.

Altay a écrit : ↑ven. août 01, 2025 8:42 pm Hélas l'investissement dans les LLM pour l'assistance à la programmation est bien plus massif que celui qu'il y a eu dans les gadgets que tu décris. Il y a beaucoup de boîtes qui risquent d'y perdre des plumes si le marché de « l'IA » se casse la gueule. On se plaint de l'impact sur l'emploi en ce moment, mais si la bulle éclate, les retombées vont faire mal (parmi les 10 boîtes avec la plus haute valorisation boursière, il y en a 8 dont la valeur perçue est devenue intimement liée au machine learning : NVIDIA, Microsoft, Apple, Google, Amazon, Facebook, TSMC et Tesla).

Je pense que TSMC s'en sortira toujours, Apple aussi (vu leur retard affiché), et Tesla aussi peut etre. Enfin, ils verront (comme toute la high tech) leur benefices/resultats chuter, mais ca les coulera pas. Ca sera juste plus l'abondance actuelle.
Après, voila, c'est ainsi depuis quoi ? 30ans ? nouvelle tech, nouvelle bulle : on a eu le web, le mobile, le cloud, maintenant l'IA (je parle que des trucs perennes, hein)
Et je pense que l'investissement dans les LLMs est "pour tous les usages", pas que pour la programmation.
Quand tu peux implementer en deux semaines une analyse sémantique de texte manuscrit qui t'aurait demandé un an (et des compétences spécifiques) y a 5 ans, on n'est pas dans l'aide au développement direct (c'est pas du vibe coding, eventuellement du vibe prompting ? (mais j'ai l'impression que tout le prompting on est pas mal dans le vib..), mais c'est énorme niveau impact.

Le merlock a écrit : ↑sam. août 02, 2025 9:29 am C'est quoi le "prompt" ? 

c'est la question que tu as posé a ChatGPT (ou un autre ?) pour avoir ton tableau en réponse

J'ai une question pour les spécialistes.
En ce moment, ma boite tente de faire une aide à la résolution de problème (via IA) en se basant sur les docs techniques. Je peste avec régularité en arguant que dans la mesure où une partie de la doc n'est pas à jour, je doute que l'IA puisse pondre un truc pertinent. D'autant plus que la doc comprend nombre de schéma et de copies d'écran... et c'est la qu'arrive ma question.

Supposons un logigramme A -> B -> C -> D où C est une image, si l'IA n'arrive pas à analyser l'image, est-ce que :
- elle va essayer d'extrapoler C à partir du contexte, soit A -> B -> C' -> D
- elle va essayer de faire un lien direct entre B et D, soit A -> B -> D
- elle va inventer un truc qui peut être complètement à côté de la plaque, soit A -> B -> X -> D

Ca dépend de la qualité de l'ingestion de la donnée technique, oui. (réponse de normand)


Après, la aussi :
Garbage In, Garbage Out, ca a été formulé en .. 1957 au plus tard: https://www.newspapers.com/article/the-times/50687334/

Morningkill a écrit : ↑sam. août 02, 2025 10:50 am Oui, mais demande deux fois la même chose (suffisament longue/complexe, et d'"expression libre" (pas un calcul mathématique quoi)) a un humain et tu n'auras pas le même résultat non plus.
Mais je suis mal exprimé sur mon sentiment, ce que je voulais dire, c'est qu'on peut pas rejeter (je dirai presque dénigrer, mais ca me gêne car je suis pas loin d'une certain anthropomorphisation la [img]data:image/gif;base64,R0lGODlhDwAPALMOAP/qAEVFRQAAAP/OAP/JAP+0AP6dAP/+k//9E///////xzMzM///6//lAAAAAAAAACH5BAEAAA4ALAAAAAAPAA8AAARb0EkZap3YVabOGRcWcAgCnIMRTEEnCCfwpqt2mHEOagoOnz+CKnADxoKFyiHHBBCSAdOiCVg8KwPZa7sVrgJZQWI8FhB2msGgwTXTWGqCXP4WBQr4wjDDstQmEQA7[/img] )l'IA parce que c'est des réponses stochastiques.

Le point fondamental c'est que c'est très compliqué de construire des systèmes de raisonnement et/ou de planification avec une approche stochastique. Ce n'est pas impossible, mais c'est beaucoup beaucoup plus dur qu'avec des outils qui manipulent des symboles et des règles de logique déterministes. Donc l'argument c'est pas de rejeter les LLM, c'est de rejeter les LLM comme « intelligence artificielle » parce que l'intelligence artificielle généraliste suppose d'être capable de mener des raisonnements. Les LLM donnent l'illusion du raisonnement, et comme ça arrange bien les boîtes qui commercialisent ces outils, elles entretiennent cette confusion.

Tgx a écrit : ↑sam. août 02, 2025 11:10 am Supposons un logigramme A -> B -> C -> D où C est une image, si l'IA n'arrive pas à analyser l'image, est-ce que :
- elle va essayer d'extrapoler C à partir du contexte, soit A -> B -> C' -> D
- elle va essayer de faire un lien direct entre B et D, soit A -> B -> D
- elle va inventer un truc qui peut être complètement à côté de la plaque, soit A -> B -> X -> D

Tu recevras la réponse « la plus statistiquement probable ». Donc en supposant que A -> B est bien réalisé, tu obtiendras un C' « vraisemblable » Ce qui ne veut pas dire correct. Il suffit de lancer un algo d'OCR classique et une extraction de texte via ChatGPT sur la même image pour comparer :

• en OCR classique, les erreurs vont être des erreurs de transcription du style « Tgx vä au supermarchè, »
  
• en OCR par modèle vision-langage, les erreurs sont plutôt des remplacements entiers de séquences qui semblent peu probables, par exemple « Tu vas au supermarché. »
  

La vraie réponse rigoureuse, c'est qu'il faut se construire quelques exemples pour tester et voir si l'outil que tu veux utiliser résout le problème.

Altay a écrit : ↑sam. août 02, 2025 2:00 pm Les LLM donnent l'illusion du raisonnement,

Et ca le donne bien, cf cette demande a Claude Code hier :

> dans le test GetAllVideos, fais lui recuperer l'user morningkill@caern.com et utilise le pour l'ister prcours [SIC]

● I need to find the GetAllVideos test and modify it to retrieve the user morningkill@caern.com and use it to list
parcours. Let me first find this test:

● Search(pattern: "GetAllVideos")
⎿  Found 3 files (ctrl+r to expand)

● Read(Care.Metier.Tests\VimeoTest.cs)
⎿  Read 35 lines (ctrl+r to expand)

● Now let me check the BaseTest class to understand how to access Firebase and user management:

● Read(Care.Metier.Tests\BaseTest.cs)
⎿  Read 99 lines (ctrl+r to expand)

● Let me check what Firebase methods are available to get a user by email:

● Search(pattern: "ObtenirUserRecordByEmail|GetUserByEmail", output_mode: "content")
⎿  Found 7 lines (ctrl+r to expand)

● Let me check the TestGestionFirebase to see if it has the method to get users by email:

● Read(Care.Metier.Tests\Infrastructure\TestGestionFirebase.cs)
⎿  Read 105 lines (ctrl+r to expand)

● I need to add the ObtenirUserRecordByEmail method to TestGestionFirebase and then modify the GetAllVideos test.
Let me first add the method:

Alors, peut etre que ce que de l'illusion, mais c'est une illusion qui représente vachement bien bien le cheminement de pensée d'un humain.
Elle cherche l'endroit a modifier, puis remonte les infos pour obtenir le contexte, verifie si les méthodes nécessaires sont présentes et puisque non, commence par les rajouter..

(vis a vis du SIC sur ma typographie defaillante, j'avoue que l'IA sait me plaire en comprenant ce que j'écris, même quand c'est mal écrit ou insuffisamment détaillé - bon, ça va pas m'aider à m'améliorer la dessus...)

La vraie réponse rigoureuse, c'est qu'il faut se construire quelques exemples pour tester et voir si l'outil que tu veux utiliser résout le problème.

Ouep, j'avais oublié de finir ma réponse de normand la dessus @Tgx mais les gens qui prônent cette solution, ils ont quoi comme protocole de test et validation ?