Rui a écrit : ↑mar. oct. 24, 2023 4:22 pm
Par contre, vue le comportement de ChatGPT dans ce contexte, elle utilise peut être une pondération plus stricte sur les mots à utiliser et si aucun mot n'atteigne un certain état alors elle n'est pas en capacité de répondre.
Je vais uuultra simplifier, mais il n'y a pas vraiment de cas qu'elle peut identifier comme "pas en capacité de répondre".
Exemple uuultra pas réaliste car uuultra simplifié :
Si elle rencontre le début de phrase "Ce chat était de couleur", son algorithme ne donne pas des pondérations du style Noir:20% Gris:40% Blanc:10%
Pas-de-réponse:30%. Elle doit toujours faire suivre quelque chose. Et elle le "tire au hasard" dans sa "table de pondération".
Si elle a été bien entraînée sur un jeu de données correct, elle aura une table qui ressemble un peu à Gris:25% Noir:15% ... Indiscernable: 0.6% Terne:0.5% Pastelle:0.01% <fin-de-phrase>:1%.
Si elle a été mal entraînée ou sur des données pourries, elle pourra avoir une table du style Bleu:20% Rose:10% ... Voiture:11% Noir:12% Chien:1%.
Mais elle ne peut pas savoir si ses pondérations son pertinentes ou à l'ouest. Même une table avec aucune proposition supérieure à 1% peut correspondre à la réalité.
Au pire l'algorithme général peut contenir une surcouche implémentée "à la main" précisant des trucs du style <<on ne t'a pas entraîné sur les chats, si tu vois "chat" ou "chat de couleur", réponds "noir">>. C'est "comme ça" (en fait non, mais je me comprends) que sont implémentées notamment les barrières anti-réponses-problématiques.
C'est pour ça que les débats sur le copyright etc. sont compliqués. L'IA a "regardé" des œuvres protégées et a utilisé cette observation pour corriger ses pondérations dans un certain sens. Mais il ne reste rien dans son algorithme de l’œuvre regardée(*). Juste la magie des mathématiques qui fait que les pondérations "corrigées par l'expérience" on tendance à produire des résultats proches de l’œuvre inspiratrice.
(*) Pour être parfaitement honnête, un peu quand même en fait. Parce qu'on peut considérer que la "matrice de pondération" (bon c'est un peu plus qu'une matrice, on s'comprend) est une sorte de fonction. Or les mathématiciens (et les théoriciens en informatique) savent bien qu'il existe une dualité entre les fonctions et les données (un peu comme, pour donner une image, entre une fonction et sa transformée de fourrier). Donc les données sont "un peu" encodées dans la fonction. Ce "un peu" venant du fait que la fonction dont il est question contient quand même incroyablement moins d'informations brutes que les données d'origine, est donc que l'information y est plus dense, moins redondante, moins contextualisable.
Bon, j'ai encore une fois été trop long, donc j'ai dû brouillé le message que je voulais faire passer, mais tant pis.
