Tubbydev

On va pour commencer allonger le titre en « La différence principale entre le contenu produit par l’IA et la production de la pensée humaine et POURQUOI IL NE FAUT PAS TOUT LE TEMPS POSER DES QUESTIONS A CHAGPT (ou autre) COMME SI IL SAVAIT TOUT !« 

Comment raisonnent les IA, LLM et autres diableries ? 🙂

Le principe de base : prédire le prochain mot. En effet, un modèle de langage fonctionne essentiellement ainsi:

• il lit une suite de mots (ou plus exactement de “tokens”) ;
• puis il calcule quelles suites ont statistiquement le plus de sens après ce contexte.

A chaque mot, il calcule quelle est la probabilité du prochain token sachant tous les précédents.

Par exemple, si on a « Le chat est monté sur le … », le modèle peut considérer que la suite est toit ou canapé ou meuble ou arbre.

Chaque possibilité reçoit une probabilité.

Ceci dit, ce qui précède est un peu simpliste car avec les modèles actuels, ce n’est PAS seulement le mot juste avant qui compte. Les LLM modernes regardent potentiellement des milliers ou même + de mots précédents et « essaient de comprendre » (avec les limites de cette expression pour une machine):

• le sujet global ;
• le ton ;
• le contexte ;
• les relations entre les phrases ;
• les intentions probables ;
• les structures du langage.

C’est ici qu’on retrouve le rôle du mécanisme “d’attention” des Transformers dont on parle dans cet article.

Pourquoi cela semble intelligent ?

Le langage humain contient énormément de structures :

• logiques ;
• de causalité ;
• de raisonnement ;
• de connaissances ;
• d’émotions ;
• de styles ;
• de culture.

Comme les modèles ont appris, ont été gavés de milliards de textes, ils reproduisent:

• des façons de raisonner ;
• des structures argumentatives ;
• des relations entre concepts ;
• des schémas de dialogue ;
• des associations complexes.

Et donc ça ressemble à un raisonnement humain, d’autant plus que les cerveaux humains qui prennent connaissance de ce que pond l’IA « y voient » la résultat d’un raisonnement humain, d’un véritable raisonnement et pas d’une « combinaison ».

Par exemple, si vous écrivez « Napoléon est mort à … », le modèle sait que :

• on parle d’histoire ;
• d’une personne ;
• d’un lieu ou d’une date probable.

(A moins qu’on ne soit déjà dans l’histoire d’un chat appelé Napoléon et passé sous une voiture).

En d’autres mots, le modèle utilise tout le contexte, les connaissances qu’il a apprises et les structures statistiques du langage.

Attention ! Le modèle ne prend pas toujours le mot le plus probable sinon les réponses seraient répétitives et même robotiques (ce que l’IA essaie de ne pas être pour qu’on la prenne au sérieux 🙂)

Il utilise souvent un échantillonnage probabiliste et choisit selon les réglages OU LE FAMEUX PROMPT d’où l’énorme intérêt, avantage et l’absolue nécessité d’être très bon en prompt !!

(Et PUB, à ce sujet, achetez et lisez Prompt pour les Pros et Ingénierie de prompts : 58 techniques pour obtenir des réponses fiables avec ChatGPT et l’IA: Améliorez concrètement votre utilisation de chatGPT; Claude, Gemini, LeChat, Copilot et autres IA )

Les tokens

En réalité donc, les modèles travaillent surtout avec des “tokens”. Ce sont des mots ou des parties de mots ou une ponctuation ou un morceau de phrase. Un seul mot peut être l’objet de plusieurs tokens pour ses différents sens, en diverses langues et utilisations.

Dans un proche avenir, il y a fort à parier que la guerre des tokens, à cause de leur coût, devienne l’objet principal des luttes entre LLM et des dépenses d’entreprises.

L’absence de “pensée” cachée derrière une production d’IA

Une fois qu’on a compris que les réponses de l’IA n’étaient que le résultat de probabilités élaborées (dans les 2 sens) à partir de milliards de données, choses permises notamment par des masses énormes d’argent et des grosses grosses machines et que donc, nous n’avons pas affaire à une CONSCIENCE, au sens commun où nous humains l’entendons, on relativise le truc.

En fait, c’est un peu comme de savoir qu’on peut courir au maximum à 36 km/h sur 100 m (environ hein :-)) mais qu’une voiture peut aller bcp, bcp plus vite et qu’un robot qui ressemblerait à un humain peut aussi le faire.

Attention cependant car penser à l’inverse que l’IA n’est qu’une prédiction du mot suivant peut aussi devenir trompeur.

A très grande échelle et dans pas mal de domaines, l’IA a appris énormément de structures « profondes » du monde REEL et peut donc « dire » des choses VRAIES.

Mais d’ailleurs, les humains parlent eux aussi souvent en « mode automatique » ou en donnant le mot ou l’expression d’après parce qu’ils en ont l’habitude ….

Hé oui ! Les humains eux parlent parfois comme ceci, en mode « automatique », en répétant des phrases ou morceaux de phrases (Par exemple « Comment vas .. » la suite est bien sûr « tu » si le contexte est qu’on voit quelqu’un qu’on connait. La suite ensuite sera « Ca va et toi » .. sans qu’on ait besoin de vraiment réfléchir).

Parfois aussi les humains essaient de deviner ce qu’il faut dire sans trop réfléchir comme typiquement les élèves à l’école quand ils n’ont pas vraiment compris qqch et essaient de deviner en partant du contexte et des phrases et mots d’avant.

Mais parfois aussi les humains produisent du contenu dont chaque mot ou chaque phrase ne dépend pas de ce qu’il y a avant mais d’une sorte de réflexion qui fait en quelque sorte TOMBER le mot ou la phrase « du haut ».

On a en fait 3 niveaux différents chez l’humain.

1. Le langage automatique

Une énorme partie de notre langage est effectivement prédictive et automatisée.

Quand quelqu’un dit :« Comment vas… », … votre cerveau anticipe immédiatement : « …tu ? »

Même chose pour les expressions , les habitudes , les automatismes sociaux , les phrases toutes faites ou les routines culturelles.

Le cerveau humain est lui aussi une grosse machine à prédiction, qui utilise plus ou moins les mêmes « règles » que les LLM (ce qui est logique puisqu’ils sont construits sur le modèle du cerveau humain dans ce que ce dernier a de compréhensible).

2. Le raisonnement approximatif

Comme on l’a écrit plus haut, on essaie souvent également de “deviner” sans comprendre complètement (élève à l’école, personne un peu perdue dans une discussion technique, improvisation, etc..).

L’humain utilise alors des indices (comme notamment les réactions ou mimiques de ses interlocuteurs), des corrélations, des souvenirs partiels, des intuitions.

Là encore, cela ressemble parfois beaucoup à ce que font les LLM et d’ailleurs, c’est pour cela que certaines réponses IA paraissent si humaines puisqu’une partie du langage humain fonctionne déjà de manière probabiliste et approximative.

3. La pensée “qui tombe du haut”, la pensée intelligente et céleste 🙂

Là, on est dans l’humain 🙂 On est dans les véritables idées, les intuitions, les visions dites globales, les intentions, ce qui précède les mots.

Les débats existent chez les spécialistes de tout genre pour savoir si on parle d’inné ou d’acquis, si le langage forme et crée la pensée ou l’inverse, si tout n’est pas finalement combinaison et recombinaison, etc, etc..

Sans aller dans des questions philosophiques, on peut quand même considérer que parfois, chez les humaines, les mots ne sont plus seulement déterminés par les mots précédents.

Ils sont déterminés par :

• une pensée ;
• une représentation mentale ;
• une volonté ;
• une compréhension ;
• un objectif conscient.

Et c’est probablement ici qu’existe encore une grande différence entre humains et IA actuelles.

Quand un scientifique a une intuition, la phrase n’émerge pas simplement du mot précédent et elle peut émerger d’une représentation abstraite globale.

Même chose pour un poète (sans doute une « profession » à analyser pour aller plus loin), un mathématicien, un philosophe, un compositeur (là aussi un très bon domaine d’ »enquête » car la musique est souvent « sans mots » et à certaines périodes totalement nouvelle même si on ne peut exclure qu’elle soit le résultat de combinaisons et recombinaisons d’autres musiques d’avant ou même d’autres domaines), un inventeur.

Parfois tous ces gens “voient” une idée, ressentent une structure, perçoivent une solution AVANT de fournir les mots. Ceux-ci sont alors la traduction d’une pensée « plus profonde ».

Les mots deviennent alors :

En d’autres mots, chez les humains, le langage n’est pas forcément la source de la pensée.

Nous « pensons » aussi en images, sensations, abstractions, émotions, intuitions et représentations non verbales.

A la suite de l’article précédent (Algorithmes, heuristique, IA : quelles différences ? ) , voici un autre petit sujet « IA » pour clarifier quelques trucs et éviter le n’importe quoi compliqué où adorent se perdre les « experts » auto-proclamés et les gens adeptes conscients ou inconscients du verbiage caractéristique de l’IA (car disons le, l’IA concrètement, c’est surtout du verbiage -« slope content »).

Le sujet ici c’est la différence entre « IA classique » et « IA générative ».

STOP ! On ne part pas, on ne délire pas sur les 3 ou 4 sortes d’IA, etc, etc.. Ca ne sert à rien, ça ne veut rien dire, c’est du slope, du verbiage du BULLSHIT.

(suite…)

Le domaine de l’IA est devenu en quelques mois une véritable conversation de bistrot où le verbiage et le blabla sont autant de mise dans les productions IA que quand on en parle.

L’IA est mise à toutes les sauces et on peut même parier que le « slope content » finira par tout submerger et même dégoûter les gens qui peut-être reviendront à des échanges HUMAINS (voir à ce sujet le doc d’Arte: l’IA va-t-elle tuer Internet) .

Linkedin est devenu un alibaba du blabla. Les grosses sociétés se ruent vers l’IA avec des armées de consultants dont certains à peine sortis de l’école affichent sur leurs CVs 10 ans d’expérience IA :-))) . Des cabinets de conseils ou formateurs IA dont le RCS est encore chaud entrent dans des multinationales comme dans un moulin (Finies les obligations de CA minimum, d’années d’existence, de passage par les achats, etc..) et le joueur de flûte de Hamelin semble être devenu le modèle de prestataire idéal pour des acheteurs encore si sérieux et exigeants il y a quelques mois. Les dépenses de consultants explosent sans que rien de concret ne soit mis en place. Patrons, DSI et « métiers » s’affrontent pour le plus grand bonheur des marchands de sable.

Même les banques sont dans le tourbillon du rien en achetant des milliers de licences Copilot sans savoir qu’en faire et en remplaçant leurs « chatbots » qui marchaient plus ou moins par des trucs IA qui tournent en rond comme des derviches tourneurs (cf chez Boursobank l’exemple de Bourso IA à la place d’Eliott).

Une des plus grandes arnaques est de renommer IA des systèmes anciens ou de leur ajouter une simple couche tout en prétendant avoir créé quelque chose de nouveau.

Si les principes théoriques de l’IA existent depuis des dizaines d’années, il faut pourtant bien distinguer ce qui a été fait et continue d’être fait par des ALGORITHMES, des HEURISTIQUES et la différence avec l’INTELLIGENCE ARTIFICIELLE.

Les algorithmes

Qu’est-ce qu’un algorithme ?

Google est votre ami:

Un algorithme est une suite finie d’opérations élémentaires, à appliquer dans un ordre déterminé, à des données. Sa réalisation permet de résoudre un problème donné. Exemples : suivre une recette de cuisine, suivre un plan, faire une division euclidienne à la main sont des exemples d’algorithme.

Des millions d’opérations et de « miracles », en informatique classique, sont le fait d’algorithmes.

Les heuristiques

Vous comprendrez facilement que quand l’usage de l’informatique explosa et donc ce qu’il fournissait aussi (bel exemple de mouvement prédisant des économies de travail et même la fin de certains et qui en fait, en créa + …), il fallut trouver des moyens, des méthodes pour aller plus vite ou gérer + de données que ne pouvaient le faire les algorithmes.

Là surgit le concept d’heuristique.

Google est encore votre ami: Une heuristique est une règle générale ou une stratégie qui peut guider votre recherche d’une solution ou d’une réponse. Contrairement à un algorithme, une heuristique ne garantit pas un résultat correct ou optimal, mais elle peut vous aider à en trouver un suffisamment bon ou satisfaisant dans un délai raisonnable. Par exemple, si vous souhaitez trouver l’itinéraire le plus court entre deux endroits, vous pouvez utiliser une heuristique qui choisit toujours la route la plus proche de votre destination. Une heuristique peut être basée sur l’intuition, l’expérience ou le bon sens.

Et donc énormément de programmes, de tâches, de merveilles réalisées par les ordinateurs le furent et le sont par des algorithmes et des heuristiques. Les OS, les ordinateurs d’échecs des années 80 (qui battaient déjà 90% des joueurs, cf Mephisto, etc..), les ERP, les OCR, etc.. étaient basés sur des algorithmes et heuristiques.

De « simples programmes », basés sur des algorithmes et heuristiques pour des choses incroyables

Si on prend l’exemple de Mephisto, (https://fr.wikipedia.org/wiki/Mephisto_(jeu_d%27%C3%A9checs) , et spécialement le modèle Brikett, sorti en 80-81, il affichait un niveau de 1600 à 1800 Elo selon les versions et la cadence alors que:

• les processeurs étaient extrêmement limités (8 bits) ;
• la mémoire était minuscule ;
• il n’y avait ni GPU ni apprentissage moderne ;
• tout devait être optimisé à la main avec des moteurs écrits presque entièrement à la main par les programmeurs.

Les ordinateurs d’échecs Mephisto étaient surtout basés sur :

• des algorithmes de recherche ;
• des heuristiques d’évaluation ;
• et une optimisation extrêmement poussée du code.

Ce n’était pas de l’IA moderne apprenante.

2ème exemple avec les OCR. Les OCR n’étaient pas de l’IA et ne sont pas de l’IA sauf quand ils fonctionnent en couple.

Cherchons encore dans Google: La reconnaissance optique de caractères (OCR) est une technologie qui convertit le texte imprimé en données lisibles par machine. Elle numérise les documents et reconnaît les caractères, les transformant en texte numérique modifiable, consultable et exploitable. Cette technologie peut être appliquée aux factures, aux cartes d’identité, aux relevés bancaires, etc. L’OCR repose sur des algorithmes prédéfinis qui reconnaissent les lettres, les chiffres et les symboles en les comparant à une base de données interne. Pour extraire les données, elle suit des règles d’analyse syntaxique issues de modèles prédéfinis ou personnalisées par l’utilisateur. C’est ainsi qu’elle convertit le texte imprimé en données numériques.

Bien sûr, l’IA est maintenant accouplée aux OCR pour fournir des produits qui vont par exemple attribuer ce que reconnait l’OCR a une facturation, un devis, un contrat, etc..

Et l’IA dans tout ça ?

Pour résumer les années 80 et même 90, on avait:

Élément	Importance
Algorithmes classiques	Très forte
Heuristiques	Très forte
IA moderne apprenante	Quasi absente
Apprentissage automatique	Très limité
Réseaux neuronaux	Expérimental et marginal

Que s’est il passé ?

En fait pendant longtemps, l’idée dominante était que pour rendre une machine intelligente, il faut lui écrire les règles de l’intelligence.

C’était l’approche des années 60 à 90 avec des systèmes experts, des règles heuristiques, une logique symbolique.

Le problème, c’est que cette approche marche mal dès que le monde devient complexe. Par exemple, un humain reconnaît un chat instantanément mais écrire toutes les règles exactes pour reconnaître un chat est quasiment impossible :

• formes ;
• angles ;
• lumières ;
• couleurs ;
• postures ;
• arrière-plans.

Les heuristiques explosent rapidement en complexité.

L’idée a été de se dire qu’il fallait que la machine apprenne les règles elle-même à partir des données.

Par exemple, au lieu de décrire un chat pour le reconnaître, on montre des millions d’images de chats à la machine et on la corrige et les algorithmes ajustent automatiquement les paramètres du modèle.

En d’autres mots, au lieu d’apprendre à une enfant une langue en apprenant le vocabulaire, la grammaire, etc.. on montre des milliers de situations et l’enfant identifie ensuite les mots et phrases à dire selon le contexte et la situation qu’il assimile à ce qu’il a déjà vu.

Ces idées existent depuis la nuit des temps (Après tout on applique aux machines ce qu’on fait dans l’apprentissage humain) mais nous n’avions pas la puissance de calcul (Cf Nvidia), les données, les protocoles/processus mathématiques pour faire ingérer tout ça à des bêtes machines et bien sûr l’argent pour monter tout le truc (Rappel: pour l’instant, toute l’industrie IA perd de l’argent …).

Au passage, c’est le « machine learning » généralement attribué à Arthur Samuel qui travaillait chez IBM sur un programme de jeu de dames et pensa qu’au lieu d’écrire toutes les règles stratégiques à la main, la machine pouvait améliorer son niveau en jouant et en analysant ses parties.

Il définissait le machine learning comme « La capacité pour les ordinateurs d’apprendre sans être explicitement programmés. ».

Quand ces éléments sont arrivés, l’IA a pu percer.

En 2012, un réseau neuronal appelé AlexNet explose les performances en reconnaissance d’images. L’industrie comprend alors que les réseaux neuronaux profonds fonctionnent réellement et qu’ils peuvent dépasser les approches heuristiques classiques.

Ensuite tout s’est accéléré dans les domaines de la vision, voix ou de la traduction, génération de texte, etc.. et donc IA générative.

En 2017, est arrivée l’architecture Transformer qui est la base de ChatGPT, Claude, Gemini.

Pour briller dans les cocktails, le papier fondateur s’appelait « Attention Is All You Need  » et pour comprendre de quoi il s’agit: https://fr.wikipedia.org/wiki/Transformeur

C’est ce mécanisme qui permet aux modèles modernes de comprendre le contexte, relier des mots éloignés, générer du texte cohérent, raisonner partiellement sur de longues séquences.

Le passage des « algorithmes + heuristiques » à l’ « IA moderne » vient surtout du fait qu’on a arrêté d’utiliser DIRECTEMENT les algorithmes et les heuristiques pour régler les problèmes comme dans l’informatique classique.

Avec l’IA « moderne », une partie importante des algorithmes sert plutôt à :

• apprendre les règles ;
• ajuster les règles ;
• optimiser les règles ;
• créer un modèle capable ensuite de résoudre des problèmes.

Les algorithmes servent à créer et améliorer des systèmes capables d’apprendre eux-mêmes à partir d’énormes quantités de données et de calcul.

Oui mais

Il n’en reste pas moins que pour quantité de besoins des sociétés et particuliers, l’IA à vrai dire n’est pas nécessaire et qu’algorithmes ou heuristiques suffisent.

La vague actuelle d’IA est donc souvent du pipeau, une simple couche « marketing », du « branding » pour faire croire à la modernité et justifier des prix exorbitants de services et prestations alors qu’en réalité, fonctionnent ou peuvent fonctionner sans problème les mêmes roues et moteurs qu’avant.

Encore pire ou comique, selon le point de vue, l’IA peut être beaucoup moins efficace qu’un bon vieil algorithme ou une heuristique qui résolvait parfaitement le problème, voir même que des humains (exemple typiques avec les SAV où les minutes à l’IA coûtent + cher qu’en centre d’appel classique).

C’est comme quand les tablettes et livres électroniques sont arrivés.. En fait un bon livre en papier reste largement plus pratique et facile à lire, à prêter ou revendre…

Quand on parle d’IA et hormis les usines à gaz que construisent les SSII, on parle d’OpenAI et ChatGPT, Anthropic et Claude, Google et Gemini puis éventuellement Deepseek ou autres trucs exotiques MAIS on ne parle jamais de NotebookLM.

Pourtant NotebookLM est un truc très puissant.

Peut-être d’ailleurs que comme au début de gmail, Google fait exprès de le lancer « en douce » pour le laisser s’imposer au nez et à la barbe des concurrents qui n’auront rien vu venir.

(suite…)

L’enthousiasme autour des agents IA est compréhensible. Promesse d’automatisation, gain de temps, productivité démultipliée. Sur le papier, tout le monde y gagne.

Dans la réalité, le résultat est souvent plus nuancé. Certaines équipes progressent rapidement. D’autres produisent simplement plus vite… les mêmes erreurs.

Ce n’est pas un problème d’outil. C’est un problème d’organisation.

(suite…)