Les IAs ne sont pas des perroquets stochastiques.
Les *LLMs* sont des perroquets stochastiques.
Et l'article fait une remarque très intéressante : L'humain considère que le langage est *LA* marque de l'intelligence.
Donc quand une machine "parle" bien (les LLMs sont très fortes à ce jeu), on a naturellement tendance à 1️⃣ penser que la machine *EST* intelligente et 2️⃣ à lui attribuer des traits humains. Alors qu'elle n'est en réalité qu'un perroquet stochastique : Une machine qui pond statistiquement une suite de mot calculés à partir d'un ensemble de mots en entrée, sans réflexion et sans rien même comprendre aux mots qu'elle utilise.
Essayons une autre analogie des LLMs:
Imaginez que vous êtes une machine. On vous a donné à bouffer *TOUS* les textes en Chinois existants au monde. Vous ne comprenez rien au Chinois, mais vous avez créé un gigantesque modèle statistique de l'enchaînement des mots.
Quelqu'un vous soumet une question en chinois. C'est un enchaînement de mots.
Vous utilisez votre modèle statistique pour calculer la suite de mots la plus probable qui correspond aux mots en entrée.
Et vous répondez ces mots à la personne.
Notez que dans l'opération :
- Vous ne comprenez pas un traitre mot de la question qu'on vous a posée. (Vous ne comprenez pas le Chinois).
- Vous ne comprenez pas non plus un seul mot de la réponse que vous avez donnée.
- Vous n'avez pas compris la question, vous n'y avez pas "réfléchi" par rapport à une "base de connaissance" : Vous avez juste *calculé* statistiquement la suite de mots la plus probablement juste en utilisant les statistiques des *milliards* de textes que vous avez ingérés.
D'ailleurs dans le jargon, on ne parle pas de "mot" mais de "token". Littéralement des "jetons". Si on me donne cette suite de jetons en entrée, statistiquement voici la liste de jetons en sortie la plus probablement juste. Pour la machine, chacun de ces jetons est unique, mais n'a aucune signification en soi.
C'est comme cela que fonctionnent les LLMs comme ChatGPT et autres.
L'article mentionne tout de même que même si les LLMs sont des perroquets stochastiques, associées à d'autres types d'IA ou d'algorithmes elles peuvent rendre certains services.
(
Permalink)
Connexion
