Les grands modèles de langage (LLM) sont la technologie sous-jacente qui a permis l’ascension fulgurante des chatbots d’IA générative. Des outils tels que ChatGPT, Google Bard et Bing Chat s’appuient tous sur des LLM pour générer des réponses de type humain à vos messages et questions.


Mais qu’est-ce que les LLM et comment fonctionnent-ils ? Nous nous proposons ici de démystifier les LLM.


Qu’est-ce qu’un grand modèle de langage ?

En termes simples, un LLM est une énorme base de données textuelles à laquelle il est possible de se référer pour générer des réponses de type humain à vos questions. Le texte provient de diverses sources et peut contenir des milliards de mots.

Parmi les sources de données textuelles couramment utilisées, on peut citer

  • Littérature: Les MLD contiennent souvent d’énormes quantités de littérature contemporaine et classique. Il peut s’agir de livres, de poèmes ou de pièces de théâtre.
  • Contenu en ligne: Un LLM contiendra le plus souvent un grand nombre de contenus en ligne, y compris des blogs, des contenus web, des questions et réponses de forums et d’autres textes en ligne.
  • Nouvelles et actualités: Certains LLM, mais pas tous, peuvent accéder à des sujets d’actualité. Certains LLM, comme le GPT-3.5, sont restreints dans ce sens.
  • Médias sociaux: Les médias sociaux représentent une énorme ressource de langage naturel. Les LLM utilisent des textes provenant de plateformes majeures telles que Facebook, Twitter et Instagram.

Bien sûr, disposer d’une énorme base de données de textes est une chose, mais les LLM doivent être formés pour donner un sens à ces textes et produire des réponses semblables à celles des humains. La façon dont ils y parviennent fait l’objet de la prochaine section.

Comment fonctionnent les LLM ?

Comment les LLM utilisent-ils ces référentiels pour créer leurs réponses ? La première étape consiste à analyser les données à l’aide d’un processus appelé apprentissage profond.

L’apprentissage profond est utilisé pour identifier les modèles et les nuances du langage humain. Il s’agit notamment de comprendre la grammaire et la syntaxe. Mais il est également important de tenir compte du contexte. La compréhension du contexte est un élément crucial des LLM.

Voyons un exemple de la manière dont les LLM peuvent utiliser le contexte.

L’invite de l’image suivante mentionne le fait de voir une chauve-souris la nuit. ChatGPT a compris que nous parlions d’un animal et non, par exemple, d’une batte de baseball. Bien entendu, d’autres chatbots comme Bing Chat ou Google Bard peuvent répondre à cette question de manière totalement différente.

Capture d'écran de la question sur les chauves-souris

Cependant, il n’est pas infaillible et, comme le montre cet exemple, vous devrez parfois fournir des informations supplémentaires pour obtenir la réponse souhaitée.

Capture d'écran d'une réponse hors contexte d'une chauve-souris

Dans ce cas, nous avons délibérément lancé une petite balle courbe pour montrer à quel point le contexte se perd facilement. Mais les humains peuvent également mal comprendre le contexte des questions, et il suffit d’une invite supplémentaire pour corriger la réponse.

Capture d'écran d'une question portant sur le type de bois dont est faite une batte.

Pour générer ces réponses, les LLM utilisent une technique appelée génération de langage naturel (NLG). Il s’agit d’examiner l’entrée et d’utiliser les modèles appris à partir de son référentiel de données pour générer une réponse contextuelle correcte et pertinente.

Mais les LLM vont encore plus loin. Ils peuvent également adapter les réponses au ton émotionnel de l’entrée. Combinées à la compréhension du contexte, ces deux facettes sont les principaux moteurs qui permettent aux LLM de créer des réponses semblables à celles des humains.

En résumé, les LLM utilisent une base de données textuelle massive avec une combinaison de techniques d’apprentissage profond et de NLG pour créer des réponses de type humain à vos invites. Mais il y a des limites à ce que cela permet de réaliser.

Quelles sont les limites des LLM ?

femme frustrée par la réponse de l'ordinateur

Les LLM représentent une réalisation technologique impressionnante. Mais la technologie est loin d’être parfaite et il existe encore de nombreuses limites à ce qu’ils peuvent accomplir. Certaines des plus notables d’entre elles sont énumérées ci-dessous :

  1. Compréhension du contexte : Nous avons mentionné ce point comme étant un élément que les LLM intègrent dans leurs réponses. Cependant, ils n’y parviennent pas toujours et sont souvent incapables de comprendre le contexte, ce qui conduit à des réponses inappropriées ou tout simplement fausses.
  2. Préjugés : Les biais présents dans les données d’apprentissage se retrouvent souvent dans les réponses. Il s’agit notamment des préjugés liés au sexe, à la race, à la géographie et à la culture.
  3. Le bon sens : Le bon sens est difficile à quantifier, mais les humains l’apprennent dès leur plus jeune âge en observant le monde qui les entoure. Les LLM n’ont pas cette expérience inhérente sur laquelle s’appuyer. Ils ne comprennent que ce qui leur a été fourni par leurs données de formation, et cela ne leur donne pas une véritable compréhension du monde dans lequel ils existent.
  4. La qualité d’un LLM dépend de ses données de formation : La précision ne peut jamais être garantie. Le vieil adage informatique « Garbage In, Garbage Out » résume parfaitement cette limitation. La qualité des LLM dépend de la qualité et de la quantité des données d’apprentissage.

On peut également soutenir que les préoccupations éthiques peuvent être considérées comme une limitation des LLM, mais ce sujet n’entre pas dans le cadre de cet article.

Les progrès continus de l’IA sont désormais largement étayés par les LLM. Bien qu’il ne s’agisse pas exactement d’une nouvelle technologie, ils ont certainement atteint un point critique et il existe maintenant de nombreux modèles.

Voici quelques-uns des LLM les plus utilisés.

1. GPT

Generative Pre-trained Transformer (GPT) est peut-être le LLM le plus connu. GPT-3.5 alimente la plateforme ChatGPT utilisée pour les exemples de cet article, tandis que la version la plus récente, GPT-4, est disponible par le biais d’un abonnement ChatGPT Plus. Microsoft utilise également la dernière version dans sa plateforme Bing Chat.

2. LaMDA

Il s’agit du LLM initial utilisé par Google Bard, le chatbot IA de Google. La version utilisée initialement par Bard était décrite comme une version « allégée » du LLM. Elle a été remplacée par l’itération PaLM, plus puissante, du LLM.

3. BERT

BERT signifie Bi-directional Encoder Representation from Transformers (Représentation bidirectionnelle du codeur à partir des transformateurs). Les caractéristiques bidirectionnelles du modèle différencient BERT d’autres LLM comme GPT.

De nombreux autres LLM ont été développés, et des ramifications sont courantes à partir des principaux LLM. Au fur et à mesure de leur développement, ils continueront à gagner en complexité, en précision et en pertinence. Mais quel est l’avenir des LLM ?

L’avenir des LLM

Ils façonneront sans aucun doute la manière dont nous interagirons avec la technologie à l’avenir. L’adoption rapide de modèles tels que ChatGPT et Bing Chat en témoigne. À court terme, il est peu probable que l’IA vous remplace au travail. Mais l’incertitude demeure quant à l’importance du rôle qu’elles joueront dans nos vies à l’avenir.

Les arguments éthiques pourraient encore avoir leur mot à dire dans la manière dont nous intégrons ces outils dans la société. Toutefois, si l’on fait abstraction de ces considérations, les développements attendus en matière de LLM sont les suivants :

  1. Amélioration de l’efficacité: Avec des centaines de millions de paramètres, les LLM sont incroyablement gourmands en ressources. Avec les améliorations apportées au matériel et aux algorithmes, il est probable qu’ils deviennent plus économes en énergie. Cela permettra également d’accélérer les temps de réponse.
  2. Amélioration de la connaissance du contexte: Les LLM s’auto-apprennent ; plus ils sont utilisés et reçoivent de commentaires, plus ils s’améliorent. Il est important de noter que cela ne nécessite pas d’ingénierie majeure supplémentaire. Au fur et à mesure que la technologie progresse, des améliorations seront apportées aux capacités linguistiques et à la prise de conscience du contexte.
  3. Entraînés à des tâches spécifiques: Les outils polyvalents qui constituent l’image publique des LLM sont sujets à des erreurs. Mais à mesure qu’ils se développent et que les utilisateurs les adaptent à leurs besoins spécifiques, les LLM peuvent jouer un rôle important dans des domaines tels que la médecine, le droit, la finance et l’éducation.
  4. Une plus grande intégration: Les LLM pourraient devenir des assistants numériques personnels. Pensez à Siri sur les stéroïdes, et vous aurez une idée. Les LLM pourraient devenir des assistants virtuels qui vous aideraient à tout faire, des suggestions de repas à la gestion de votre correspondance.

Il ne s’agit là que de quelques-uns des domaines dans lesquels les LLM sont susceptibles de prendre une place plus importante dans notre mode de vie.

Les LLM transforment et éduquent

Les LLM ouvrent un monde passionnant de possibilités. L’essor rapide des chatbots tels que ChatGPT, Bing Chat et Google Bard est la preuve des ressources investies dans ce domaine.

Une telle prolifération de ressources ne peut que voir ces outils devenir plus puissants, plus polyvalents et plus précis. Les applications potentielles de ces outils sont vastes et, pour l’instant, nous ne faisons qu’effleurer la surface d’une nouvelle ressource incroyable.