Alors qu’OpenAI ouvre la voie au développement de l’IA générative, nombreux sont ceux qui accusent Google d’être à la traîne. Cependant, pour ne pas être en reste, Google a lancé un nouveau grand modèle de langage, PaLM 2, lors de sa conférence Google I/O 2023.
Prévu en quatre tailles différentes pour une gamme d’applications, le nouveau LLM de Google alimente apparemment déjà plusieurs services de Google, et bien d’autres sont à venir.
Qu’est-ce que le PaLM 2 ?
Lors de la conférence Google I/O 2023, qui s’est tenue le 10 mai, Sunda Pichai, PDG de Google, a dévoilé le dernier jouet de Google : PaLM 2.
Abréviation de Pathways Language Model 2, le LLM amélioré de Google est la deuxième itération de PaLM, la première version ayant été lancée en avril 2022. Vous ne vous souvenez pas de PaLM ? Eh bien, à l’époque, c’était une grande nouvelle et il a suscité beaucoup d’intérêt pour sa capacité à converser un peu, à raconter des blagues basiques, etc. Six mois plus tard, le GPT-3.5 d’OpenAI a tout balayé sur son passage, y compris le PaLM.
Depuis, OpenAI a lancé GPT-4, une mise à jour massive de GPT-3.5. Alors que le nouveau modèle est intégré dans de nombreux outils, notamment Bing AI Chat de Microsoft, Google s’attaque à OpenAI et à GPT-4 avec PaLM 2 et espère que son LLM amélioré pourra combler ce qui semblait être un écart important – le lancement de Google Bard n’a pas été un succès retentissant.
Pichai a annoncé que le PaLM 2 serait disponible en quatre tailles différentes : Gecko, Otter, Bison et Unicorn.
Gecko est si léger qu’il peut fonctionner sur des appareils mobiles et est suffisamment rapide pour permettre d’excellentes applications interactives sur l’appareil, même lorsqu’il est hors ligne. Cette polyvalence signifie que PaLM 2 peut être affiné pour prendre en charge des classes entières de produits de différentes manières, afin d’aider un plus grand nombre de personnes.
La capacité de Gecko à traiter environ 20 tokens par seconde – les tokens sont les valeurs attribuées à des mots réels utilisés par des modèles d’IA générative – devrait changer la donne en matière d’outils d’IA mobiles déployables.
Données d’entraînement PaLM 2
Google n’a pas vraiment communiqué les données d’entraînement de PaLM 2, ce qui est compréhensible étant donné qu’il vient juste d’être publié. Mais le rapport PaLM 2 de Google [PDF] indique qu’il souhaite que PaLM 2 ait une meilleure compréhension des mathématiques, de la logique et de la science, et qu’une grande partie de son corpus d’entraînement se concentre sur ces sujets.
Il convient toutefois de noter que PaLM n’était pas en reste. Lorsque Google a dévoilé PaLM, il a confirmé qu’il avait été entraîné sur 540 milliards de paramètres, ce qui, à l’époque, était un chiffre colossal.
Le GPT-4 d’OpenAI utiliserait plus d’un trillion de paramètres, et certaines spéculations avancent même le chiffre de 1,7 trillion. Il y a fort à parier que Google souhaitant que PaLM 2 soit en concurrence directe avec les LLM d’OpenAI, il présentera, au minimum, un chiffre comparable, si ce n’est plus.
Les données d’entraînement linguistique constituent un autre atout important pour PaLM 2. Google a entraîné PaLM 2 dans plus de 100 langues afin de lui donner plus de profondeur et de compréhension contextuelle et d’augmenter ses capacités de traduction.
Mais il n’y a pas que les langues parlées. En lien avec la demande de Google pour que PaLM 2 fournisse un meilleur raisonnement scientifique et mathématique, le LLM a également été formé dans plus de 20 langages de programmation, ce qui en fait un atout phénoménal pour les programmeurs.
Le PaLM 2 alimente déjà les services de Google, mais il doit encore être peaufiné
Il ne faudra pas attendre longtemps avant de pouvoir mettre la main sur PaLM 2 et de voir ce qu’il peut faire. Avec un peu de chance, le lancement des applications et services PaLM 2 sera meilleur que celui de Bard.
Mais vous avez peut-être déjà (techniquement !) utilisé PaLM 2. Google a confirmé que PaLM 2 était déjà déployé et utilisé dans 25 de ses produits, dont Android, YouTube, Gmail, Google Docs, Google Slides, Google Sheets, etc.
Mais le rapport PaLM 2 révèle également qu’il y a encore du travail à faire, notamment en ce qui concerne les réponses toxiques dans plusieurs langues.
Par exemple, lorsque des invites toxiques lui sont spécifiquement proposées, PaLM 2 génère des réponses toxiques dans plus de 30 % des cas. En outre, dans des langues spécifiques (anglais, allemand et portugais), PaLM 2 génère des réponses toxiques dans plus de 17 % des cas, et les questions portant sur les identités raciales et les religions font grimper ce chiffre.
Quels que soient les efforts déployés par les chercheurs pour nettoyer les données d’entraînement LLM, il est inévitable que certaines d’entre elles se faufilent. La prochaine phase consistera à poursuivre l’entraînement du PaLM 2 afin de réduire ces réponses toxiques.
Les grands modèles de langage connaissent une période faste
OpenAI n’a pas été la première à lancer un grand modèle de langage, mais ses modèles GPT-3, GPT-3.5 et GPT-4 ont sans aucun doute éclairé le papier bleu de l’IA générative.
Le PaLM 2 de Google doit encore résoudre quelques problèmes, mais le fait qu’il soit déjà utilisé dans plusieurs services Google montre la confiance que l’entreprise a dans son dernier LLM.
