Avec la nouvelle version de ChatGPT, GPT-4, sortie en mars 2023, beaucoup se demandent maintenant pourquoi elle est si lente par rapport à son prédécesseur, GPT-3.5. Quelle en est la raison principale ?
Pourquoi ChatGPT-4 est-il si lent, et devriez-vous vous en tenir à GPT-3.5 ?
Qu’est-ce que ChatGPT-4 ?
ChatGPT-4 est le modèle le plus récent du chatbot d’OpenAI, connu généralement sous le nom de ChatGPT. ChatGPT est alimenté par l’intelligence artificielle, ce qui lui permet de répondre à vos questions et à vos invites bien mieux que les chatbots précédents. ChatGPT utilise un grand modèle de langage alimenté par un GPT (Generative Pre-trained Transformer) pour fournir des informations et du contenu aux utilisateurs tout en étant capable de converser.
ChatGPT dispose d’un large éventail de capacités, ce qui le rend utile pour des millions de personnes. Par exemple, ChatGPT peut écrire des histoires, formuler des blagues, traduire du texte, éduquer les utilisateurs, etc. Bien que ChatGPT puisse également être utilisé pour des actes plus illicites, tels que la création de logiciels malveillants, sa polyvalence est quelque peu révolutionnaire.
Le modèle GPT-4 de ChatGPT a été publié le 14 mars 2023. Cette version de ChatGPT est conçue pour mieux comprendre le langage émotionnel à travers le texte, ainsi que les différents dialectes et le traitement des images. Le GPT-4 peut également tenir des conversations plus longues et répondre efficacement à des demandes plus longues de la part de l’utilisateur.
En outre, les paramètres de GPT-4 dépassent largement ceux de GPT-3.5. Les paramètres de ChatGPT déterminent la manière dont l’IA traite les informations et y répond. En bref, les paramètres déterminent la capacité du chatbot à interagir avec les utilisateurs. Alors que GPT-3.5 compte 175 milliards de paramètres, GPT-4 en compte entre 100 000 et 170 000 milliards (rumeur – OpenAI n’a pas confirmé ce chiffre).
C’est le GPT-3.5 d’OpenAI qui a été utilisé pour alimenter ChatGPT, qui est aujourd’hui le chatbot d’IA le plus populaire au monde. Le GPT-3.5 a donc indéniablement marqué le domaine de l’IA. Mais les choses progressent toujours dans l’industrie technologique, et il n’est donc pas surprenant que le GPT-3.5 ait maintenant un successeur, le GPT-4.
Cependant, le GPT-4 est loin d’être parfait. En fait, les longs temps de réponse de GPT-4 ont fait beaucoup de bruit. Examinons donc ce problème et ses causes.
ChatGPT-4 est lent
Lors de la sortie de GPT-4, beaucoup ont remarqué que le nouveau chatbot d’OpenAI était incroyablement lent. Cela a frustré de nombreux utilisateurs, car le GPT-4 était censé être une amélioration par rapport au GPT-3.5, et non un retour en arrière. En conséquence, les utilisateurs de GPT-4 se sont rendus sur des plateformes en ligne, telles que Reddit et le forum communautaire d’OpenAI, pour discuter de ce problème.
Sur le forum communautaire de l’OpenAI, un certain nombre d’utilisateurs ont fait part de leurs frustrations concernant le retard du GPT-4. L’un d’entre eux a déclaré que GPT-4 était « extrêmement lent » de son côté et que même les petites requêtes adressées au chatbot entraînaient des délais anormalement longs de plus de 30 secondes.
D’autres utilisateurs ont rapidement partagé leurs expériences avec GPT-4, l’un d’entre eux commentant sous le post que « le même appel avec les mêmes données peut prendre jusqu’à 4 fois plus de temps que 3.5 turbo ».
Dans un autre message du forum communautaire de l’OpenAI, un utilisateur a indiqué que ses demandes sont parfois accueillies par un message « error in body stream » (erreur dans le flux de données), ce qui fait qu’il n’y a pas de réponse. Dans le même fil de discussion, une autre personne a déclaré qu’elle n’arrivait pas à faire en sorte que GPT-4 « réponde avec succès avec un script complet ». Un autre utilisateur a indiqué qu’il rencontrait constamment des erreurs de réseau lorsqu’il essayait d’utiliser GPT-4.
Avec des retards et des réponses incomplètes, il semble que GPT-4 soit parsemé de problèmes qui découragent rapidement les utilisateurs.
Pourquoi, exactement, cela se produit-il ? Y a-t-il quelque chose qui ne va pas avec le GPT-4 ?
Pourquoi GPT-4 est-il lent par rapport à GPT-3.5 ?
Dans le message du forum communautaire de l’OpenAI mentionné ci-dessus, un utilisateur a répondu en suggérant que le retard était dû à un « problème actuel de surcharge de l’ensemble de l’infrastructure », ajoutant qu’il était difficile de « s’attaquer à l’évolutivité dans un délai aussi court avec une telle popularité et un tel nombre d’utilisateurs à la fois du chat et de l’API ».
Dans un post Reddit téléchargé dans le subreddit r/singularity, un utilisateur a présenté quelques raisons possibles de la lenteur de GPT-4, en commençant par une taille de contexte plus importante. Dans l’écosystème GPT, la taille du contexte fait référence à la quantité d’informations qu’une version donnée du chatbot peut traiter et produire. Alors que la taille du contexte de GPT-3.5 était de 4K, celle de GPT-4 est le double. Le fait d’avoir une taille de contexte de 8K peut donc avoir un impact sur les vitesses globales de GPT-4.
L’auteur de Reddit a également suggéré que l’amélioration de l’orientation et du contrôle de GPT-4 pourrait jouer un rôle dans les temps de traitement du chatbot. L’auteur a déclaré que les capacités de pilotage et de contrôle des hallucinations et du langage inapproprié de GPT-4 pourraient être les coupables, car ces caractéristiques ajoutent des étapes supplémentaires à la méthode de traitement de l’information de GPT-4.
En outre, il a été proposé que la capacité du GPT-4 à traiter les images puisse ralentir les choses. Cette fonction utile est appréciée par beaucoup, mais elle pourrait avoir un inconvénient. Étant donné que, selon certaines rumeurs, GPT-4 prend 10 à 20 secondes pour traiter une image fournie, il est possible que ce composant allonge les temps de réponse (bien que cela n’explique pas les retards subis par les utilisateurs qui ne fournissent que des invites textuelles).
D’autres utilisateurs ont suggéré que la nouveauté de ChatGPT-4 joue un rôle important dans ces retards. En d’autres termes, certains pensent que le chatbot le plus récent d’OpenAI a besoin de connaître quelques difficultés de croissance avant que tous les défauts puissent être corrigés.
Mais la principale raison de la lenteur de GPT-4 est le nombre de paramètres auxquels GPT-4 peut faire appel par rapport à GPT-3.5. L’augmentation phénoménale du nombre de paramètres signifie simplement qu’il faut plus de temps au nouveau modèle GPT pour traiter les informations et répondre avec précision. La complexité accrue permet d’obtenir de meilleures réponses, mais il faut un peu plus de temps pour y parvenir.
Faut-il choisir GPT-3.5 plutôt que GPT-4 ?
Compte tenu de ces questions, devriez-vous utiliser GPT-3.5 ou GPT-4 ?
À l’heure où nous écrivons ces lignes, il semble que GPT-3.5 soit l’option la plus rapide par rapport à GPT-4. Tant d’utilisateurs ont connu des retards qu’il est probable que le problème de temps soit présent dans tous les cas, et pas seulement chez quelques individus. Par conséquent, si ChatGPT-3.5 répond actuellement à toutes vos attentes et que vous ne souhaitez pas attendre une réponse en échange de fonctionnalités supplémentaires, il peut être judicieux de s’en tenir à cette version pour l’instant.
Cependant, vous devez noter que GPT-4 n’est pas simplement GPT-3.5, mais plus lent. Cette version du chatbot d’OpenAI présente de nombreux avantages par rapport à son prédécesseur. Si vous êtes à la recherche d’un chatbot d’IA plus avancé et que cela ne vous dérange pas d’attendre plus longtemps pour obtenir des réponses, il peut être intéressant de passer de GPT-3.5 à GPT-4.
Avec le temps, les retards de GPT-4 peuvent être réduits ou entièrement résolus, la patience peut donc être une vertu dans ce cas. Que vous essayiez de passer à GPT-4 maintenant ou que vous attendiez un peu plus longtemps pour voir comment les choses se passent avec cette version, vous pouvez toujours tirer beaucoup de profit du petit chatbot d’OpenAI.
GPT-4 est plus avancé, mais avec un décalage
Bien que le GPT-4 offre de nombreuses fonctionnalités avancées par rapport au GPT-3.5, ses retards importants et ses erreurs de réponse l’ont rendu inutilisable pour certains. Ces problèmes pourraient être résolus dans un avenir proche, mais pour l’instant, GPT-4 a certainement des obstacles à surmonter avant d’être accepté à plus grande échelle.
