Lorsque Google a lancé Bard, sa réponse au ChatGPT d’OpenAI, il lui manquait une fonctionnalité très appréciée des utilisateurs de ChatGPT : la possibilité d’écrire du code. Toutefois, à la demande générale, Google a donné un coup de pouce à Bard en lui permettant d’écrire du code dans des dizaines de langages de programmation.
Depuis, Google s’est félicité de la capacité de Bard à écrire et à déboguer du code, mais comment se compare-t-il au phénoménal ChatGPT ? Découvrons-le.
ChatGPT vs. Bard : Soutien linguistique
Officiellement, Bard de Google peut fonctionner avec environ 20 langages de programmation. Il s’agit principalement de langages populaires comme Typescript, Python, C++, Go, Java, JavaScript et PHP. Il peut encore gérer des options moins populaires comme Perl et Scala, mais n’est pas nécessairement aussi efficace.
ChatGPT, quant à lui, n’a pas de liste officielle de langages pris en charge. Le chatbot peut gérer la plupart des langages que Bard peut gérer et des dizaines d’autres. ChatGPT peut écrire, déboguer et expliquer du code dans les langages de programmation les plus récents et les plus populaires, ainsi que dans des langages plus anciens et moins populaires comme Fortran, Pascal, BASIC et COBOL.
Cependant, l’assistance n’est pas nécessairement synonyme de compétence. Nous avons testé quelques tâches simples dans des langages sélectionnés comme PHP, JavaScript, BASIC et C++. Bard et ChatGPT ont tous deux été en mesure de prendre en charge les langages de programmation les plus courants, mais seul ChatGPT a été en mesure d’assembler de manière convaincante des programmes dans des langages plus anciens. Ainsi, en termes de support linguistique, nous donnons la victoire à ChatGPT.
ChatGPT vs. Bard : Précision et qualité du code
Supposons que vous demandiez à ChatGPT ou à Bard de générer un morceau de code qui fait quelque chose, et qu’il produise des dizaines de lignes de code en quelques secondes. Facile, n’est-ce pas ? Mais à quelle fréquence ce code fonctionnera-t-il ? Disons que le code fonctionne ; quelle est la qualité de ce code ?
Pour comparer la précision et la qualité du code généré par les deux chatbots IA, nous leur avons confié des tâches de codage. Nous avons demandé à Bard et à ChatGPT de générer une simple application de liste de tâches en utilisant HTML, CSS et JavaScript. Après avoir copié-collé et visualisé le code généré dans un navigateur, l’application de ChatGPT ressemblait à ceci :
La version de ChatGPT permet d’ajouter une nouvelle tâche, de supprimer une tâche ou de marquer une tâche comme terminée. Le Bard de Google a également été en mesure de générer une application de liste de tâches fonctionnelle. Cependant, vous ne pouvez qu’ajouter une tâche, sans possibilité de la supprimer ou de la marquer comme terminée. L’interface de Bard semblait également moins attrayante ; voici à quoi elle ressemblait :
Nous avons répété le test, en demandant cette fois aux deux chatbots de recréer les cartes de la timeline de Twitter. Voici le résultat de ChatGPT :
Et voici ce que Google’s Bard a produit :
Les deux résultats ont leurs avantages et leurs inconvénients. Nous aurions choisi les résultats de Bard s’il y avait eu les boutons « like », « retweet » et « comment ». Cependant, il les a curieusement laissés de côté, alors nous vous laissons décider lequel est le meilleur. Bien entendu, la qualité d’un code ne se limite pas à l’esthétique de ce qu’il produit.
En analysant le code généré par les deux chatbots, celui de Bard semblait plus orienté objet alors que celui de ChatGPT était plus procédural. Notre choix de langage de programmation pourrait influencer cela, mais ChatGPT semble écrire un code plus propre lorsque c’est nécessaire. Il a également tendance à générer des solutions plus complètes, ce qui entraîne généralement plus de lignes de code.
En termes de qualité du code généré, nous attribuons cette manche à ChatGPT.
ChatGPT vs. Bard : Débogage et détection d’erreurs
Les erreurs et les bogues sont comme des puzzles que les programmeurs adorent détester. Ils vous rendent fou, mais les résoudre est très satisfaisant. Lorsque vous rencontrez des bogues dans votre code, devriez-vous faire appel à Bard ou à ChatGPT pour obtenir de l’aide ? Pour en décider, nous avons donné aux deux chatbots IA deux problèmes de débogage à résoudre.
Tout d’abord, nous avons demandé aux deux chatbots de résoudre une erreur logique dans un code PHP. Les erreurs logiques sont notoirement plus difficiles à repérer car le code qui les contient n’a pas l’air erroné, il ne fait simplement pas ce que le programmeur avait prévu.
Le code de cette capture d’écran s’exécute, mais ne fonctionne pas. Pouvez-vous repérer l’erreur logique ? Nous avons demandé de l’aide à Bard de Google et, malheureusement, le chatbot n’a pas pu déceler l’erreur logique dans le code. Nous avons vérifié les trois ébauches et elles étaient toutes erronées.
Nous avons alors demandé de l’aide à ChatGPT, qui a immédiatement identifié l’erreur logique.
Le script PHP n’avait pas d’erreurs de syntaxe, mais la logique dans le code isOdd() était rétrograde. Pour savoir si un nombre est impair, on vérifie généralement s’il y a un reste après une division par 2. Si c’est le cas, il s’agit d’un nombre impair.
Alors que Bard était loin d’avoir identifié ce bogue, ChatGPT l’a repéré du premier coup. Nous avons essayé quatre autres erreurs logiques et Bard n’a pu identifier l’erreur que dans un seul cas, alors que ChatGPT l’a toujours fait. Après être passé à un code contenant des erreurs de syntaxe, Bard de Google a été capable de suivre, les identifiant dans presque tous les échantillons présentés.
Google’s Bard est relativement bon en matière de débogage, mais nous donnons une fois de plus la victoire à ChatGPT.
ChatGPT vs. Bard : Conscience du contexte
L’un des plus grands défis liés à l’utilisation des chatbots d’IA pour le codage est leur connaissance relativement limitée du contexte. Vous demandez au chatbot d’écrire du code, puis d’en écrire d’autres… au bout du compte, il oublie complètement que la chose suivante qu’il est en train de construire fait partie du même projet.
Par exemple, supposons que vous construisiez une application web avec un chatbot IA. Vous lui demandez d’écrire le code de votre page HTML d’enregistrement et de connexion, et il le fait parfaitement. Puis, au fur et à mesure que vous construisez, vous demandez au chatbot de générer un script côté serveur pour gérer la logique de connexion. Il s’agit d’une tâche simple, mais en raison d’une connaissance limitée du contexte, le chatbot pourrait générer un script de connexion avec de nouvelles variables et des conventions de dénomination qui ne correspondent pas au reste du code.
Alors, quel chatbot est le plus à même de conserver la connaissance du contexte ? Nous avons donné aux deux outils la même tâche de programmation : une application de chat que nous savons que ChatGPT peut déjà construire.
Malheureusement, Bard n’a tout simplement pas pu terminer l’application parce qu’il a perdu le fil du contexte du projet après être resté inactif pendant un certain temps. Bien que soumis aux mêmes conditions, ChatGPT a terminé l’application. Une fois de plus, en termes de connaissance du contexte, nous donnons raison à ChatGPT.
ChatGPT vs. Bard : Résolution de problèmes
À ce stade, le Barde de Google présente de nombreuses lacunes. Mais peut-il enfin remporter une victoire ? Testons ses capacités de résolution de problèmes. Il arrive que vous ayez un problème, mais que vous ne sachiez pas comment le représenter de manière programmatique, et encore moins comment le résoudre.
C’est dans ce genre de situation que les chatbots IA comme Bard et ChatGPT peuvent s’avérer très utiles. Mais quel chatbot a les meilleures capacités de résolution de problèmes ? Nous leur avons demandé à tous les deux de « d’écrire un code JavaScript qui compte le nombre de fois qu’un mot particulier apparaît dans un texte.«
Bard a répondu avec un code fonctionnel, bien qu’il échoue lorsque des signes de ponctuation sont proches d’un mot ou que le mot apparaît dans différents cas.
Nous avons soumis le même problème à ChatGPT et voici le résultat :
Le code de ChatGPT adopte une approche plus robuste et plus précise pour compter les occurrences de mots dans un texte. Il prend en compte les frontières entre les mots et la sensibilité à la casse, traite correctement la ponctuation et donne des résultats plus fiables. Une fois de plus, en termes de résolution de problèmes, nous donnons raison à ChatGPT.
Puisque Google Bard a pratiquement perdu dans toutes les mesures que nous avons utilisées pour la comparaison, nous avons décidé de lui donner une chance de se racheter. Nous avons demandé au chatbot « Qui est le meilleur en codage ? ChatGPT ou Google Bard ?«
Tout en reconnaissant que ChatGPT était plus créatif, Bard a déclaré que son concurrent était plus susceptible de faire des erreurs et que ChatGPT produisait un code moins efficace, mal structuré et généralement moins fiable. Nous ne sommes pas d’accord !
ChatGPT est dans une ligue à part
Le Bard de Google a fait l’objet d’un grand battage médiatique, il peut donc être surprenant de constater à quel point il est inférieur à ChatGPT. Alors que ChatGPT avait clairement une longueur d’avance, on pourrait penser que les ressources massives de Google l’aideraient à éroder cet avantage.
Malgré ces résultats, il serait imprudent d’écarter Bard en tant qu’aide à la programmation. Même s’il n’est pas aussi puissant que ChatGPT, Bard a une force de frappe non négligeable et évolue rapidement. Compte tenu des ressources de Google, l’émergence de Bard en tant que rival digne de ce nom n’est certainement qu’une question de temps.