Les entreprises de recherche et de déploiement de l’intelligence artificielle (IA), comme OpenAI, publient continuellement des fonctionnalités pour le bénéfice de l’humanité. En plus de ChatGPT, DALL-E, Point-E et d’autres outils à succès, OpenAI a lancé Shap-E, un nouveau modèle innovant.
Qu’est-ce que le Shap-E d’OpenAI et que peut-il faire pour vous ?
Qu’est-ce que le Shap-E d’OpenAI ?
En mai 2023, Alex Nichol et Heewon Jun, chercheurs et contributeurs d’OpenAI, ont publié un article annonçant Shap-E, la dernière innovation de l’entreprise. Shap-E est un nouvel outil formé sur un ensemble massif de données d’images 3D et de textes appariés qui peut générer des modèles 3D à partir de textes ou d’images. Il est similaire à DALL-E, qui peut créer des images 2D à partir de texte, mais Shap-E produit des actifs 3D.
Shap-E est formé à partir d’un modèle de diffusion conditionnelle et d’une cartographie des ressources en 3D. La cartographie des actifs 3D signifie que Shap-E apprend à associer du texte ou des images à des modèles 3D correspondants à partir d’un vaste ensemble de données d’objets 3D existants. Un modèle de diffusion conditionnelle est un modèle génératif qui part d’une version bruyante de la sortie cible et l’affine progressivement en supprimant le bruit et en ajoutant des détails.
En combinant ces deux éléments, Shap-E peut générer des modèles 3D réalistes et diversifiés qui correspondent au texte ou à l’image fournis et qui peuvent être visualisés sous différents angles et dans différentes conditions d’éclairage.
Comment utiliser Shap-E d’OpenAI
Shap-E n’a pas été rendu public comme d’autres outils de l’OpenAI, mais le poids de son modèle, le code d’inférence et des échantillons sont disponibles en téléchargement sur la page GitHub de Shap-E.
Vous pouvez télécharger gratuitement le code de Shap-E et l’installer à l’aide de la commande Python pip sur votre ordinateur. Vous avez également besoin d’un GPU NVIDIA et d’un CPU performant, car Shap-E est très gourmand en ressources.
Après l’installation, ouvrez les images 3D que vous générez sur Microsoft Paint 3D. De même, vous pouvez convertir les images en fichiers STL si vous souhaitez les imprimer à l’aide d’imprimantes 3D.
Vous pouvez également signaler des problèmes et trouver des solutions à des problèmes déjà soulevés par d’autres sur la page GitHub de Shap-E.
Ce que vous pouvez faire avec Shap-E d’OpenAI
Shap-E vous permet de décrire des idées complexes à l’aide d’une représentation visuelle des idées. Les applications potentielles de cette technologie sont illimitées, d’autant plus que les visuels ont généralement une portée bien plus grande que les textes.
En tant qu’architecte, vous pouvez utiliser Shap-E pour créer des modèles 3D de bâtiments et de structures à partir de descriptions écrites. Vous pouvez spécifier les dimensions, les matériaux, les couleurs et les styles des structures à l’aide de phrases simples. Par exemple, vous pouvez l’inviter à faire ce qui suit : « Créez un gratte-ciel de 60 étages avec des balustrades en verre » et exportez le(s) résultat(s) vers un autre logiciel pour le(s) modifier si vous aimez les résultats que vous obtenez.
Les joueurs et les artistes de l’animation peuvent améliorer les environnements virtuels et les expériences visuelles en créant des objets et des personnages 3D détaillés. En ingénierie, vous pouvez décrire les composants, les spécifications et les fonctions des machines et des équipements et obtenir les résultats dans des modèles 3D avant de créer des prototypes physiques.
En outre, même dans des domaines tels que l’éducation, Shap-E peut aider les éducateurs à communiquer des idées complexes et abstraites à leurs élèves dans des matières telles que la biologie, la géométrie et la physique.
Bien qu’il s’agisse encore d’un travail en cours, Shap-E est un pas en avant par rapport à POINT-E d’OpenAI, qui produit des nuages de points en 3D à partir d’invites textuelles. Les nuages de points sont limités dans leur expressivité et leur résolution, produisant souvent des formes floues ou incomplètes.
Générer des modèles 3D à l’aide de Shap-E d’OpenAI
Shap-E est une démonstration impressionnante de la puissance de l’IA pour créer du contenu 3D à partir de langage naturel ou d’images. Il permet de créer des objets en 3D pour les jeux vidéo, les expériences interactives de RV, les prototypes et d’autres usages. Bien qu’il n’y ait aucune garantie quant à la qualité du résultat, le modèle d’IA vous offre un moyen rapide et efficace de créer un modèle 3D de n’importe quoi.
En outre, ce modèle d’IA est une contribution importante dans le domaine de l’apprentissage profond et conduira probablement à de futures innovations et créations avancées.
