Lume Pad 2 : La tablette 3D alimentée par l’IA est étonnante et étrange

La description de la Lume Pad 2 ressemble à un assemblage de mots à la mode : il s’agit d’une tablette 3D dotée d’une intelligence artificielle !

Mais qu’est-ce que cela signifie ? Pour ce qui est de l’IA, elle est dotée d’une IA intégrée à l’appareil pour analyser les photos et les vidéos et les convertir en 3D, ainsi que d’une IA générative dans le nuage pour créer des scènes 3D à partir de textes. Et la partie 3D ? C’est vrai aussi : il s’agit d’un écran 3D sans lunettes. Une véritable 3D, avec une image unique transmise à chaque œil.

Voici le Lume Pad 2 d’une société appelée Leia (oui, comme la princesse de Star Wars). C’est la chose la plus unique et la plus fascinante que j’ai vue depuis longtemps, mais je ne suis pas convaincu qu’elle ait un marché au-delà d’une poignée d’industries spécialisées.

Écran 3D sans lunettes

Au cœur de l’appareil se trouve une technologie d’affichage propriétaire unique (« Light Field ») qui permet à un seul utilisateur de voir les applications prises en charge dans une véritable vue en 3D, sans lunettes supplémentaires ni casque. Le fonctionnement précis de cette technologie n’est pas divulgué, mais il s’agit probablement d’une variante des lentilles lenticulaires – celles que l’on trouve dans les paquets de céréales lorsque l’on est enfant. Lorsque vous déplacez la scène, le prisme translucide situé à l’avant dirige vers vos yeux une partie différente de l’image d’arrière-plan, ce qui donne l’impression que la scène change. Le Lume Pad 2 affiche deux images à tout moment, mais la couche spéciale de l’écran, combinée à deux caméras frontales pour le suivi de la tête et des yeux, garantit que chaque œil n’en voit qu’une seule. Lorsque votre cerveau les combine, vous pouvez voir une scène en 3D.

Cela peut être assez magique à voir en personne (« Whhhaaaaaaat », s’est exclamé mon fils, « Papa, ça sort de l’écran. Quoi ? Comment ? Quoi ?! »)

En outre, le Lume Pad 2 est une tablette Android, dotée d’un logiciel personnalisé qui permet de prendre des photos et des vidéos en 3D, ou d’utiliser l’IA pour transformer des vidéos existantes en 3D.

Le matériel

Le Lume Pad 2 dispose d’un écran IPS de 12,4 pouces avec une fréquence de rafraîchissement de 120 Hz et une résolution de 2560 x 1600 pixels, avec une densité de pixels de 244 PPI et un ratio 16:10. Cependant, en mode 3D, on peut supposer que la résolution est divisée par deux.

Si l’on oublie un instant le mode 3D et que l’on se contente d’évaluer cette tablette Android, on peut dire qu’elle m’impressionne. C’est un châssis métallique solide, agréable au toucher, et il y a un retour haptique agréable lors de la frappe. L’étui optionnel s’enclenche magnétiquement et permet plusieurs angles de lecture.

L’interface Android 12 est rapide et, à part les logiciels préinstallés, il s’agit d’une tablette Google Android standard qui n’a pas fait l’objet de trop de travaux personnalisés.

En bref : c’est une belle tablette, certainement l’une des meilleures tablettes Android avec lesquelles j’ai joué jusqu’à présent. Avec une luminosité maximale de 450 nits en mode 2D et de 300 nits en mode 3D, elle ne peut être utilisée qu’à l’intérieur.

Vous trouverez également deux caméras arrière de 16 mégapixels, qui vous permettront de prendre des photos et des vidéos en 3D directement sur l’appareil. Contrairement à la plupart des caméras 3D, elles ne sont pas espacées comme le seraient des yeux humains. La plupart des appareils photo destinés à enregistrer un effet 3D pour les yeux humains ont des lentilles espacées d’environ 63 mm, ce qui correspond à la taille moyenne d’un être humain, et garantit que l’effet 3D sera perçu par le spectateur. Mais avec le Lume Pad 2, l’appareil est doté d’une fonction qui extrapole la profondeur en temps réel.

La tablette est équipée d’un chipset Qualcomm Snapdragon 888, de 8 Go de RAM et de 128 Go de stockage UFS 3.1. Vous pouvez l’étendre via un slot microSD avec des cartes allant jusqu’à 2TB, ce que vous voudrez faire rapidement si vous avez l’intention de faire bon usage de l’appareil photo ou de lire vos propres médias hors ligne.

Le logiciel

Au-delà de l’écran 3D magique sans lunettes, la véritable valeur du Lume Pad 2 provient du logiciel personnalisé intégré.

LeiaPlayer est une visionneuse de médias tout-en-un, pour votre propre rouleau d’appareils photo 3D, et une belle collection d’exemples d’images. De plus, en cliquant sur l’onglet Leia Link, vous pourrez accéder au contenu que vous avez téléchargé depuis un smartphone classique avec l’application Leia Link, et que leur logiciel peut ensuite transformer en 3D comme par magie. Cela fonctionne en général, mais seulement sur des scènes où la profondeur est évidente. J’ai essayé avec une photo de famille où l’on était assis dans un kart, et la profondeur n’était pas du tout la bonne. Leia Player peut lire des vidéos au format VR180 et côte à côte (SBS), mais il faut souvent le spécifier. J’ai essayé de regarder une vidéo au format SBS et, pour être honnête, la profondeur était très faible et il n’y avait pas de son. Je suppose qu’il y avait des problèmes de codec. LeiaPlayer n’est certainement pas au même niveau que VLC lorsqu’il s’agit de codecs aléatoires, donc c’était un peu un échec. Même s’il y avait eu du son, je ne m’en serais pas soucié. Je pense qu’un casque VR deux fois moins cher ferait un bien meilleur travail.

LeiaPix est une application de réseau social qui permet de partager et de visualiser les photos 3D des autres. Si vous cherchez un hashtag ou un sujet spécifique, vous constaterez que le contenu est peu abondant, mais c’est un moyen simple de visualiser des images 3D au hasard. La qualité varie, il est donc possible que ces photos aient été prises avec l’ancienne version du Lume Pad.

LeiaChat vous permet de discuter en 3D avec d’autres utilisateurs du Lume Pad 2, en 3D, lorsque les appels Zoom standard ne suffisent plus. Bien entendu, les deux utilisateurs doivent être équipés d’un Lume Pad.

LeiaDream est une application d’art 3D génératif. Je suppose qu’il s’agit d’une version personnalisée de StableDiffusion, mais il est possible qu’elle soit totalement propriétaire. Quoi qu’il en soit, elle permet de taper un texte et d’obtenir une image 3D personnalisée. On est loin du niveau de réalisme de Midjourney, et comme il s’agit d’un service en nuage, votre compte est fourni avec suffisamment de crédits pour générer environ 250 images – après quoi, vous devrez acheter d’autres crédits.

LeiaViewer est une visionneuse de modèles 3D avec une poignée de modèles inclus, et une intégration avec Sketchfab si vous en voulez plus ou pour voir vos propres créations (bien que seule une connexion par défaut à l’email de Sketchfab soit prise en charge, pas si vous vous êtes inscrit par le biais d’un fournisseur social). Il s’agit probablement du cas d’utilisation le plus convaincant pour le Lume Pad 2, les modèles 3D étant évidemment parfaitement adaptés à la technologie d’affichage sans lunettes. Vous pouvez incliner, faire pivoter, zoomer, etc. et contrôler la profondeur de l’effet 3D.

LeiaTube est une visionneuse YouTube et Vimeo. Ouvrez-le et vous verrez une sélection de contenus, bien que même les contenus au format SBS 3D natif doivent être passés par l’algorithme de conversion AI. Vous pouvez également partager une vidéo depuis l’application YouTube standard directement vers cette application, qui la convertira automatiquement en vue d’un visionnage en 3D. J’ai essayé avec l’une de mes propres revues et, pour être honnête, ce n’était pas terrible. L’effet n’était pas aussi prononcé ni aussi précis que je l’espérais ; il y avait certainement quelques pépins ici et là, avec des bords flous autour des objets où l’on pouvait déterminer la profondeur.

Cela fait beaucoup d’applications intégrées, et il y a également une application Leia App Store. Cependant, il est un peu clairsemé, avec seulement quatre jeux au total. En réalité, à moins qu’il ne s’agisse d’un titre de Leia Inc, il est peu probable qu’un grand nombre de développeurs se joignent à ce petit marché. On ne peut pas se contenter de prendre des jeux existants et d’en faire des jeux en 3D. Les deux démos de jeux gratuites préinstallées sur notre appareil étaient fascinantes, mais elles n’ont pas réussi à retenir mon attention plus de cinq minutes chacune, si ce n’est plus.

Bien qu’il y ait beaucoup d’applications intégrées, il ne faut pas s’attendre à ce que quoi que ce soit d’autre prenne en charge la fonctionnalité 3D. Vous ne pourrez pas ouvrir VLC et lire un film encodé en SBS, par exemple, et Call of Duty ne gagnera pas soudainement une troisième dimension. Pour utiliser la technologie 3D unique, une application doit prendre en charge le SDK Leia. Les autres applications Android fonctionneront sans problème, mais elles ne s’afficheront qu’en 2D.

Comment fonctionne l’effet de profondeur ?

J’étais sceptique à l’égard de la technologie d’affichage sans lunettes au début de cet examen, mais elle peut être tout à fait stupéfiante dans les bonnes conditions. Bien qu’il soit impossible de le montrer sur une vidéo, je peux parler de la qualité subjective de l’effet 3D et de l’écran en général.

Tout d’abord, le degré d’effet de profondeur varie considérablement selon l’application et le type de contenu que vous regardez.

L’effet le plus intéressant est obtenu avec des objets en 3D. Par exemple, si vous ouvrez l’application LeiaViewer 3D et que vous regardez la ville cyberpunk incluse (avec des voitures animées qui tournent en rond), vous verrez que la flèche la plus haute semble dépasser de près de 15 cm de la surface de la tablette. C’est incroyable.

Il en va de même pour les démos des jeux, et c’est dans le jeu Dungeon que les fonctions de suivi de la tête sont clairement visibles. Non seulement les murs du donjon prennent vie en 3D, mais si vous inclinez la tablette ou si vous vous déplacez, vous verrez des angles auparavant cachés. C’est une expérience unique que je n’ai jamais vécue qu’en RV.

Lorsqu’il s’agit d’images ou de vidéos, l’effet n’est pas aussi prononcé, à tel point que je ne prendrais pas la peine de regarder des films en 3D sur cet appareil ; ce n’est tout simplement pas convaincant par rapport au cinéma virtuel VR. Il s’agit peut-être simplement d’un « facteur de réalisme ». Un contenu 3D rendu sera toujours plus impressionnant qu’une scène réelle, car nous sommes habitués à cette dernière dans la vie réelle.

Suivi et qualité visuelle

D’une manière générale, tant que je n’étais pas dans un angle trop obtus, le suivi du visage et des yeux semblait fonctionner correctement. Je n’ai pas eu beaucoup de problèmes de retour en mode 2D uniquement, sauf lorsque mon fils a décidé de mettre son visage à l’intérieur pour voir ce qu’il en était. L’appareil ne peut pas suivre plus d’une personne à la fois et il lui faut parfois une ou deux secondes pour se rendre compte qu’il y a un nouveau spectateur. Puis, comme par magie, tout s’affiche en 3D.

L’affichage est cependant loin d’être parfait ; deux points nuisent à l’expérience globale.

Tout d’abord, l’écran présente un léger maillage en pointillés de type « porte d’écran ». Il s’agit probablement d’une partie de la couche lenticulaire qui sépare l’image pour chaque œil. Ce phénomène est particulièrement visible lorsque la tablette est activée en mode 3D. Si le matériel de la tablette est par ailleurs très agréable et réactif en tant que tablette Android générique, la qualité de l’écran peut s’avérer frustrante.

Deuxièmement, il y a aussi un problème assez évident d’images fantômes. Cela signifie que chaque œil peut voir l’image destinée à l’autre œil, bien que très faiblement. Dans l’exemple ci-dessus, l’image rémanente à l’arrière des ailes est également présente lorsque l’on regarde en 3D, et n’est pas seulement le résultat du tournage.

Il ne s’agit pas tant d’une critique à l’égard de cette tablette en particulier que d’un défaut de la technologie sous-jacente, qui n’est d’ailleurs pas propre aux écrans sans lunettes. Si vous avez déjà regardé des films en 3D passive (ceux qui impliquent une paire de lunettes fragiles), vous constaterez qu’ils ont également tendance à présenter des images fantômes. C’est parce qu’il est presque impossible de faire culminer parfaitement la lumière dans une direction particulière. Il est possible d’obtenir un effet 3D, mais si vous faites une pause et que vous examinez l’image d’un œil critique, vous constaterez la présence d’images fantômes. Ce phénomène est plus évident pour les objets lumineux sur un fond sombre. Seuls les écrans 3D actifs (ceux qui nécessitent des lunettes LCD plus lourdes avec une batterie) peuvent éliminer complètement les images fantômes, puisqu’ils alternent les images et bloquent complètement la vue d’un œil à chaque fois.

S’agit-il de l’écran 3D ultime ? Non.

Le Lume Pad 2 est vraiment magique à voir. C’est une merveille technologique, et j’aimerais avoir un meilleur moyen de vous le montrer, mais comme pour la RV, c’est quelque chose que vous devez expérimenter par vous-même.

Mais je sais ce que vous pensez : c’est une mode. Il y a une dizaine d’années encore, j’étais un fervent partisan des téléviseurs et projecteurs 3D. J’ai même passé une bonne partie de mon temps universitaire à jouer à Unreal Tournament 2K avec les lunettes 3D originales de Nvidia et un énorme moniteur CRT de Silicon Graphic. Mais les sorties de films en 3D se sont largement taries (quatre depuis le début de l’année, semble-t-il), et les gens se sont rendu compte que le fait de devoir porter des lunettes spéciales pour regarder un film était une corvée pour des résultats souvent pires que sans.

Bien sûr, la beauté du Lume Pad 2 est qu’il fonctionne sans lunettes et qu’il fonctionne tout simplement (bien que pour un seul spectateur).

Le fait qu’il dispose d’un système d’intelligence artificielle intégré pour convertir les contenus non 3D, et d’un moyen de produire ses propres photos et films en 3D sur l’appareil lui-même, lui donne, je pense, du poids. Même si le monde cessait de produire du contenu 3D demain et qu’Internet s’effondrait, vous pourriez toujours produire et afficher vos propres créations à partir de cet appareil. Leia s’est vraiment efforcé de produire un contenu attrayant avec un réseau social personnalisé réservé aux utilisateurs du Lume Pad, et ils ont compris qu’il ne suffit pas d’avoir une technologie incroyable, il faut aussi les applications et le contenu qui l’accompagnent. C’est très encourageant.

Cependant, comprendre un problème et être capable de le résoudre sont deux choses différentes.

La plus grande limitation du Lume Pad 2 est qu’il n’y a aucun moyen de l’utiliser comme écran 3D générique pour n’importe quelle source d’entrée. S’il disposait d’un port d’entrée HDMI ou d’un dongle, et pouvait lire n’importe quelle entrée au format SBS en mode 3D, il deviendrait instantanément un produit d’achat pour un marché beaucoup plus large. Par exemple, le casque de cinéma Goovis G3 Max persona, que nous avons examiné la semaine dernière, peut faire exactement cela. Il prend n’importe quelle entrée USB-C ou HDMI – qu’il s’agisse d’un lecteur Blu-ray 3D ou d’un lecteur multimédia générique exécutant VLC avec des fichiers au format SBS, ou YouTube, ou même un PC de jeu avec un logiciel qui sort des jeux 3D dans un format côte à côte – et il fonctionne tout simplement.

Avec le Lume Pad 2, tout ce que vous voulez utiliser en 3D doit être spécifiquement programmé avec le Leia SDK. Il ne fonctionnera même pas avec les applications Android conçues pour Google VR.

S’il n’y a pas d’application pour cela, c’est fini. Et franchement, il n’est pas non plus facile de transférer son propre contenu sur cet appareil. L’application Android File Transfer sur Mac n’est pas très performante dans le meilleur des cas, et j’ai dû installer une application Android aléatoire avec une interface épouvantable pour naviguer sur le réseau. Copier un fichier a été une expérience pénible.

Je pense que le véritable créneau de ce produit sera la modélisation 3D, ou plutôt la visualisation des modèles 3D que vous avez produits ailleurs et téléchargés sur Sketchfab. Mais il s’agit peut-être d’un public très spécialisé. Il est incroyablement captivant de voir la conception d’un objet en 3D prendre vie, et avec les objets 3D rendus, la profondeur que vous pouvez obtenir est incroyablement bonne. Et pour la poignée de personnes qui aiment encore la photographie stéréo : vous allez adorer.

Pour les autres, je n’en suis pas si sûr. Je comprends que Leia essaie de le rendre attrayant avec l’IA 3D-ifier de n’importe quelle vidéo YouTube, et l’appareil photo à l’arrière pour faire ses propres photos en 3D. Mais pour ces fonctionnalités, ça ne marche pas très bien. Tout comme je ne pense pas que quelqu’un enregistrera des moments familiaux en utilisant la caméra 3D frontale de l’Apple Vision Pro, je ne vous vois pas trimballer une tablette de 1000 dollars pour prendre des photos ou des vidéos. Ma plus grande inquiétude est donc qu’il n’y ait pas de marché pour cet appareil ; en tout cas, pas un marché suffisamment important pour convaincre les développeurs qu’il vaut la peine d’ajouter la prise en charge du SDK Leia à leurs applications.

Bien qu’il ne s’agisse pas d’un point de données définitif, le subreddit pour le Lume Pad – qui est peut-être le premier endroit où je me rendrais pour trouver de nouvelles applications, des conseils et des suggestions de contenu – compte un total de 105 membres.

Le matériel est incroyable, et le logiciel essaie tant bien que mal de trouver une véritable utilité, mais je ne pense pas qu’il y parvienne tout à fait. Pourtant, peut-être qu’il y parviendra avec le temps. Mais si vous possédez le Lume Pad précédent et que vous appréciez déjà ce que vous pouvez faire avec, le Lume Pad 2 est à tout point de vue une amélioration incroyable. Achetez-le, vous l’adorerez.