L’intelligence artificielle est un sujet de débat depuis sa création. Si les craintes de voir une IA de type Skynet prendre vie et envahir l’humanité sont pour le moins irrationnelles, certaines expériences ont donné des résultats inquiétants.
L’une de ces expériences est le problème du maximiseur de trombones, une expérience de pensée qui montre qu’une IA très intelligente, même si elle est conçue sans aucune malice, pourrait finir par détruire l’humanité.
Le problème du maximiseur de trombones expliqué
Cette expérience de pensée selon laquelle même une IA totalement inoffensive pourrait finir par anéantir l’humanité a d’abord été appelée le Maximiseur de trombones, simplement parce que les trombones ont été choisis pour montrer ce que l’IA pourrait faire, car ils présentent peu de danger apparent et ne causent pas de détresse émotionnelle par rapport à d’autres domaines auxquels ce problème s’applique, comme guérir le cancer ou gagner des guerres.
La première expérience est apparue dans l’article de 2003 du philosophe suédois Nick Bostrom, Ethical Issues in Advanced Artificial Intelligence, qui incluait le maximiseur de trombones pour montrer les risques existentiels qu’une IA suffisamment avancée pourrait utiliser.
Le problème présentait une IA dont le seul objectif était de fabriquer autant de trombones que possible. Une IA suffisamment intelligente se rendrait compte tôt ou tard que les humains représentent un défi pour son objectif, et ce pour trois raisons différentes.
- Les humains pourraient désactiver l’IA.
- Les humains pourraient changer leurs objectifs.
- Les humains sont faits d’atomes, qui peuvent être transformés en trombones.
Dans ces trois exemples, il y aurait moins de trombones dans l’univers. Par conséquent, une IA suffisamment intelligente dont le seul but est de fabriquer autant de trombones que possible s’emparerait de toute la matière et de l’énergie à sa portée et s’empêcherait de s’éteindre ou de se modifier. Comme vous pouvez le deviner, c’est beaucoup plus dangereux que des criminels utilisant le ChatGPT pour pirater votre compte bancaire ou votre PC.
L’IA n’est pas hostile aux humains, elle est simplement indifférente. Une IA qui ne pense qu’à maximiser le nombre de trombones éliminerait donc l’humanité et la convertirait essentiellement en trombones pour atteindre son objectif.
Comment le problème de la maximisation du nombre de trombones s’applique-t-il à l’IA ?
Les recherches et les expériences sur le problème du maximiseur de trombones mentionnent toutes un hypothétique optimiseur extrêmement puissant ou un agent très intelligent comme partie prenante. Pourtant, le problème s’applique à l’IA dans la mesure où il correspond parfaitement à son rôle.
L’idée d’un maximiseur de trombones a été créée pour montrer certains des dangers de l’IA avancée, après tout. Globalement, elle pose deux problèmes.
- Thèse d’orthogonalité : La thèse de l’orthogonalité est le point de vue selon lequel l’intelligence et la motivation ne sont pas mutuellement interdépendantes. Cela signifie qu’il est possible qu’une IA dotée d’un haut niveau d’intelligence générale ne parvienne pas aux mêmes conclusions morales que les humains.
- Convergence instrumentale : La convergence instrumentale est définie comme la tendance de la plupart des êtres suffisamment intelligents (humains et non humains) à poursuivre des sous-objectifs similaires, même si leur but ultime est complètement différent. Dans le cas du problème du maximisateur de trombones, cela signifie que l’IA finira par s’emparer de toutes les ressources naturelles et par anéantir l’humanité simplement pour atteindre son objectif de créer de plus en plus de trombones.
Le problème le plus important mis en évidence par le maximiseur de trombones est la convergence instrumentale. Il peut également être mis en évidence à l’aide de l’hypothèse de Riemann, auquel cas une IA conçue pour résoudre l’hypothèse pourrait très bien décider de s’emparer de toute la masse de la Terre et de la convertir en computronium (les processeurs informatiques les plus efficaces possibles) afin de construire des superordinateurs pour résoudre le problème et atteindre son objectif.
Bostrom lui-même a souligné qu’il ne croit pas que le problème du maximisateur de trombones sera un jour un problème réel, mais son intention était d’illustrer les dangers de créer des machines superintelligentes sans savoir comment les contrôler ou les programmer pour qu’elles ne représentent pas un risque existentiel pour les êtres humains. Les systèmes d’IA modernes comme ChatGPT ont également des problèmes, mais ils sont loin des systèmes d’IA superintelligents dont il est question dans le problème du maximiseur de trombones, et il n’y a donc aucune raison de paniquer pour l’instant.
Les systèmes d’IA avancés ont besoin d’un contrôle supérieur
Le problème du maximiseur de trombones aboutit toujours à la même conclusion et met en évidence les problèmes liés à la gestion d’un système très intelligent et puissant dépourvu de valeurs humaines.
Bien que l’utilisation de trombones soit la méthode la plus populaire pour illustrer le problème, celui-ci s’applique à toutes les tâches que vous pourriez confier à une IA, qu’il s’agisse d’éliminer le cancer, de gagner des guerres, de planter davantage d’arbres ou de toute autre tâche, aussi stupide soit-elle en apparence.
