De SIRI à la conduite personnelle d’une automobile, l’intellect synthétique (IA) progresse rapidement. Alors que la science-fiction décrit généralement l’IA comme des robots aux caractéristiques semblables à celles de l’homme, l’IA peut englober tout, des techniques de recherche de Google à Watson d’IBM en passant par les outils autonomes. Aujourd’hui, les connaissances créées par l’homme sont correctement appelées IA étroite (ou IA affaiblie), en ce sens qu’elles doivent être développées pour effectuer une tâche étroite (par exemple, uniquement la reconnaissance faciale ou uniquement des recherches sur le Web ou uniquement la conduite d’une voiture). Néanmoins, l’objectif à long terme de plusieurs experts est de générer une IA générale (AGI ou IA solide). Alors que l’intelligence artificielle étroite peut surpasser les humains dans toutes ses tâches, comme jouer activement aux échecs ou résoudre des équations, l’AGI surpasserait les humains dans pratiquement toutes les tâches cognitives. À court terme, l’objectif de maintenir l’impact de l’IA sur la communauté bénéfique inspire des études dans de nombreux domaines, de l’économie et de la législation aux domaines technologiques tels que l’affirmation, l’applicabilité, la protection et le contrôle. Bien que ce ne soit rien de plus qu’une petite nuisance en cas d’accident ou de piratage de votre ordinateur portable, il peut être beaucoup plus essentiel qu’un programme d’IA fasse ce que vous voulez qu’il fasse s’il contrôle votre véhicule, votre avion, votre stimulateur cardiaque, votre système de trading automatisé ou votre réseau énergétique. Un autre défi à court terme consiste à arrêter une course aux armements écrasante dans des outils autonomes mortels. À long terme, une question essentielle pour vous est de savoir ce qui va se passer si la poursuite d’une IA forte réussit et si un système d’IA devient meilleur que les humains dans tous les domaines cognitifs. Comme l’a révélé I.J. Génial en 1965, créer de meilleures méthodes d’IA est en soi un travail cognitif. Ce type de méthode pourrait potentiellement subir un développement personnel récursif, activant une explosion de l’intellect éloignant l’intellect individuel de manière significative. En créant des technologies innovantes, ce type de superintelligence nous aidera à nous débarrasser de la bataille, de la maladie et de la pauvreté, et ainsi la création d’une IA forte peut être le plus grand événement dans le milieu humain. Certains professionnels ont exprimé leur inquiétude, cependant, cela peut également fonctionner comme la finale, sauf si nous apprenons à aligner les objectifs de l’IA avec les nôtres avant qu’elle ne soit superintelligente. Il y en a plusieurs qui se demandent si une IA solide sera jamais atteinte, mais d’autres insistent sur le fait que la création d’une IA superintelligente sera certainement bénéfique. Chez FLI, nous reconnaissons ces deux opportunités, mais reconnaissons également l’opportunité d’un système intellectuel artificiel de déclencher intentionnellement ou par inadvertance d’excellents dommages. Nous savons que les enquêtes de nos jours peuvent nous aider à mieux nous préparer à prévenir de telles conséquences potentiellement défavorables à l’avenir, profitant ainsi des avantages de l’IA tout en évitant les problèmes. La plupart des experts reconnaissent qu’une IA superintelligente est peu susceptible de montrer des émotions humaines telles que jouir ou détester, et il n’y a aucune raison que l’IA devienne intentionnellement bienveillante ou malveillante. Au lieu de cela, quand il s’agit de savoir comment l’intelligence artificielle peut éventuellement devenir un risque, les experts ressentent probablement deux situations: l’IA est programmée pour faire quelque chose d’écrasant: les outils autonomes sont des systèmes de connaissances artificiels qui sont développés pour tuer. Entre les mains de la mauvaise personne, ces outils pourraient très facilement entraîner des pertes massives. De plus, une course aux armements de l’IA pourrait accidentellement provoquer une guerre de l’IA qui entraînerait également des pertes de taille. Pour éviter d’être contrarié par l’adversaire, ces armes pourraient être rendues très difficiles à «éteindre» simplement, de sorte que les humains pourraient vraisemblablement perdre le contrôle de ce genre de scénario. Ce danger est celui qui existe même avec une IA mince, mais qui augmente à mesure que l’intelligence de l’IA et l’autonomie augmentent. L’IA est conçue pour rendre un mouvement bénéfique, mais elle construit une méthode destructrice pour atteindre son but: cela peut se produire si nous oublions d’aligner totalement les cibles de l’IA avec les nôtres, ce qui est extrêmement difficile. Si vous vérifiez avec une automobile intelligente et obéissante de vous considérer au terminal de l’aéroport le plus rapidement possible, cela pourrait vous y amener poursuivi par des hélicoptères et inclus dans le vomi, ne faisant pas ce dont vous aviez besoin mais en fait ce que vous avez demandé. Lorsqu’un produit superintelligent est chargé d’un projet de géo-ingénierie engagé, il peut provoquer la destruction de l’écosystème étant un effet secondaire, et considérer les efforts individuels pour l’arrêter comme une menace à satisfaire. Comme le montrent ces illustrations, le souci d’une IA sophistiquée n’est pas la malveillance mais la compétence. Une IA super-intelligente sera très efficace pour atteindre ses objectifs, et si ces objectifs ne correspondent pas aux nôtres, il existe un problème. Vous n’êtes probablement pas un méchant anti-fourmis qui agit sur les fourmis par malice, mais si vous êtes responsable d’une entreprise d’énergie verte hydroélectrique et qu’il y a une fourmilière dans la région pour être surchargée, tant pis pour les fourmis. Un objectif clé de la recherche fondamentale sur la sécurité de l’IA est de ne jamais repérer l’humanité à la place de ces fourmis.