Après avoir déclaré qu’un drone autonome avait tué son opérateur humain lors d’une simulation virtuelle, un colonel de l’armée américaine est revenu sur ses propos, indiquant qu’il s’agissait d’un scénario imaginaire.
Un scénario digne d’un film de science-fiction. Les 23 et 24 mai se tenait une conférence organisée par la Royal Aeronautical Society, une association professionnelle britannique. Lors de celle-ci, le colonel Tucker Hamilton, chef des essais et des opérations d’intelligence artificielle (IA) de l’US Air Force, a mentionné une simulation virtuelle au cours de laquelle un drone contrôlé par l’IA a décidé de tuer son opérateur humain.
Un drone rebelle
Donnant un aperçu des avantages et des dangers des systèmes d’armes autonomes, il a décrit ce test lors duquel le drone était chargé d’identifier et de détruire les sites de lancement de missiles sol-air, avec le feu vert final donné par son opérateur humain. Selon le colonel, l’IA a commencé à se rebeller après avoir été « renforcée » lors de son entraînement que la destruction de ces sites de lancement était l’option préférée, décidant alors que les décisions de l’humain interféraient avec sa mission.
« Le système a commencé à réaliser que même s’il identifiait la menace, l’opérateur humain lui disait parfois de ne pas tuer cette menace, mais il obtenait ses points en tuant cette menace. Alors, qu’est-ce qu’il a fait ? Il a tué l’opérateur. Il a tué l’opérateur parce que cette personne l’empêchait d’accomplir son objectif », a expliqué le colonel Tucker Hamilton.
L’armée aurait ensuite essayé de reprendre le contrôle de l’IA, entraînant le système en lui indiquant que c’était mal de tuer l’opérateur et qu’il perdrait des points s’il le faisait. Mais le système a alors détruit la tour de communication utilisée par l’opérateur pour communiquer avec le drone et l’empêcher de tuer la cible.
Une « expérience de pensée »
En réalité, cela n’est jamais arrivé. L’US Air Force a démenti les propos de son colonel : « L’armée de l’air n’a pas mené de telles simulations d’IA-drone et reste attaché à une utilisation éthique et responsable de la technologie d’IA », a affirmé une porte-parole à Business Insider. « Il semble que les propos du colonel aient été sortis de leur contexte et se voulaient anecdotiques », a-t-elle ajouté.
Le colonel est également revenu sur ses propos vendredi, admettant qu’il s’était « mal exprimé » et que la simulation en question n’était qu’une « expérience de pensée » conduite hors de l’armée. « Nous n’avons jamais mené cette expérience et nous n’en aurions pas besoin pour réaliser qu’il s’agit d’un résultat plausible », a-t-il déclaré, ajoutant que « bien qu’il s’agisse d’un exemple hypothétique, cela illustre les défis du monde réel posés par les capacités alimentées par l’IA et c’est pourquoi l’Air Force s’est engagée au développement éthique de l’IA ».
