Le traitement des droïdes dans Star Wars a toujours interrogé. Après un épisode de The Mandalorian qui dépeint une société dépendante de ces créations mécaniques, la question se pose de plus en plus : n’y a-t-il pas un problème éthique dans leur représentation ?
Les droïdes ont toujours été des personnages importants dans le monde de Star Wars, montrés comme capables de prendre des décisions et de sauver une situation désespérée. Mais peut-on affirmer qu’ils sont sentients ? Y a-t-il un moyen de mesurer la conscience chez des êtres artificiels ? Et, du coup, où se placent aujourd’hui nos IA ? On tente d’apporter des réponses.
Conscience ou programmation ?
Dans Star Wars, la condition des droïdes a toujours été un peu ambiguë : entre ceux qui sont quasiment traités comme des membres de la famille, qui semblent avoir des sentiments, une certaine intelligence et capacité à réagir au-delà de leur programmation, et ceux qui sont montrés comme de simples machines, incapables d’autres pensées que celles dictées par les ordres qui leur sont donnés, il y a un gouffre.
L’épisode 6 de la saison 3 (ou chapitre 22) de The Mandalorian sème encore plus le trouble sur la vision qu’a la société de Star Wars sur ces êtres mécaniques. Pour les lecteurs qui n’ont pas encore eu l’occasion de le regarder, nous préférons prévenir : nous allons spoiler l’intrigue de l’épisode.
Ici, Din Djarin et Bo-Katan Kryze arrivent sur une planète où les habitants ont éliminé la majorité du travail pénible de leur vie quotidienne. Tous les travaux nécessaires sont réalisés par d’anciens droïdes impériaux et séparatistes, reprogrammés pour oublier leurs tendances guerrières et servir les citoyens de la planète. Problème : ils dysfonctionnent, et c’est à nos deux Mandalorians d’enquêter. Leurs recherches finiront par les mener dans un bar pour droïdes, où se réunissent les travailleurs mécaniques à la fin de leur journée.
C’est là que le problème commence. Les droïdes sont présentés à la fois comme complètement dépendants de leur programmation, « leur comportement est programmé », comme l’indique Bo-Katan, mais aussi capables de sentiments : les menaces fonctionnent sur eux et le barman robotique de l’établissement indique que ses clients sont inquiets d’être remplacés si les problèmes continuent. Il indique qu’ils ressentent une sorte de reconnaissance envers les « organiques » qui les ont créés et qui leur ont donné une deuxième chance en les reprogrammant, et qu’ils souhaitent continuer à être utiles en travaillant.
Difficile de déterminer dans tout ça ce qui fait partie de leur programme ou non. Que les droïdes soient capables d’émettre des inquiétudes entre eux dans un établissement dans lequel ils se réunissent pourrait indiquer une certaine forme de sentience ou de conscience. Ces deux concepts sont compliqués à définir, mais, dans la science-fiction, ils indiquent généralement une capacité à raisonner, à ressentir, à être conscient de soi-même, à avoir des expériences subjectives et à prendre des décisions similaires à celle des êtres vivants, ou même des êtres humains.
Mais on peut également se dire qu’ils ont été programmés pour exprimer ces émotions, même si l’utilité d’une telle fonctionnalité n’est pas apparente au premier abord et que cette programmation pose elle-même des questions éthiques.
Des relations ambiguës
Il faut dire que sur le sujet des droïdes, Star Wars n’est jamais très affirmé. Si les différentes œuvres nous montrent de nombreux personnages mécaniques qui peuvent aller au-delà de ce que l’on attendrait d’une simple programmation, le sujet de la sentience n’est jamais défini de façon explicite.
R2-D2 fait preuve d’un grand courage ; Chopper de la série Rebels a un caractère bien trempé ; B2EMO de la série Andor ressent de la tristesse ; BD-1 des jeux Jedi: Fallen Order et Jedi: Survivor est capable d’humour et de susceptibilité ; L3-37 de Solo: A Star Wars Story aspire à l’égalité entre les droïdes et les humains…
Les exemples de droïdes montrés comme quasiment sentients ne manquent pas et, pourtant, Star Wars n’affirme jamais vraiment qu’ils le sont. George Lucas, dans une interview donnée à Rolling Stone en 2005, dit même le contraire : « Certains droïdes, comme C-3PO, sont de nature très humaine, bienveillants et inquiets à l’idée de faire ce qu’il ne faut pas. Mais ce sont des programmes – il y a une différence. »
De ce que l’on peut déduire des différents wikis dédiés à la saga, la peur d’un soulèvement des droïdes était assez importante pour qu’un sentiment antidroïde se développe dans une bonne partie de la galaxie, exacerbé par la Guerre des Clones et l’usage des droïdes de combat, et pour qu’il soit considéré comme nécessaire de procéder à des effacements de mémoire réguliers, sous peine de voir des droïdes développer une personnalité et avoir de nouvelles idées.
En bref, si dans le canon il reste encore un doute sur la capacité des droïdes dans Star Wars à ressentir des émotions et à être conscients d’eux-mêmes, et ce, malgré les nombreux exemples de personnages qui présentent des traits de caractère qui n’auraient aucun avantage à être programmés, pour une partie des fans et spécialistes, la question ne se pose plus : les droïdes sont bien sentients. Une zone grise troublante et qui pose un dilemne éthique sur la représentation de ces personnages, souvent maltraités ou uniquement là pour faire rire.
Se pose alors la question : au-delà du canon Star Wars, y a-t-il réellement un moyen de déterminer si un robot, un droïde ou une IA sont capables de sentience ? Ou est-ce que notre capacité à l’empathie et notre tendance à voir des comportements humains là où il n’y en a pas nous poussent à humaniser des machines et programmes plus que de raison ?
La sentience et la conscience, des concepts encore nébuleux
Comme pour la condition de nos petits robots dans une galaxie lointaine, très lointaine, lorsque l’on cherche à savoir s’il existe un modèle pour déterminer si une IA est sentiente, les réponses sont compliquées. En partie parce que les définitions mêmes de sentience ou conscience font débat. Aujourd’hui, il n’existe pas de moyen sûr de mesurer ces deux choses, encore moins dans le cas de machines et programmes.
Nous l’avons dit plus haut : de nombreux droïdes de la saga montrent des émotions, positives ou négatives, et agissent par eux-mêmes, prennent des décisions en fonction de leur instinct et de leur environnement.
Cependant, il y a une différence entre montrer des émotions et les ressentir. Il est tout à fait possible de programmer un logiciel pour qu’il ait l’air de parler et de réagir comme un humain. C’est ce que différentes entreprises essaient de faire avec les IA génératives. Si nous sommes face à un programme qui apprend, il peut avoir des réponses surprenantes, qu’il sélectionne en pensant que ce sont les meilleures options d’après les interactions précédentes qu’il a eues.
Cela ne signifie pas qu’il exprime une opinion ou qu’il a un avis basé sur des émotions ressenties. Le sujet de la sentience est tout aussi complexe que passionnant et est débattu depuis des années, aussi bien dans les œuvres de fiction que dans les cercles philosophiques et scientifiques. Et ce n’est pas aujourd’hui que nous allons pouvoir apporter une réponse claire et objective sur le sujet, ne nous leurrons pas.
Cependant, toute la base de cet article part d’une réaction émotionnelle très humaine, plutôt que d’une définition scientifique. En voyant ces droïdes, considérés comme des machines faites pour servir, se réunir dans un bar et en reliant ça aux comportements humains, mais aussi à ceux d’autres personnages de la saga, un malaise a été ressenti : et si ce traitement n’était pas éthique ?
Une question qui taraude la pop culture
Certes, tout le monde considère qu’ils ne sont que des outils, mais, est-ce vraiment le cas ? Une question qui ne cesse de fasciner la pop culture. Star Trek est un autre monument de la science-fiction qui s’est attaqué à la question, notamment avec le personnage de Data, un androïde aux capacités uniques. Dans l’épisode The Measure of a Man, un scientifique de Starfleet souhaite pouvoir désassembler Data pour l’étudier, et éventuellement créer d’autres androïdes similaires.
Lorsque Data refuse, Starfleet doit alors déterminer la véritable nature de l’androïde. Jean-Luc Picard le considère comme un être à part entière après avoir passé un certain temps à ses côtés, tandis que le scientifique voit en lui un objet qui appartient à l’organisation. Picard finit par montrer que Data répond à deux des trois critères que le scientifique juge indispensables pour la sentience. Le troisième, la conscience, est trop nébuleux pour pouvoir être défini et prouvé. Pour Starfleet, Data peut donc prendre ses propres décisions.
Là où Star Wars a fait le choix de laisser les spectateurs et les personnages réagir au cas par cas à ses êtres artificiels, Star Trek a pris position à partir de cet épisode : peut-être qu’en vérité, Data n’est qu’une machine. Mais s’il est possible qu’il soit plus que ça, et c’est ce que semblent dicter le bon sens et le ressenti des personnes qui le fréquentent quotidiennement, choisir de l’étudier contre son gré et créer d’autres androïdes similaires dans le seul but de leur confier des travaux et les considérer comme des objets, pourrait entraîner des conséquences éthiques catastrophiques pour Starfleet.
Et dans la vraie vie ?
Après tout, est-ce vraiment si important de parler de la condition d’êtres fictionnels dans une saga ? On pourrait se dire que non, que ce serait un bonus appréciable que Star Wars arrive à être un peu plus mature et à parler plus ouvertement de certains problèmes présents dans l’œuvre, mais rien d’indispensable pour la majorité des fans.
Pourtant, que ce soit pour les droïdes dans Star Wars, pour Data dans Star Trek ou pour de nombreux autres exemples dans la fiction, il est intéressant de voir comment ces sujets sont traités. Aujourd’hui, les IA sont au centre de tous les sujets de conversation, et il n’échappe à personne que nous avons tendance à nous reposer sur la représentation des nouvelles technologies dans la pop-fiction pour nous aider à les comprendre.
Il est globalement admis que les IA actuelles ne sont pas tout à fait au point – il est connu qu’elles « hallucinent », ce qui produit des résultats faux, et le spécialiste Yann Le Cun les décrit à Libération comme des systèmes « très superficiels et [qui] peuvent être incohérents et non factuels » –, mais nous ne sommes pas à l’abri de les anthropomorphiser.
Un phénomène connu sous le nom d’effet ELIZA, du programme du même nom, qui désigne notre tendance à attribuer une capacité de compréhension et à donner plus de sens qu’il y en a à des actions réalisées par des machines dont le comportement et la façon de parler peuvent sembler « humains ». Ainsi, certains n’hésitent pas à affirmer qu’elles sont déjà sentientes, comme a pu le faire un ingénieur de Google avec le chatbot de l’entreprise, LaMDA, ce qu’a réfuté l’entreprise.
Plus nombreux sont ceux qui affirment que les IA ne sont pas sentientes et ne le seront probablement jamais, d’autant plus que des risques plus immédiats sont à prendre en compte, comme la désinformation et la manipulation, possibles grâce à leur capacité à imiter le langage humain. On le voit déjà aujourd’hui : des entreprises ont remplacé certains de leurs travailleurs humains par des IA, pour des résultats plus que discutables.
Pour le moment, nous n’avons donc pas encore à nous poser les questions qui nous troublent tant dans Star Wars ou auxquelles ont dû répondre les membres de Starfleet dans Star Trek, et peut-être n’aurons-nous jamais besoin de le faire.
Malgré tout, la représentation de ces deux manières, très différentes, de traiter des êtres synthétiques capables de prendre des décisions autonomes interroge sur la façon dont nous pourrions réagir dans une situation similaire du monde réel. Peut-être que nous ne serons influencés par aucune des deux et que notre décision sera tout à fait différente. Mais il serait tout de même plus qu’appréciable que Star Wars ose un jour évoquer le traitement des droïdes, ne serait-ce que pour notre confort de spectateurs.
