Ce 13 novembre 2017, les Nations unies vont ouvrir des discussions officielles sur la problématique des «robots tueurs», avec la première réunion d’un groupe d’experts[1] dédié à ce sujet. Fin août déjà, une centaine de professionnels du secteur de la robotique et de l’intelligence artificielle, dont Elon Musk[2], signaient une lettre ouverte à l’ONU demandant une interdiction des armes létales autonomes. Cette lettre fait écho à un autre appel de juillet 2016 qui avertissait des dangers posés par l’autonomisation croissante de certains systèmes d’armes.
(Crédit photo: système antimissile Goalkeeper – Wikipédia)
Quels sont les enjeux de la conférence de cette semaine et quelles sont les termes de la problématique des « robots tueurs » en général?
Une définition
Si les plateformes d’ONG utilisent le terme accrocheur de « robot tueur », les experts préfèrent utiliser l’acronyme SALA pour « système d’armes létal autonome ». En effet, le mot « robot », s’il a un effet médiatique certain, n’implique pas spécifiquement un degré d’autonomie et peut entrainer une confusion avec d’autres systèmes comme par exemple les drones (qui, dans l’état actuel des technologies, sont toujours pilotés). Un SALA pourrait être défini comme « un système d’arme qui, une fois activé, permet de sélectionner et de traiter des cibles sans intervention d’un opérateur humain »[3].
Pourquoi ce type d’armes est-il développé?
Du point de vue militaire, les SALA présentent plusieurs avantages[4]. Ils peuvent réagir beaucoup plus rapidement qu’un opérateur humain, constituant même parfois l’unique parade face à des menaces de type missile ou artillerie. C’est par exemple le cas des systèmes de défense rapprochée de type Goalkeeper utilisés sur les frégates belges Léopold 1er et Louise-Marie. Ces canons rotatifs couplés à un radar peuvent, une fois leur mode autonome activé, détecter d’eux-mêmes les menaces et procéder à leur destruction[5].
La vitesse de réaction et la précision du ciblage sont ici cruciales : entre la détection et la destruction d’un missile ennemi, il ne peut se passer plus de quelques secondes.
De plus, les SALA sont capables d’opérer 24h/24 avec le même niveau de précision, ce qui les rend particulièrement adaptés pour les missions de surveillance (frontières, bases militaires), tâches ingrates pour le personnel humain sujet à la fatigue et à l’inattention. La Corée du Sud a ainsi déployé des systèmes SGR-A1, développés par Samsung Techwin, à la limite de la zone démilitarisée qui forme la frontière avec la Corée du Nord. Ce robot-sentinelle équipé de caméras, de microphones, de haut-parleurs et d’une mitrailleuse est doté d’un mode de sélection et de traitement des cibles automatiques. Toutefois, la décision de tir revient à un opérateur humain.
Mise à l’agenda
Le débat sur les SALA et les implications de leur développement et de leur utilisation a pris de l’ampleur à partir des années 2010 avec plusieurs appels d’ONG ou de personnalités du monde académique demandant une interdiction des armes autonomes[6]. En 2013, sept ONG dont Pax, Human Rights Watch, Article 36, International Committee for Robot Arms Control, se sont regroupées pour former une plateforme de campagne dénommée Campaign to Stop Killer Robots. C’est au sein de la Convention des Nations unies sur certaines armes classiques que se déroule la majorité des débats, avec l’adoption fin 2013 par les États parties d’un mandat de travail sur le sujet des SALA.
Points clés du débat
Parmi les éléments qui font polémique entre les États, le premier est évidemment la question de la définition des SALA, qui sera essentielle pour cadrer le débat et servir de base à une éventuelle réglementation. Si la définition proposée en introduction de cet éclairage est plus ou moins consensuelle, il n’y a pas de définition juridiquement acceptée d’un SALA. Deux éléments sont saillants dans le débat : la question de l’autonomie et la question de la létalité.
L’autonomie dont est dotée un SALA n’est elle-même pas facile à définir : il existe un large spectre de possibilités allant d’un contrôle total à distance à un système doté d’une intelligence artificielle capable de prendre des décisions sans intervention d’un opérateur humain[7]. L’enjeu est donc de savoir à partir de quel niveau d’autonomie un système devient « pleinement autonome ». Une première distinction a émergé avec les catégories « homme dans la boucle », « sur la boucle » ou « hors de la boucle » de décision[8]. Dans le premier cas, l’humain décide et la machine exécute (cas du robot téléguidé ou du missile guidé). Dans le deuxième, la machine propose et l’opérateur peut apposer son veto. Dans le dernier cas, la machine est totalement indépendante. Ces catégories sont toutefois trop vagues pour refléter l’entièreté du spectre de la prise de décision.
L’ONG britannique Article 36 a donc proposé de recentrer le débat sur l’autonomie autour de la notion de « contrôle humain effectif » comme base pour une future législation. Mais cet élément de définition pose de nouvelles questions : quelles sont les fonctions de la machine qui doivent être contrôlées (navigation, choix des cibles, tir, etc.)? Le contrôle humain doit-il s’opérer à chaque décision critique ou le paramétrage « a priori » de la machine par un opérateur humain suffit-il[9]? La question du contrôle effectif est importante car il est généralement admis que des armes totalement autonomes n’ont pas beaucoup d’utilité opérationnelle : personne ne veut d’une machine incontrôlable[10].
Le risque envisagé par les ONG est que les États soutiennent l’interdiction des SALA mais posent le seuil de l’autonomie tellement haut que cette interdiction ne concerne aucun système actuellement en fonction ou en développement. C’est donc dans la portion médiane de l’autonomie que se décidera une régulation vraiment contraignante et qui aura un impact sur le terrain.
La létalité constitue un autre point de débat. Les systèmes d’armes semi-autonomes existants sont majoritairement des systèmes de défense antimissiles (tels les canons navals Goalkeeper ou Phalanx) ou antiroquettes (Iron Dome israélien) qui n’ont pas pour but de tuer des êtres humains mais d’intercepter des cibles très véloces. Ces systèmes, à usage majoritairement défensif et anti-matériel, n’ont pas suscité d’opposition particulière au niveau éthique.
Le respect du DIH
La capacité (ou non) des SALA à respecter le droit international humanitaire (DIH ou droit des conflits armés) constitue un des points forts de la campagne pour l’interdiction des robots tueurs. Tous les États parties aux Protocoles additionnels aux Conventions de Genève doivent évaluer la compatibilité des nouvelles armes qu’ils produisent ou acquièrent avec les dispositions du DIH[11]. Les principes fondamentaux du DIH sont le principe de distinction (combattants/non-combattants), l’interdiction de causer des souffrances superflues et le principe de précaution (limiter au maximum les victimes civiles). Ces principes, exposés ici de manière très succincte, dépendent largement du contexte et sont donc très difficiles à programmer dans un logiciel. En plus de la question du respect du DIH, se pose la question de la responsabilité en cas de violations. La personne responsable sera-t-elle le fabricant du système, le programmeur du logiciel ou la personne qui a déployé ou supervisé la mise en œuvre des SALA?
À ce propos, il est important de noter que la majorité des experts, partisans ou non des SALA, estiment que la mise en œuvre de SALA dans des contextes urbains au milieu de civils a peu de sens[12]. C’est dans d’autres contextes opérationnels qu’ils acquièrent une réelle valeur-ajoutée.
Interdiction ou régulation?
La campagne pour l’interdiction des « robots tueurs » avance le risque de prolifération de ce type d’équipements et leur usage potentiel à des fins terroristes pour justifier une interdiction préventive[13].
Le fait de tuer ou d’être tué par une machine soulève également, selon les ONG, des questions morales spécifiques. Du côté des militaires, utiliser des « robots tueurs » dans des zones habitées présente également des inconvénients. Partant de l’expérience des exécutions ciblées par drones au Pakistan, le lieutenant-colonel Pryer de l’US Army démontre l’importance d’apparaître humain si l’on veut gagner les cœurs et les esprits dans le cadre de guerres contre-insurrectionnelles[14]. Du côté des partisans d’une régulation, on soutient que l’interdiction n’empêchera pas les détournements de technologie (les organisations terroristes ne respectent pas les instruments internationaux) et priverait les armées de systèmes utiles (lutte contre les mines, défense anti-missile, etc.). Parmi les mesures de régulation, on retrouve l’utilisation de SALA dans des contextes bien déterminés (environnement sous-marin, spatial ou aérien), ce qui évacue en grande partie la question du respect du DIH, ; la programmation des SALA pour traiter uniquement des objectifs militaires par nature (chars, artillerie, etc.) ; la programmation d’un principe de subsidiarité (le SALA n’est utilisé que lorsqu’un humain n’est pas capable de prendre une décision, par exemple en raison de la vitesse de réaction exigée) ; la possibilité permanente de désactivation du SALA à distance[15].
Le débat entre interdiction et régulation n’est pour l’instant pas tranché. Le plus important sera de se mettre d’accord sur une définition des SALA (soumis à interdiction ou à encadrement) qui oblige à maintenir un contrôle humain effectif sur les fonctions de ciblage et de tir.
L’auteur
Denis Jacqmin est chercheur au GRIP, au sein de l’axe « armes légères et transferts d’armes ». Il a été observateur international pour les missions SMM Ukraine (2014‑2015) et EUMM Georgia (2012-2013).
Télécharger la version PDF :
«Robots tueurs»: encadrement ou interdiction?
[1]. Ce Groupe d’Experts gouvernementaux a été constitué en décembre 2016 lors de la 5e conférence de révision de la Convention des Nations unies sur les armes classiques (dont le nom officiel est Convention sur l’interdiction ou la limitation de l’emploi de certaines armes classiques qui peuvent être considérées comme produisant des effets traumatiques excessifs ou comme frappant sans discrimination)
[2]. Elon Musk est chef d’entreprise et ingénieur, PDG de la marque automobile Tesla et du constructeur spatial SpaceX.
[3]. Jeangène Vilmer, J-B, « Robots tueurs » : quel encadrement juridique?, Le magazine des ingénieurs de l’armement, n° 105, avril 2015, p. 32.
[4]. Voir de Boisboissel, G., Une réponse à la lettre ouverte sur l’interdiction des armes autonomes, Défense et sécurité internationale, n° 120, décembre 2015, p. 35.
[5]. Toutefois, ces systèmes évoluent dans un environnement dont les paramètres sont très restreints, ce qui les classe plutôt dans une catégorie semi-autonome (homme sur la boucle).
[6]. Pour une chronologie générale du débat, voir Campaign to Stop Killer Robots, Chronology.
[7]. Marsh, N., Defining the Scope of Autonomy. Issues for the Campaign to Stop Killer Robots, PRIO Policy Brief, février 2014.
[8]. Traduction de « man in the loop, on the loop or out of the loop ».
[9]. Pour un développement plus complet sur la notion de « contrôle humain effectif », voir UNIDIR, « The Weaponization of Increasingly Autonomous Technologies: Considering how Meaningful Human Control might move the discussion forward», n° 2, 2014.
[10]. Les deux seuls États à avoir publié une politique officielle sur la question des SALA, à savoir le Royaume-Uni et les États-Unis, spécifient qu’un degré de contrôle humain sera toujours présent et que des systèmes entièrement autonomes ne sont pas envisagés.
[11]. En Belgique, c’est la Commission d’évaluation juridique des nouvelles armes, des nouveaux moyens et des nouvelles méthodes de guerre qui se charge de cette tâche.
[12]. « Encadrons l’usage des robots tueurs », Le Monde, 18 août 2015.
[13]. Fin octobre 2016, les députés Wouter De Vriendt (Groen!) et Benoit Hellings (Ecolo) ont déposé une proposition de résolution demandant au gouvernement fédéral de s’impliquer dans les discussions en cours au niveau des Nations unies et d’y plaider pour l’interdiction des armes totalement autonomes. La résolution demande également une interdiction de la production et de l’utilisation de ce type d’armes en Belgique.
[14]. Pryer, A., « The Rise of the Machines. Why Increasingly “Perfect” Weapons Help Perpetuate our Wars and Endanger Our Nation », Military Review, mars-avril 2013, p. 21-23.
[15]. Pour un détail de ces mesures d’encadrement, voir Jeangène Vilmer, J.-B., « Terminator Ethics : faut-il interdire les « robots tueurs »? », Politique étrangère, n° 4, 2014, p. 151-167.