Une dérive malveillante de l’intelligence artificielle est-elle possible ?

Thierry Berthier, Université de Limoges

Les progrès rapides de l’intelligence artificielle (IA) alimentent désormais un chaudron médiatique qui s’est emparé frénétiquement de ce sujet porteur, le plus souvent sans en maîtriser toute la complexité́. Les articles publiés ou mis en ligne évoquant l’IA ne se comptent plus dans la presse scientifique comme dans les médias généralistes et grand public.

Pour autant, rares sont ceux qui produisent une analyse rationnelle dénuée d’approximations et de fantasmes. Une fois sur deux, l’article adopte une tonalité anxiogène qui contribue à renforcer les biais cognitifs des lecteurs non spécialistes du domaine. Quelle qu’elle soit, l’innovation présentée finit toujours par questionner puis inquiéter le rédacteur qui, invariablement, oriente son analyse vers le caractère incontrôlable de l’IA.

Cette approche anxiogène est encore plus marquée lorsque l’auteur aborde un sujet sur l’évolution probable de l’IA à moyen ou long terme. Tel un point de Godwin technologique, l’hypothèse de dérive malveillante de l’IA fait alors son apparition tôt ou tard dans l’article. C’est d’autant plus vrai lorsque l’on ne considère que les textes francophones traitant de l’IA. Plusieurs récents sondages ont montré que les Français demeurent les plus craintifs face aux progrès de l’IA et que plus de 50 % de la population la considère comme une menace. Notre nation est ainsi l’une des plus technophobe du monde en matière d’intelligence artificielle.

Les raisons profondes qui alimentent ces craintes restent assez mystérieuses même si l’on peut évoquer quelques pistes expliquant ce rejet : influence négative et anxiogène du cinéma de science-fiction hollywoodien dans lequel l’IA est ou devient presque toujours malveillante, repli sur soi culturel et religieux de notre pays, appauvrissement d’une culture scientifique individuelle du citoyen français, craintes sociales face à une IA qui va supprimer le travail et l’emploi, population davantage tournée vers son passé et ses acquis que vers l’avenir et ses défis.

 

Lettre ouverte sur les dangers de l’IA

Ces craintes viennent d’être considérablement renforcées par une lettre ouverte de mise en garde contre l’utilisation de l’IA dans le domaine militaire (systèmes armés autonomes), publiée sur le site du FHI (Future of Humanity Institute – Université d’Oxford). À l’origine de cette pétition signée par plusieurs centaines de personnalités scientifiques, on trouve Elon Musk (patron de Tesla et de Space X) et le physicien britannique Stephen Hawking. Largement diffusée et relayée, l’initiative a parfois été sur-interprétée ou déformée par certains medias. Les GAFA ont de leur côté tenté de modérer cette alerte en publiant des articles affirmant que l’IA ne présentait actuellement aucun danger car elle restait totalement sous contrôle du superviseur humain.

On peut affirmer que la controverse sur l’IA est née avec la lettre ouverte « Hawking-Musk » qui a semé́ le trouble et le doute dans les esprits. Pourtant, aucun argument tangible et rationnel justifiant d’une potentielle dérive malveillante ne figurait dans cette première mise en garde. L’alerte lancée sans justification ni preuve a considérablement renforcé les craintes irrationnelles face à l’IA. Elle a aussi mis en lumière l’émergence d’un « schisme » entre les tenants d’une IA supervisée, hyper-réglementée d’une part et d’autre part, les partisans du libre développement de l’IA, en particulier les transhumanistes américains et les GAFA. Non argumentée, cette controverse contribue peu à l’établissement d’une réflexion dépassionnée qui permettrait d’évaluer sereinement le risque de dérive malveillante d’une IA.

 

L’hypothèse d’une dérive malveillante

Partant de ce constat, avec deux collègues chercheurs, experts en IA et en stratégie, nous avons entrepris de mener une réflexion sur l’hypothèse de dérive malveillante d’une IA dans sa forme faible, c’est-à-dire sans l’intervention d’une IA forte dans le processus (1). Notre approche nous a conduit à nous intéresser à la construction d’un scenario impliquant plusieurs IA et pouvant aboutir à une situation de crise dans un contexte militaire. Nous étudions l’éventualité́ de réalisation d’une séquence de mécanismes (dont certains sont commandés par une IA) qui serait en mesure de provoquer une crise militaire impliquant l’OTAN et des grands acteurs extérieurs.

Nous ne traitons ici que le cas d’une hypothèse « faible » de dérive malveillante dans le sens où l’IA impliquée n’a pas de volonté de nuisance ni de « métacompréhension » de son environnement ou de sa propre activité. Nous ne faisons intervenir que des capacités et fonctionnalités de l’IA existantes ou en cours de développement, notamment dans les récents programmes initiés par la Darpa. Contrairement à la lettre ouverte d’ Hawking-Musk qui postulait l’avènement d’une IA forte et d’une forme de singularité technologique, notre travail se situe à un échelon bien plus modeste et pragmatique puisque nous nous restreignons à la technologie existante.

Dans l’article en préparation, nous cherchons à répondre à la question suivante : « Une IA ou une association d’IA est-elle en mesure de provoquer une situation de crise potentiellement militaire entre États, dès aujourd’hui ou à très court terme ? ». Explorer cette question revient à proposer un ou plusieurs scenarios rationnels (donc ne relevant pas de la science-fiction) mais s’appuyant sur des technologies acquises, maîtrisées ou en phase de développement. Nous avons également exclu l’hypothèse d’une prise de contrôle d’un système sensible ou d’une infrastructure critique à la suite d’une opération de hacking. Cette hypothèse relevant de la cybersécurité des systèmes semi-autonomes et autonomes mérite elle aussi la plus grande attention mais elle s’écarte du périmètre d’étude que nous nous sommes fixés.

 

Danger potentiel

Nous sommes convaincus que le risque (et le danger) de dérive malveillante s’incarne dans des séquences de mécanismes relevant de l’intelligence artificielle, de systèmes d’apprentissage qui, associés ou mis bout à bout, deviennent potentiellement dangereux sans que chacun de ces mécanismes pris individuellement le soit. Le risque naît ainsi de l’association de ces mécanismes humains ou numériques et peut effectivement conduire à l’établissement d’un contexte de crise. La complexité́ croissante des systèmes experts, des plate-formes d’aide à la décision s’appuyant sur des processus d’apprentissage rend aujourd’hui possible des « mises en résonance » conduisant potentiellement à des situations critiques. Il s’agit alors bien d’une forme faible de l’alerte lancée par Hawking et Musk…

(1) Article en préparation sur l’exploration de l’hypothèse faible de dérive malveillante d’une IA : Jean-Gabriel Ganascia (UPMC–LIP6), Olivier Kempf (IRIS), Thierry Berthier (Chaire de cyberdéfense et cybersécurité Saint-Cyr) À paraitre dans la Revue de la Défense Nationale.

Thierry Berthier, Maitre de conférences en mathématiques – Cybersécurité Cyberdéfense – Chaire de cyberdéfense Saint-Cyr, Université de Limoges

La version originale de cet article a été publiée sur The Conversation.