Blog ENI : Toute la veille numérique !
🎃 Jusqu'à -30% sur les
livres en ligne, vidéos et e-formations.
Code : GHOST30.
Cliquez ici !
Accès illimité 24h/24 à tous nos livres & vidéos ! 
Découvrez la Bibliothèque Numérique ENI. Cliquez ici
  1. Livres et vidéos
  2. Blockchains, intelligences artificielles, objets connectés, ordinateurs quantiques
  3. Les intelligences artificielles
Extrait - Blockchains, intelligences artificielles, objets connectés, ordinateurs quantiques Quels risques technologiques ?
Extraits du livre
Blockchains, intelligences artificielles, objets connectés, ordinateurs quantiques Quels risques technologiques ? Revenir à la page d'achat du livre

Les intelligences artificielles

Les machines qui « pensent »

1. La marche vers les machines intelligentes

Le 1er octobre 1950 est publié, dans la revue scientifique Mind, un article titré « Machines informatiques et intelligence [1] » dont la première phrase est : « Je propose de réfléchir à la question suivante : les machines peuvent-elles penser ? ». Son auteur n’est pas un inconnu. Il s’agit d’Alan Turing qui, durant la Seconde Guerre mondiale, a dirigé au sein du laboratoire de Bletchley Park une équipe qui est parvenue à décrypter les messages chiffrés par les appareils Enigma utilisés par l’Allemagne nazie. Dans cet article, Alan Turing décrit une expérience qu’il nomme the Imitation Game, où un interrogateur poserait des questions visant à déterminer si son interlocuteur est un être humain ou une machine. C’est le fameux « test de Turing ». Dans la dernière partie de l’article, titrée Learning Machines, Alan Turing analyse la quantité, colossale, de code qu’il faudrait écrire pour créer une machine intelligente et en conclut qu’il serait plus facile de concevoir une machine disposant d’une intelligence de base, comme le cerveau d’un bébé, puis de lui enseigner des choses, ainsi que le font les parents, l’entourage ou la maternelle. Il envisage même un système de récompense et de punition pour rendre l’apprentissage de la machine plus efficace. La machine serait programmée pour éviter de répéter des actions qui ont précédé une punition et augmenter la probabilité de répéter celles qui ont conduit à une récompense.

En 1950, seuls quelques ordinateurs électroniques existent dans le monde, dont le Manchester Mark 1 qu’Alan Turing a eu l’occasion de programmer. Ces machines sont encore très rudimentaires, peu fiables et peu puissantes. Cela n’a pas empêché ce document visionnaire d’explorer des notions que l’on peut rapprocher, des décennies plus tard, de l’intelligence artificielle, de l’apprentissage machine et de l’apprentissage...

Les IA stupides

Pour certaines tâches restreintes, des IA surpassent l’être humain. Les IA sont actives 24h/24, 365 jours par an, sans se fatiguer et se démotiver, même si les travaux sont répétitifs et ennuyeux. Elles sont rapides et peuvent traiter de grands volumes de données. Pourtant, il arrive que des IA se trompent. Parfois elles le font d’une manière flagrante, commettant des erreurs qu’un enfant de 5 ans n’aurait pas faites. C’est ce qui fait dire au chercheur Sendhil Mullainathan : « Nous devrions avoir peur. Non pas des machines intelligentes. Mais des machines qui prennent des décisions pour lesquelles elles n’ont pas l’intelligence nécessaire. J’ai bien plus peur de la stupidité des machines que de leur intelligence ».

1. Les IA prennent des raccourcis

La reconnaissance d’images est un domaine dans lequel les IA ont fait d’importants progrès depuis dix ans, et atteignent globalement un niveau de performance humain. Mais des exemples tantôt comiques, tantôt tragiques illustrent la propension de ces IA à commettre des erreurs. On trouve sur les réseaux sociaux des vidéos postées par des propriétaires de voitures Tesla montrant comment l’IA conçue pour reconnaître les panneaux et feux de signalisation à partir des images provenant des caméras du véhicule se trompe. Selon les cas, elle prend pour un feu de signalisation la Lune, une bannière verticale sur laquelle le mot COOP est inscrit en rouge, ou encore un camion transportant des feux de signalisation. En mai 2016 survient un évènement tragique lorsqu’une Tesla s’encastre sous un poids lourd, tuant le conducteur. Le système d’assistance à la conduite Autopilot qui était enclenché n’a pas « vu » le camion blanc sur fond de ciel nuageux. L’automobiliste n’avait pas les mains sur le volant, malgré les recommandations du constructeur et les avertissements sonores répétés du véhicule. En octobre 2020, Facebook bannit une photo d’oignons téléchargée par un magasin de semences et d’engrais. Les couleurs et les formes des légumes...

Les IA biaisées

Il est tentant de penser que les IA étant basées sur les mathématiques et l’analyse d’importants volumes de données, elles sont neutres, objectives, équitables, impartiales, voire incorruptibles. Pourtant, de multiples études et de nombreux incidents sont venus, depuis quelques années, illustrer la propension des IA à produire des résultats biaisés pouvant avoir des effets négatifs sur des personnes.

1. Des biais dans le recrutement, la justice et la santé

Confier à des IA la tâche d’analyser des CV pour sélectionner les meilleurs postulants peut être intéressant pour la direction des ressources humaines d’un grand groupe, au vu des importants volumes de candidatures à traiter. En 2014, Amazon se lance dans un tel projet. Rapidement, il apparaît que l’IA a tendance à surnoter les CV d’hommes. Pourtant, l’outil n’a pas été conçu pour prendre en compte le genre des candidats. Un examen approfondi permet de trouver une explication. L’IA a été entraînée sur les CV reçus pendant les dix années précédentes par l’entreprise, dont une très grande majorité correspondait à des hommes. Cet apprentissage a causé des biais se manifestant par des notations plus basses des CV de femmes. Amazon tente de corriger les défauts de son IA d’analyse de CV, avant finalement d’abandonner en 2018 et de la débrancher.

En mai 2016, ProPublica, une association de journalistes d’investigation, publie une enquête [17] sur le logiciel COMPAS (Correctional Offender Management Profiling for Alternative Sanctions). Cet outil est utilisé au sein du système judiciaire américain pour prédire le risque de récidive de justiciables dans le cadre de libérations sous caution ou conditionnelles, de condamnations, ou de programmes de réinsertion. Les journalistes ont obtenu les résultats de COMPAS pour plus de sept mille personnes arrêtées dans un comté de Floride entre 2013 et 2014 et ont analysé les mises en cause de ces individus dans les deux années suivantes. Ils ont étudié les cas de faux positifs, quand...

Les IA opaques

1. La question de l’explicabilité

Sur la base de données fournies en entrée, une IA de type apprentissage profond produit une décision, une prédiction ou un contenu, souvent accompagnée d’un niveau de confiance sous la forme d’une probabilité. Mais, par défaut, elle n’en dit pas plus. Pour la personne objet de l’inférence, pour l’organisation mettant en œuvre l’IA et pour un éventuel régulateur, les résultats générés ne sont ni expliqués ni justifiés. Certes, ils ont été obtenus via des calculs simples réalisés sur les données fournies en entrée et les paramètres ajustés lors de l’apprentissage. Mais lorsqu’une IA possède des millions de paramètres et des centaines de couches, l’entraînement engendre un système extrêmement complexe reliant les données d’entrée aux données de sortie, dont même le concepteur ne peut expliquer facilement le fonctionnement.

Le processus de développement d’une IA d’apprentissage profond se fonde sur des essais avec différentes architectures, jeux de données d’entraînement, hyperparamètres. Les caractéristiques choisies le sont principalement sur la base du constat de l’efficacité pratique de l’IA ainsi construite lors des étapes de validation et de test, et non sur une explication de cette efficacité. Lors de l’apprentissage, le développeur sélectionne les données d’entraînement et vérifie la justesse de la prédiction sur les données de validation et de test, mais les paramètres sont ajustés par l’algorithme d’apprentissage et non par le développeur. Cette situation est très différente de celle d’un programme informatique écrit par un développeur qui utilise des instructions et des variables pour définir un comportement déterministe, qui applique une logique établie lors de la phase de conception. Le code du programme peut être volumineux et complexe et des bugs peuvent s’y glisser, mais des outils de type débugger (débogueur)...

Les IA bavardes

Les IA ingèrent de grandes quantités de données dont elles déduisent des paramètres qui sont ensuite utilisés pour prendre des décisions, faire des prédictions ou générer des contenus sur la base de données qui leur sont soumises. Elles ne sont pas censées fournir d’informations additionnelles. Pourtant, à partir des années 2010, des travaux de recherche explorent la possibilité d’extraire des IA des informations autres que les résultats de la phase d’inférence, ce qui occasionne des risques sur la confidentialité des données d’entraînement et des paramètres de l’IA.

1. Les attaques d’« exfiltration de modèle »

Une première catégorie d’attaques est nommée « exfiltration de modèle » ou model extraction. Le but est de récupérer des informations sur une IA, son architecture, ses hyperparamètres, ses paramètres, voire de générer une IA qui donne globalement des résultats semblables à l’IA visée. Les premiers travaux dans ce domaine remontent à 2016, lorsqu’une équipe [53] parvient à créer des IA qui réalisent avec un taux de succès élevé des classifications identiques à celle des IA requêtées via des API, montrant ainsi que l’on peut produire des copies d’IA même si l’accès ne peut se faire qu’en mode « boîte noire ». Dans cette situation, l’attaquant ne dispose d’aucune connaissance ni d’aucun privilège sur le système cible. Il ne peut qu’interagir avec lui, comme le ferait un utilisateur de base, en lui soumettant des requêtes et obtenant des classifications accompagnées de scores de confiance sur le résultat. En mode « boîte blanche » au contraire, l’attaquant a accès à toutes les informations (documentation, données, code source, paramètres, etc.).

En novembre 2017 est publiée une étude [54] décrivant l’approche à suivre, sur la seule base de quelques centaines de requêtes de classification envoyées...

Les IA fragiles

Il paraît logique que des IA utilisées pour protéger un environnement contre des cyberattaques, accorder ou refuser des accès ou détecter des fraudes, deviennent elles-mêmes des cibles pour les attaquants. Comme les IA sont hébergées sur des ordinateurs, toutes les techniques classiques d’intrusion peuvent être employées pour accéder à leur code ou leurs paramètres, les analyser ou les modifier. Un attaquant qui parvient à s’introduire sur un système sur lequel une IA s’exécute peut alors totalement contrôler les prédictions, décisions ou contenus produits. Mais d’autres typologies d’attaques existent, tentant de faire dysfonctionner des IA sur la base de caractéristiques propres à ces technologies.

1. Les attaques adversariales

Dès le début des années 2000, quelques années seulement après que les premiers outils de cybersécurité basés sur l’IA ont été développés pour identifier des programmes, e-mails ou flux réseau malveillants, des travaux de recherche explorent les façons de contourner ces dispositifs et d’échapper au filtrage. En 2002, une étude [65] présente des techniques pour esquiver un logiciel de détection d’intrusion fondé sur l’apprentissage machine. En 2004, c’est un outil antispam qui est attaqué [66], via une approche qui entraîne un algorithme à générer des e-mails capables de passer au travers du filtre dont le rôle est d’intercepter de tels contenus.

En décembre 2013, un article [67] fondateur pose les bases de ce que l’on appellera par la suite les attaques adversariales (à ne pas confondre avec les GAN ou Generative Adversarial Networks, même si des GAN sont parfois employés pour des attaques adversariales). Ces attaques sont également connues sous les noms d’« attaque par évasion », « attaque contradictoire » ou « attaque antagoniste ». Les chercheurs montrent qu’il est possible de provoquer des classifications incorrectes par un réseau neuronal de reconnaissance d’images...

Les IA indiscrètes

Nous avons vu plus haut que certaines caractéristiques des technologies basées sur la blockchain entraient en collision avec certaines exigences du RGPD. La situation est similaire pour l’IA pour des raisons différentes. Plusieurs règles du RGPD sont en effet bien difficiles à respecter quand on veut déployer une IA qui se nourrit de données à caractère personnel. Le RGPD s’applique d’une part lorsqu’une IA est, au cours de son développement, entraînée à partir de données personnelles, et d’autre part quand elle est utilisée pour produire des résultats concernant des personnes.

1. Finalité et minimisation

Le RGPD exige que la finalité d’un traitement de données à caractère personnel, c’est-à-dire l’objectif poursuivi par ce traitement, soit explicitement définie avant la collecte des données. Les données personnelles ne doivent pas être traitées ultérieurement pour une autre finalité, sauf exception (notamment traitement compatible, consentement des personnes ou intérêt public). Cependant, vu la nature de l’IA, il peut être difficile pour les développeurs de savoir exactement à l’avance avec quel objectif une IA sera utilisée, en particulier si elle est par la suite employée comme base d’un apprentissage par transfert pour une autre IA. Dans le cas de l’apprentissage supervisé, l’exigence de limitation des finalités est problématique, car, face à la charge de travail que constitue la construction de jeux de données d’apprentissage suffisamment grands, il est tentant de réutiliser des données ayant servi à l’apprentissage d’une IA afin d’entraîner d’autres IA avec des finalités bien différentes. Le problème se pose également pour les IA de fondation, qui peuvent être in fine utilisées pour des tâches qui n’étaient pas prévues lors de l’entraînement initial.

Le RGPD demande également que, selon le principe de la minimisation, seules les données pertinentes et nécessaires aux finalités du traitement...

Les IA attaquantes et attaquées

1. L’IA à l’attaque

L’IA est aujourd’hui intégrée dans de nombreux outils de cybersécurité et est utilisée par des organisations comme un bouclier permettant de se protéger contre les cyberattaques. Elle peut à l’inverse être un glaive facilitant ou rendant possibles des cyberattaques.

Les attaquants peuvent en effet employer des IA pour les assister dans la phase de reconnaissance, qui consiste à identifier des cibles et des points d’entrée, qu’il s’agisse de systèmes ou d’humains. La capacité des IA à analyser de grandes quantités de données non structurées, de textes ou d’images, peut en effet aider les attaquants à profiler les organisations visées en localisant les adresses et réseaux IP, noms de domaines, serveurs, sites web, etc., leur appartenant. De même, l’IA peut être employée pour découvrir leurs collaborateurs et dirigeants et collecter les données personnelles, noms, adresses e-mail ou identités sur les réseaux sociaux de ces personnes. L’IA peut ensuite être utilisée pour sélectionner les systèmes ou les personnes les plus vulnérables à attaquer en priorité. En 2017, une présentation [131] à la conférence de cybersécurité Black Hat décrit comment, sur la base d’informations collectées sur Internet, une IA peut permettre de cibler des individus pour réaliser une attaque de type « fraude au président » visant à faire réaliser des virements frauduleux par un employé.

Les êtres humains peuvent être visés dans les premières étapes d’une cyberattaque, via des techniques de phishing ou d’ingénierie sociale. Il peut s’agir d’un e-mail contenant un lien redirigeant vers un site où il est demandé de saisir son mot de passe, ou d’une pièce jointe qui permet à l’attaquant de s’introduire sur le poste de travail de la victime dès qu’elle est ouverte. Cela peut également prendre la forme d’une sollicitation des personnes ciblées via un appel...

Les IA voraces

1. La course au gigantisme

Certaines IA parmi les plus performantes sont entraînées avec des jeux de données gigantesques. ImageNet, utilisé pour l’apprentissage des IA de reconnaissance d’images, contient 14 millions de photos étiquetées, accumulées depuis 2009. JFT-300M, compilé par Google, compte 300 millions d’images auxquelles sont associées 1 milliard d’annotations. Facebook a entraîné une IA sur 3,5 milliards de photos provenant d’Instagram. Les IA de traitement du langage sont également nourries de très importantes quantités de données. GPT-3 a été entraînée avec un corpus de textes de 570 Go contenant 355 milliards de mots. L’IA chinoise Wu Dao 2.0 a été entraînée sur 4,9 To de données, dont 2,4 To de textes en chinois et 2,4 To en anglais. LaMDA de Google a appris à partir de 1 560 milliards de mots. Le jeu de données d’apprentissage LAION-5B comprend 5,85 milliards de couples image-texte. Il faudrait 185 ans pour tous les regarder à raison d’une image par seconde.

Les performances de l’apprentissage profond s’expliquent en grande partie par la très forte croissance du nombre de paramètres, c’est-à-dire les variables internes à l’IA, qui sont ajustées par l’entraînement pour atteindre les résultats attendus. De véritables mastodontes sont apparus depuis 2020. GPT-3 met ainsi en œuvre 175 milliards de paramètres. Chez DeepMind, Gopher en compte 280 milliards. Megatron-Turing NLG est dotée de 530 milliards de paramètres. PaLM, GShard, GLaM et Switch-C de Google possèdent respectivement 540, 619, 1 200 et 1 600 milliards de paramètres. Le record est détenu par Wu Dao 2.0, développée par l’Académie d’intelligence artificielle de Pékin, avec 1 750 milliards de paramètres. Un article [147] publié...

Les IA trompeuses

1. u/deepfake

Début novembre 2017, un utilisateur dont le pseudonyme est « u/deepfake » commence à poster, sur un groupe du site web communautaire Reddit, des vidéos dans lesquelles les visages de célébrités sont placés sur des corps d’actrices pornographiques en action. Le mot deepfake, basé sur l’alliage entre le deep learning et les fake media est né. Il recouvre l’usage d’IA pour manipuler ou générer des images, vidéos, sons ou textes, avec un niveau de réalisme qui les rend difficiles à distinguer de contenus authentiques. Le groupe où les vidéos ont été téléchargées est supprimé par Reddit en février 2018, mais entre-temps, 100 000 utilisateurs l’ont fréquenté. De nouveaux deepfakes ont été postés, provenant d’individus recourant manifestement à du code mis à disposition par « u/deepfake ». Depuis, de nouveaux sites sont apparus pour héberger de telles vidéos et des milliers de deepfakes pornographiques sont diffusés sur Internet. La presse couvre le sujet dès décembre 2017, en s’alarmant de l’impact que ces vidéos peuvent avoir pour les femmes qui en sont victimes, et d’autres utilisations malveillantes comme des campagnes de désinformation. L’ère des deepfakes ou « hypertrucages » a commencé.

2. Les visages truqués

Les technologies qui rendent possibles ces deepfakes ciblant les visages étaient déjà étudiées par la recherche académique. En juillet 2016 est publié un article [153] qui présente une méthode permettant de plaquer les expressions faciales d’un acteur sur le visage d’un individu dans une vidéo. Il est possible de créer des séquences où le visage, voire le corps d’une personne est animé à la manière d’une marionnette, en calquant les expressions faciales et les mouvements de la tête d’une autre personne. En juillet 2017, une équipe de chercheurs [154] montre, en prenant Barack Obama comme modèle, que l’on peut plaquer...

Comment construire une IA de confiance ?

1. Mettre en place une gouvernance pour les IA

Dès que les IA sont déployées en soutien à des processus métier ou commercialisées, elles sont porteuses de risques opérationnels. Ces risques peuvent concerner directement l’organisation qui met en œuvre l’IA, lorsque, par exemple, une prédiction de ventes erronée est faite. Ils peuvent également provoquer des conséquences sur les personnes à propos desquelles l’IA est employée, comme dans le cas d’un refus de prêt sur la base d’une décision biaisée. Il est donc important d’établir un cadre permettant un développement maîtrisé et une utilisation responsable de l’IA au sein de l’entreprise.

De multiples parties prenantes sont impliquées dans les projets fondés sur l’IA qui sont lancés dans les entreprises. Il s’agit en premier lieu des chefs de projet et des équipes d’ingénierie, d’étude et de développement engagés dans la conception et l’entraînement des IA. Les gestionnaires des processus métier au sein desquels une IA est censée opérer sont également concernés. Ils doivent définir les objectifs ainsi que les principes à respecter et s’investir de la conception au déploiement du projet, en collaboration avec les équipes de développement. Les fonctions de contrôle que sont l’audit interne, la maîtrise des risques, le juridique, la conformité, l’éthique ou la déontologie, la qualité, la cybersécurité, la protection des données personnelles, doivent vérifier que les risques liés à l’IA sont identifiés et couverts de manière appropriée et que les lois, règlements et contrats sont appliqués. La direction de l’entreprise doit s’assurer que le projet d’IA est aligné avec sa stratégie et ses valeurs et que les risques sont maîtrisés tout au long du cycle de vie. Cette implication peut se traduire par la participation de membres de la direction à des comités visant à superviser le développement...

Notes

[1] "Computing Machinery and Intelligence". A. Turing

[2] "A proposal for the Darthmout summer research project on artificial intelligence", J. McCarthy, M.L.Minsk, N.Rochester, C.E.Shannon

[3] "Artificial Intelligence: A General Survey", J. Lighthill

[4] "A Logical Calculus of the Ideas Immanent in Nervous Activity", W. McCulloch, W. Pitts

[5] "On the Opportunities and Risks of Foundation Models", R. Bommasan and many others

[6] "Shortcut Learning in Deep Neural Networks”, R.Geirhos, J-H.Jacobsen, G.Michaelis, R.Zemel, W.Brendel, M.Bethge, F.A.Wichmann"

[7] "Automated Classification of Skin Lesions: From Pixels to Practice", A. Narla, B. Kuprel, K. Sarin, R. Novoa, J. Ko

[8] :

  1. « "Why Should I Trust You?" Explaining the Predictions of Any Classifier », M. Tulio Ribeiro, S. Singh, C. Guestrin

  2. " RISE : Randomized Input Sampling for Explanation of Black-box Models", V. Petsiuk, A. Das, K. Saenko

[9] "Pathologies of Neural Models Make Interpretations Difficult", S. Feng, E. Wallace, A. Grissom, M. Iyyer, P. Rodriguez, J. Boyd-Graber

[10] "Overinterpretation reveals image classification model pathologies", B. Carter, S. Jain, J. Mueller, D. Gifford

[11] "From ImageNet to Image Classification: Contextualizing Progress on Benchmarks", D. Tsipras, S. Santurkar, L. Engstrom, A. Ilyas, A. Madry

[12] "Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks", C. G .Northcutt, A. Athalye, J. Mueller

[13] "Schema Networks: Zero-shot Transfer with a Generative Causal Model of Intuitive Physics", K. Kansky, T. Silver, D. A. Mély, M. Eldawy. M. Lazaro-Gredilla, X. Lou, N. Dorfman, S. Sidor, S. Phoenix, D. George

[14] "Robots that can adapt like animals", A. Cully, J. Clune, D. Tarapore, J. B. Mouret

[15] "Unmasking Clever Hans predictors and assessing what machines really learn", S. Lapuschkin, S. Wäldchen, A. Binder, G. Montavon, W. Samek, K-R. Müller

[16] "Back to Basics: Benchmarking Canonical Evolution Strategies for Playing Atari", P. Chrabaszcz...