La boîte noire de l’intelligence artificielle

Par André GunthertFisheye

(Chronique Fisheye #27) Longtemps cantonnées aux applications d’indexation par reconnaissance de formes, les ressources de l’intelligence artificielle (IA) commencent à être employées à des fins d’investigation du visible. Au risque de dévoiler les limites d’un jeu toujours étroitement dépendant de ceux qui en fixent les règles. C’est ainsi qu’une étude de l’université de Stanford, revendiquant la détection de l’homosexualité par un outil de deep learning, a récemment suscité un tollé dans la communauté scientifique1.

Cosignée par Yilun Wang et Michal Kosinski, et réalisée à partir d’une sélection sur un site de rencontre de 35.326 portraits d’hommes et de femmes, l’étude visait à faire apprendre à un réseau de neurones artificiels à distinguer entre hétérosexuels et homosexuels par l’analyse des traits du visage. Basée sur la thèse de l’influence hormonale prénatale (la plus ou moins grande exposition à la testostérone à un moment précis du développement de l’embryon) sur la préférence sexuelle, la recherche présuppose un écart des caractères faciaux par rapport à la moyenne, soit une inflexion féminine dans le cas d’hommes homosexuels, ou masculine dans le cas de femmes homosexuelles.

A partir de ces hypothèses sommaires, il est possible d’entraîner un réseau neuronal à reconnaître cet écart. La machine atteint un taux d’identification revendiqué de 81% pour les hommes et de 71% pour les femmes. Un chiffre qui, comparé avec les résultats obtenus par de simples observateurs (respectivement 61% et 54%), permet d’affirmer la supériorité de l’intelligence algorithmique sur la perception humaine. L’article souligne que les réseaux neuronaux sont capables de distinguer des caractères invisibles à l’œil nu.

Largement reprise dans la presse début septembre2, l’annonce d’un outil de détection automatique de l’homosexualité suscite rapidement la polémique, pour des raisons éthiques. Plusieurs mouvements LGBT expriment leur condamnation du projet3. Les critiques fusent et soulignent les fragilités de l’étude, en particulier ses biais naturalistes, l’absence de diversité du corpus, composé pour l’essentiel de blancs de moins de quarante ans, ou le fait de comparer le jugement d’humains non entraînés à celui d’un réseau neuronal dédié4. Une réponse des auteurs, qui justifie la recherche au nom d’une hypothétique protection des homosexuels, apaise quelque peu le débat.

La polémique n’aura pourtant guère mis l’accent sur les points les plus discutables de l’expérience. On a démontré que l’influence hormonale prénatale, initialement testée sur des cochons d’Inde, n’avait qu’une action limitée sur le cerveau humain, bien inférieure aux influences sociales5. On ne peut donc attribuer aucune signification aux caractères faciaux du point de vue des préférences sexuelles.

Plus grave est la mauvaise compréhension des mécanismes qui gouvernent l’intelligence artificielle. L’étude de Wang et Kosinski s’inscrit parmi les travaux qui voient l’IA comme un outil d’investigation qui dépasse les capacités humaines, et dont les plus enthousiastes décrivent «une forme d’intelligence radicalement différente de la nôtre», aux pouvoirs mystérieux, capable d’accomplir de véritables «prodiges»6.

A contrario, les spécialistes de l’IA dénoncent l’absence d’une théorie robuste du fonctionnement des réseaux neuronaux, qui en font une boîte noire impénétrable7. Un réseau de deep learning est constitué d’un empilement de couches d’opérateurs logiques, auxquels est soumis une image. L’analyse est réalisée par réductions successives de l’information, jusqu’à la dernière couche, qui vise à produire un résultat sous une forme oui/non. En répétant l’opération sur un grand nombre d’exemples, on apprend au système à reconnaître une forme déterminée au préalable, avec un taux d’erreur réduit au minimum.

Seuls quelques articles font remarquer que l’outil mis au point par Wang et Kosinski ne s’applique pas à un groupe d’images étendu, mais choisit simplement entre deux photos, l’une d’une personne auto-déclarée comme hétérosexuelle, l’autre comme homosexuelle8. En d’autres termes, les auteurs ont entraîné une IA à reconnaître l’homosexualité à partir de l’écart à la moyenne des traits faciaux. Et c’est exactement ce que la machine a fait, le deep learning se bornant à automatiser la reconnaissance de l’information qu’on lui a demandé d’identifier.

Compte tenu d’un corpus restreint, les bons résultats de l’étude s’expliquent donc essentiellement par le caractère circulaire de ses hypothèses et de ses processus de vérification. S’il est heureux que le projet d’une détection des homosexuels a suscité le débat, il est plus inquiétant de constater que sa discussion est restée superficielle, témoignant du caractère opaque des technologies utilisées, jusque et y compris pour les auteurs de l’étude.

  1. Yilun Wang, Michal Kosinski, «Deep Neural Networks Are More Accurate Than Humans at Detecting Sexual Orientation from Facial Images» (preprint), PsyArXiv, septembre 2017. [↩]
  2. Anon., «Advances in AI are used to spot signs of sexuality», The Economist, 9 septembre 2017. [↩]
  3. Sam Levin, «LGBT groups denounce ‘dangerous’ AI that uses your face to guess sexuality», The Guardian, 9 septembre 2017. [↩]
  4. Greggor Mattson, «Artificial Intelligence Discovers Gayface. Sigh», GreggorMattson.com, 9 septembre 2017. [↩]
  5. N. E. Whitehead, «Prenatal hormones, an insignificant contributor to male brain structure», Journal of Human Sexuality, 2014/6, p.104-126. [↩]
  6. Vincent Nouyrigat, «L’intelligence qui défie notre entendement», Science & Vie, n° 1198, juillet 2017, p. 52-57. [↩]
  7. James Somers, «Is AI Riding a One-Trick Pony?», MIT Technology Review, septembre 2017. [↩]
  8. Colleen Flaherty, «How Good Is Your Gaydar? How Good Is Your Science?», Inside Higher Ed, 12 septembre 2017. [↩]

9 réflexions au sujet de « La boîte noire de l’intelligence artificielle »

  1. Une des plus grosses critiques de cette étude est aussi sa limitation à une stricte binarité (Homo/Hétéro) de l’orientation sexuelle. La bisexualité la pansexualité, l’assexualité sont totalement rendues invisibles.

    La seule chose que ces gens ont réussi à faire c’est mettre leur clichés grossiers dans une IA.

  2. Tous les systèmes de « biométrie » (déjà, mettre son empreinte digitale sur un téléphone, se faire reconnaître « facialement » sur l’iPhone X, etc.) galopent vers une vaste toile policière d’identification globale de la population.

    Sans compter maintenant la « détection » des caractères sexuels (ou autres : tendance dès la plus petite enfance au terrorisme ?), nous indiquent qu’Orwell n’avait pas tout prévu – même l’interdiction de ses livres en Corée du Nord, par exemple, paraîtrait complètement ringarde, idem en Chine : Apple fait travailler trop de monde là-bas !

  3. Ce genre de projet en dit plus sur ses auteurs et sur leurs préjugés et leurs obsessions que sur leur objet d’étude. Ici, le caractère binaire de l’orientation sexuelle. Cela ne part pas forcément d’un mauvais sentiment, c’est encore une manière pseudo-objective pour démontrer que l’orientation sexuelle fait partie de la personne, que ce n’est ni une mode, ni un vice, ni une maladie contagieuse, et que ça ne peut être que vrai puisque c’est la machine qui l’a dit. L’IA (et l’ordinateur dès ses débuts auprès du grand public) sert souvent à énoncer une vérité imparable : la machine sait tout, elle ne peut pas se tromper.

    Du point de vue technique, le fait que le deep learning soit « une boite noire » n’est pas censé être un défaut, c’est sa qualité, ça signifie avant tout que la machine a découvert des règles elle-même par l’observation et la compilation des données observées. Comme avec l’entendement humain, ça peut amener à des malentendus assez amusants. Avec une autre technique d’apprentissage, on m’a parlé de robots qui étaient récompensés lorsqu’ils accomplissaient une certaines tâche (dont ils ignoraient le but et le mode d’emploi), et il est apparu la naissance de superstitions : si un certain mouvement avait été fait pendant l’accomplissement d’une séquence réussie, les robots répétaient ce mouvement même s’il n’avait aucun rapport avec la tâche accomplie.

  4. Les débats sont restés en effet très superficiels sur cette étude, en d’autres termes : cela ne dérange-t-il personne (ou si peu de gens) de voir que certains s’autorisent à classifier les « gens » en fonctions de préférences qui relèvent de l’intime, qui sont potentiellement et intrinsèquement impermanentes (et ne deviennent en principe publiques que sur décision propre).
    Déjà la Chine a opté pour la reconnaissance faciale de masse, et la police et Facebook ont leurs propres logiciels, et voici que d’aucuns cherchent à définir des moyens de différencier les individus sur des critères qui n’ont que peu d’incidences sur le bien-être de la communauté globale. A moins qu’être homosexuels ne soit un motif de crainte, de suspicion ? pour qui ?
    En d’autres termes: quelle sera la prochaine étape, coudre un triangle rose au revers du veston de ceux qui auront été « détectés » ?
    La question ne doit pas être posée sur la fiabilité d’une telle étude mais sur les dangers qu’elle représente de par sa réalité.

  5. Je suis entierement d’accord avec le billet et avec les commentaires, qui sont d’ailleurs remarquablement unanimes!

    Le debat a commence cette annee a la suite d’une etude parue le 13 avril dans Science:

    http://www.wired.co.uk/article/machine-learning-bias-prejudice

    Il y a aussi deux bons articles sur ce sujet dans The Guardian:

    https://www.theguardian.com/technology/2017/apr/13/ai-programs-exhibit-racist-and-sexist-biases-research-reveals

    https://www.theguardian.com/inequality/2017/aug/08/rise-of-the-racist-robots-how-ai-is-learning-all-our-worst-impulses

    Sur les deux observations d’Andre Gunthert, « Boite noire » + « hypotheses circulaires »: qu’est-ce que ca signifie?

    Je crois que ca signifie le verrouillage de la pensee. Utiliser ces outils nous empeche de devenir intelligent. Comme si nous etions « suffisament » intelligents!!! Ca nous empeche de renouveler l’operation qu’a faite Derrida dans « De la grammatologie » (« la lecon d’ecriture » de Levi-Strauss), de la pensee se saisissant elle-meme, et accomplissant ainsi la veritable transparence = elimination de la boite noire, de l’angle mort.

    L’IA est suicidaire a l’heure ou justement, on s’inquiete de la performance des ordinateurs qui surpassent les humains dans de plus en plus de taches. Ce qui rejoint Evgeny Morozov: « extension du domaine de la decompetence » (« deskilling » est un mot pour decrire l’aptitude d’une operation industrielle ou commerciale a augmenter le profit en reduisant le niveau de qualification des operateurs humains »), et rejoint aussi Lucien Sfez, plus noir encore, qui dans « Critique de la Communication » ecrivait carrement que le but ultime du « tautisme » (acronyme de totalitarisme-autisme-tautologie) n’est autre que « le mal absolu ».

    Il est bon que Derrida ait justement prouve qu’une pensee « transparente », qui est capable de se saisir elle-meme, soit possible, afin de nous donner des armes pour nous defendre.

  7. Lucien Sfez avait deja remarque (dans son pave, « critique de la communication ») que le mot « transparence » en informatique signifie exactement le contraire de ce qu’il signifie dans la vie courante. Ainsi, le but ultime de l’informatique est d’etre si completement opaque, d’etre une boite tellement noire, qu’elle ne nous donne aucune prise pour demonter l’illusion, a l’image de ces produits ‘apple’ qui n’ont ni vis ni joint nulle part, et maintenant, dans le i-phone x, meme plus aucun bouton mecanique. Le but est inatteignable, bien sur, a moins d’embaucher l’effort de l’utilisateur, son desir d’y croire. Ce que Steve Jobs avait compris, et mis a profit, de maniere plus profonde, et plus efficace, que la plupart des gens.

    Vous aviez signale en 2016 la photo de Mark Zuckerberg hilare, seul humain doue de vision dans une assemblee d’aveugles volontaires:

    https://imagesociale.fr/3910

    Un article ici: http://www.businessinsider.in/Smartphones-will-officially-become-glasses-in-2022-Facebook-exec-brashly-predicts/articleshow/58271264.cms

    nous dit que facebook prepare ce qu’ils esperent etre « le prochain evenement de type apple », sous la forme de lunettes.

    Andrew Hodges dans son excellente biographie de Turing nous dit que le genial inventeur de l’ordinateur binaire passait des nuits entieres devant une sorte d’ecran, forme d’une grille de petites lampes qui indiquaient l’etat de la memoire du premier ordinateur fait en Angleterre, et que lui seul, parmi toute l’equipe de scentifiques, d’ingenieurs et de militaires qui l’assistaient le surveillaient, et avaient beaucoup de mal a le suivre, semblait trouver un interet a cet accessoire qu’il avait insiste pour faire fabriquer.

    Il y a surement une histoire qui est en train de se derouler avec comme principaux personnages, les images et les ordinateurs. Erwin Panofsky, Benjamin, Foucault ont ecrit les premieres pages, Steve Jobs a fait sa part, Facebook et Google preparent la suite… et ca devient de plus en plus glacant.

  8. De façon plus précise, on peut observer ici comment les moyens de l’AI peuvent être mis au service de projets de détection à caractère physiognomonique qui n’auraient pas déplu à Cesare Lombroso, et qui sont autant d’illustrations de la circularité expérimentale: « Facial-profiling could be dangerously inaccurate and biased, experts warn », 12/10/2016.
    http://www.businessinsider.fr/us/does-faception-work-2016-10/

  9. Desole, j’ai fait une erreur, due a ma memoire flanchante (j’ai lu le livre de Andrew Hodges en 1987). En fait l’ecran etait la memoire elle-meme, c’etait un tube cathodique. Turing a implemente des automates cellulaires dans l’ordinateur « manchester baby » vers 1948-1950, pour illustrer ses theories sur la morphogenese, que personne ne prenait au serieux a l’epoque.

    Encore un lien entre les ordinateurs et les images!

    https://ideas.ted.com/how-the-zebra-got-its-stripes-with-alan-turing/

    https://www.theverge.com/2017/4/16/15306962/ocellated-lizard-scales-computer-simulation-turing-mechanism

    Ces images (en particulier celle du lezard) ressemblent etrangement au jeu video « pac-man » dont les descendants mobilisent encore aujourdhui, la majeure partie de la puissance de calcul des telephones portable dans le metro…

Les commentaires sont fermés.