Dans l’œil de la machine, avec Antonio Somaini

Anto­nio Somai­ni, pro­fesseur en études ciné­matographiques, études visuelles et théorie des médias à l’Université Sor­bonne Nou­velle, pré­pare actuelle­ment un ouvrage sur les con­séquences du développe­ment de l’Intelligence Arti­fi­cielle dans la créa­tion artis­tique et la cul­ture visuelle con­tem­po­raines. Nous avons échangé avec lui autour de l’émergence de cette « machine vision ».

Que recou­vre selon vous le terme de machine vision ? Quels sont les out­ils et les dif­férents types d’images qui par­ticipent de ce phénomène ?

Le phénomène de la machine vision fait par­tie d’un ensem­ble plus vaste de phénomènes liés à l’Intelligence Arti­fi­cielle – un terme qu’il faut manier avec pré­cau­tion, parce qu’il recou­vre des tech­nolo­gies et des appli­ca­tions qui sont entourées par un réseau com­plexe de dis­cours, d’imaginaires et de fic­tions. Traduit en français par « vision arti­fi­cielle » ou « vision par ordi­na­teur », le terme machine vision désigne des sys­tèmes infor­ma­tiques ali­men­tés par des proces­sus de « machine learn­ing » (« appren­tis­sage automa­tique ») dont l’objectif est de détecter et de recon­naître des objets et des formes à l’intérieur des images. Après avoir été testées pour la pre­mière fois à la fin des années 1950, avec le Per­cep­tron (le pre­mier réseau de neu­rones arti­fi­ciels, un sys­tème de recon­nais­sance de car­ac­tères), ces tech­nolo­gies se sont dévelop­pées de plus en plus rapi­de­ment à par­tir des années 1990. Depuis une dizaine d’années, elles se nour­ris­sent des mil­liards d’images acces­si­bles en ligne : des images qui par le seul fait d’être numériques sont « machine-read­able », c’est-à-dire analysables par des machines. Par la ren­con­tre entre l’Intelligence Arti­fi­cielle et le Big Data, les sys­tèmes de machine vision sont donc en train de trans­former l’iconosphère numérique con­tem­po­raine en un vaste champ d’extraction et d’agrégation de don­nées. Vis­ages, expres­sions du vis­age, corps, gestes, mou­ve­ments, objets et lieux peu­vent désor­mais être iden­ti­fiés, éti­quetés, stock­és, organ­isés et traités sous forme de don­nées rapi­de­ment acces­si­bles et util­is­ables à des fins très divers­es : de la recon­nais­sance faciale util­isée à des fins de sur­veil­lance par des insti­tu­tions publiques ou des sociétés privées, à la recon­nais­sance d’émotions pour des analy­ses de mar­ket­ing ; du con­trôle des proces­sus indus­triels au pilotage de voitures sans con­duc­teur, drones et robots ; de l’analyse diag­nos­tique de l’intérieur du corps humain grâce au traite­ment automa­tisé de l’imagerie médi­cale, à l’étude, par le biais d’images satel­lite, de la sur­face de la Terre et des trans­for­ma­tions pro­duites par le change­ment cli­ma­tique. À tous ces champs d’application s’ajoute aus­si celui des straté­gies et des opéra­tions mil­i­taires, où ces tech­nolo­gies sont désor­mais déployées à tous les niveaux. Or, ce qu’il faut soulign­er, c’est qu’en plus d’apprendre à des machines com­ment recon­naître des entités dans des images, le machine learn­ing per­met aus­si de trans­former des images exis­tantes, voire d’en créer de nou­velles. C’est l’ensemble de notre cul­ture visuelle qui est par con­séquent boulever­sé par ces tech­nolo­gies.

À quel moment ce domaine de recherche s’est-il imposé à vous ?

Avec la lec­ture d’un texte de l’artiste et chercheur Trevor Paglen, « Invis­i­ble Images (Your Pic­tures Are Look­ing At You) », pub­lié en 2016 dans la revue The New Inquiry. Dans ce texte, Paglen analyse avec une grande clarté les enjeux épistémiques et poli­tiques du développe­ment des sys­tèmes de machine vision, et voit dans ce développe­ment un tour­nant majeur – un « tec­ton­ic shift », un « glisse­ment tec­tonique » – dans l’histoire des images et de la cul­ture visuelle. Avec ces tech­nolo­gies, selon lui, « la cul­ture visuelle humaine est dev­enue un cas par­ti­c­uli­er de vision, une excep­tion à la règle », tan­dis que « l’écrasante majorité des images sont désor­mais réal­isées par des machines pour d’autres machines, les humains étant rarement dans la boucle ». Or, je ne pense pas qu’à ce stade l’écrasante majorité des images soient réal­isées par des machines pour d’autres machines. Cela con­cerne surtout des sit­u­a­tions spé­ci­fiques, comme par exem­ple les sys­tèmes con­trôlant les proces­sus de pro­duc­tion indus­trielle, ou les caméras de sur­veil­lance qui pro­duisent sans cesse des quan­tités énormes d’images analysées de manière automa­tique, sans être vues, dans la plu­part des cas, par des yeux humains. Si l’on met de côté des sit­u­a­tions de ce type, la très grande majorité des mil­liards d’images stock­ées sur Inter­net et chargées sur les plate­formes des réseaux soci­aux ont été pro­duites par des humains pour d’autres humains, bien qu’elles puis­sent être dans le même temps analysées et traitées par un « regard » non-humain, algo­rith­mique, celui de la machine vision. Mal­gré ces quelques points de désac­cord, le texte de Trevor Paglen reste pour moi fon­da­teur.

Le fait que ces images puis­sent être analysées automa­tique­ment par la machine nous invite-il à repenser la notion même d’image ? Une image numérique est-elle encore une image ?

La ques­tion de savoir si une image numérique est encore une image s’est posée dès le début des années 1990. Le développe­ment des nou­velles tech­nolo­gies numériques dans le champ des images a pro­fondé­ment boulever­sé cette notion qui avait, jusque-là, surtout été pen­sée en rela­tion avec des tech­niques et des formes de représen­ta­tion comme le dessin, la pein­ture, la sculp­ture, la pho­togra­phie ou le ciné­ma argen­tique. Aujourd’hui, trente ans après ce tour­nant numérique, peu de per­son­nes met­tent encore en ques­tion le fait qu’une « image numérique » soit encore une image. Nous sommes con­stam­ment entourés par une quan­tité énorme d’images numériques et nous les traitons comme des images. Les choses changent, par con­tre, si nous prenons en con­sid­éra­tion ces images une fois inté­grées dans les sys­tèmes de machine vision : celles-ci devi­en­nent machine-read­able dans le sens où elles peu­vent être « vues », analysées et traitées sans s’afficher sur un écran et être vis­i­bles par des yeux humains. Cette trans­for­ma­tion boule­verse pro­fondé­ment la notion d’image, puisqu’elle soulève la ques­tion de savoir si l’on peut encore con­sid­ér­er comme « image » un fichi­er numérique qui ne se man­i­feste jamais sous une forme vis­i­ble – ou seule­ment pour un temps très lim­ité.

Le terme de machine-read­able image ren­voie aus­si à la grande ques­tion des rap­ports entre image et lan­gage, puisque les sys­tèmes de machine vision se basent sur la pos­si­bil­ité d’associer à chaque image, et à chaque objet représen­té dans une image, un ou plusieurs ter­mes issus du lan­gage naturel. La base de don­nées d’images la plus util­isée pour entraîn­er les sys­tèmes de machine vision, Ima­geNet, con­tient 14 mil­lions d’images organ­isées selon une arbores­cence con­sti­tuée de 21 000 caté­gories et sous-caté­gories, liées aux sub­stan­tifs de la langue anglaise et dérivées de la hiérar­chie de Word­Net. C’est la struc­ture du lan­gage – qui plus est, d’une langue spé­ci­fique – qui régit le fonc­tion­nement des sys­tèmes de machine vision, et toute la rela­tion entre images, mots et choses est remise en ques­tion.

Au fil de vos recherch­es, vous con­vo­quez des références issues des théories du ciné­ma et de la pho­togra­phie des années 1920, 1930 et 1940. Je pense aux écrits de Dzi­ga Ver­tov sur le « ciné-œil », à ceux de Moholy-Nagy sur la « Nou­velle Vision », au con­cept ben­jaminien d’« incon­scient visuel » ou encore à L’Intelligence d’une machine (1946) de Jean Epstein. Dans quelle mesure le phénomène récent de la machine vision nous ramène-t-il à ces inter­ro­ga­tions vieilles d’un siè­cle ?

Dans le texte que je viens de citer, « Invis­i­ble Images (Your Pic­tures Are Look­ing At You) », Trevor Paglen écrit que « si nous voulons com­pren­dre le monde invis­i­ble de la “machine visu­al cul­ture”, nous devons dés­ap­pren­dre à voir comme des humains ». Cette phrase syn­thé­tise le tra­vail que Trevor Paglen pour­suit depuis 2017, mais des­sine aus­si une voie très intéres­sante à suiv­re si l’on veut analyser le phénomène de la machine vision selon une per­spec­tive his­torique et média-archéologique. Cette ten­ta­tive de « dés­ap­pren­dre à voir comme des humains » a en effet déjà été amor­cée par toute une série d’artistes, pho­tographes, cinéastes, théoriciens de l’art et cri­tiques de la cul­ture qui, dans les années 1920 et 1930 en par­ti­c­uli­er, se sont inter­rogés sur les enjeux d’un regard non-humain qui, pour eux, était celui de la caméra, ciné­matographique ou pho­tographique. Dans les écrits de fig­ures très dif­férentes comme Jean Epstein, Dzi­ga Ver­tov, Lás­zló Moholy-Nagy, Wal­ter Ben­jamin, et Siegfried Kra­cauer, nous trou­vons un ensem­ble de réflex­ions sur le poten­tiel esthé­tique, épistémique et poli­tique d’un regard machinique – un regard dont à l’époque on soulig­nait la dimen­sion « objec­tive » et « indif­férente », capa­ble de décen­tr­er le regard humain et d’envisager une nou­velle manière de regarder le monde vis­i­ble, à laque­lle on asso­ci­ait un vrai poten­tiel poli­tique. Dans le livre que je pré­pare actuelle­ment, je reviens sur ces textes afin de recon­stru­ire les nom­breuses lignes généalogiques qui les relient à notre con­tem­po­ranéité. J’essaie aus­si de com­pren­dre à quel point, et com­ment, s’est pro­duit le ren­verse­ment qui a fait que ce même « regard de la machine », à l’époque perçu comme un instru­ment de libéra­tion (sen­sorielle, épistémique, poli­tique), ait été ensuite asso­cié à des fonc­tions répres­sives de sur­veil­lance et de con­trôle. C’est une ques­tion qui est aus­si au cen­tre de cer­taines instal­la­tions vidéo d’Harun Faroc­ki, comme Counter-Music (2004).

Pour ce qui con­cerne plus pré­cisé­ment le ciné­ma, on con­state que la machine vision irrigue la pra­tique d’artistes con­tem­po­rains (je pense évidem­ment à Hito Stey­erl) mais occupe, à l’exception notable des deep fakes, une place un peu mar­ginale dans les films se des­ti­nant à l’exploitation en salles…

Pour le moment, en effet, les fig­ures qui tra­vail­lent active­ment sur les sys­tèmes de machine vision évolu­ent surtout dans le champ de l’art con­tem­po­rain, même si très sou­vent leurs œuvres utilisent des images en mou­ve­ment : je pense à Trevor Paglen et Hito Stey­erl, mais aus­si à Gré­go­ry Cha­ton­sky et à d’autres artistes, sou­vent des artistes-chercheurs, comme Nora Al-Badri, Refik Anadol, Ben Bog­a­rt, Mario Klinge­mann, Egor Kraft, Hele­na Nikonole, et même Pierre Huyghe, qui a inclus des images pro­duites par des réseaux de neu­rones dans son instal­la­tion Uumwelt, présen­tée à la Ser­pen­tine Gallery en 2018. Ceci dit, je pense que ces tech­nolo­gies sont des­tinées à avoir des con­séquences pro­fondes sur le ciné­ma, à tous les niveaux : que ce soit au moment du tour­nage, avec des caméras qui intè­grent (comme c’est déjà le cas) des fonc­tion­nal­ités ali­men­tées par des sys­tèmes de machine learn­ing, ou au moment du mon­tage et de la dif­fu­sion (il suf­fit de penser au rôle joué par les algo­rithmes sur des plate­formes comme Net­flix). Les sys­tèmes de machine vision et leurs appli­ca­tions – par exem­ple, la recon­nais­sance faciale – sont d’ailleurs sou­vent évo­qués dans des films d’action (on peut penser par exem­ple à Eye in the Sky, sor­ti en 2015) ou dans des séries télé (comme les épisodes « Hatred in the Nation » ou « Met­al­head » de Black Mir­ror). Il faut aus­si men­tion­ner le fait que cer­taines archives filmiques – comme celle du Eye Film Muse­um d’Amsterdam, avec le pro­jet Jan Bot – com­men­cent à s’emparer de ces tech­nolo­gies pour en tester la pos­si­ble appli­ca­tion à l’étude de l’histoire du ciné­ma, en faisant des recherch­es qu’on ne pour­rait pas faire sans, comme repér­er toutes les occur­rences d’un vis­age, d’un geste, d’un objet, d’un mou­ve­ment de caméra ou d’une con­fig­u­ra­tion lumineuse dans de très vastes cor­pus de films.

Quelles straté­gies fig­u­ra­tives adoptent les artistes qui s’intéressent à la machine vision ? Com­ment don­ner à voir ce qui, pré­cisé­ment, ne relève pas sys­té­ma­tique­ment du vis­i­ble ?

On trou­ve, dans la pro­duc­tion de cer­tains des artistes que je viens de men­tion­ner – Trevor Paglen, Hito Stey­erl, Gré­go­ry Cha­ton­sky – des straté­gies divers­es pour faire face à l’impact de l’intelligence arti­fi­cielle sur la cul­ture visuelle con­tem­po­raine. Depuis 2017, Trevor Paglen pro­duit des œuvres et écrit des textes (sou­vent en col­lab­o­ra­tion avec Kate Craw­ford) qui nous ren­seignent sur les enjeux épistémiques et poli­tiques des nou­velles tech­nolo­gies de machine vision, en se con­cen­trant en par­ti­c­uli­er sur l’analyse de la com­po­si­tion des bases de don­nées util­isées pour les entraîn­er (comme Ima­geNet) et sur les préjugés d’ordre poli­tique, racial, ou de genre qui les tra­versent. Son tra­vail pos­sède une dimen­sion cri­tique qui s’inscrit directe­ment dans la per­spec­tive ouverte par Harun Faroc­ki avec ses instal­la­tions du début des années 2000, par exem­ple Eye Machine I, II, III (2001–2003), et ses textes sur les « images opéra­toires ». Hito Stey­erl développe, elle aus­si, un regard cri­tique sur ces tech­nolo­gies, en se focal­isant prin­ci­pale­ment – dans des instal­la­tions comme This is the Future (2019) ou Social­Sim (2020) – sur leur fonc­tion pré­dic­tive : leur par­tic­i­pa­tion à tout un vaste réseau de sys­tèmes de pré­dic­tion et de sur­veil­lance qui tra­verse les champs mil­i­taire, économique, social, et poli­tique. Gré­go­ry Cha­ton­sky, par con­tre, adopte une autre stratégie. D’un côté, ils s’in­ter­roge sur les enjeux épistémiques de ces tech­nolo­gies et leurs rela­tions avec l’histoire de médias comme la pho­togra­phie, par exem­ple lorsqu’il par­le du « nou­veau réal­isme sans réel » des images générées par une tech­nolo­gie de machine learn­ing comme les GAN (Gen­er­a­tive Adver­sar­i­al Net­works), et le met en con­traste avec la tra­di­tion du pho­toréal­isme pen­sée selon le mod­èle du sup­port pho­tochim­ique de l’image argen­tique. De l’autre, il essaie d’explorer l’imaginaire pro­duit par ces tech­nolo­gies : ce qu’il con­sid­ère comme une nou­velle forme d’« imag­i­na­tion arti­fi­cielle » pro­duite par des machines qui ont absorbé la masse « hyper­mnésique » des traces textuelles et visuelles que les humains ont déposées sur Inter­net, pour génér­er des images et des textes selon les logiques d’apprentissage automa­tique qui leur sont pro­pres.

On trou­ve dans le tra­vail de ces trois artistes des hori­zons assez dif­férents – d’ordre ana­ly­tique, cri­tique et spécu­latif –, mais les images qui tra­versent leurs œuvres peu­vent par­fois se ressem­bler. Entre les Adver­sar­i­al­ly Evolved Hal­lu­ci­na­tions (2017) de Paglen, les méta­mor­phoses de plantes et de fleurs que nous voyons dans l’installation This is the Future (2019) d’Hito Stey­erl, ou le « réal­isme sans réel » des images de l’installation Com­plé­tion 1.0 (2021) de Gré­go­ry Cha­ton­sky, on recon­naît presque un « style » com­mun : un style qui est typ­ique des images pro­duites par les sys­tèmes de machine learn­ing.

Je me dois de vous pos­er cette ques­tion un peu fatidique : est-il sérieux d’envisager, qu’à l’avenir, une part de la créa­tion audio­vi­suelle, et notam­ment ciné­matographique, se dis­pense de l’intervention humaine ?

L’idée qu’un jour l’Intelligence Arti­fi­cielle pour­rait attein­dre une autonomie lui per­me­t­tant de se dis­penser totale­ment de toute inter­ven­tion humaine fait par­tie de l’imaginaire qui l’accompagne depuis ses débuts : c’est un réc­it qui a généré toute une série de fic­tions, et qui a presque acquis une dimen­sion mythique. Et pour­tant, ce à quoi nous assis­tons avec le développe­ment de l’Intelligence Arti­fi­cielle, du moins dans la phase que nous tra­ver­sons actuelle­ment, n’est pas un dépasse­ment de l’humain, mais plutôt son décen­trement et son repo­si­tion­nement. Agen­tiv­ités humaines et tech­niques con­tin­u­ent de se crois­er – comme elles l’ont tou­jours fait dans l’histoire des images et notam­ment du ciné­ma : c’était déjà le cas d’un opéra­teur Lumière avec sa caméra, ou d’un mon­teur au tra­vail sur une table de mon­tage Steen­beck, mais ce croise­ment se pro­duit de manière dif­férente.

L’irruption de l’Intelligence Arti­fi­cielle dans la créa­tion artis­tique et la cul­ture visuelle con­tem­po­raines ne nous mène pas, pour l’instant, vers un dépasse­ment de l’humain, mais plutôt vers un nou­veau mail­lage d’interventions humaines et non-humaines : de nou­velles formes d’interaction, de coopéra­tion et de codépen­dance entre les inten­tions, les pro­jets et les gestes d’un sujet humain, et les opéra­tions automa­tiques pro­duites par la machine. Les 14 mil­lions d’images stock­ées sur Ima­geNet, util­isées pour entraîn­er des sys­tèmes de machine vision, ont été pro­duites par des humains et mis­es en ligne sur Inter­net par des humains ; elles ser­vent ensuite pour activ­er des sys­tèmes de machine vision non-humains, col­lec­tant des don­nées qui, une fois traitées et élaborées, seront util­isées pour déclencher des opéra­tions qui auront à nou­veau une inci­dence sur des humains. En d’autres ter­mes, nous faisons face à des cir­cuits et des archi­tec­tures com­plex­es, qui évolu­ent en con­tinu, et dans lesquelles la part de l’humain et celle du non-humain s’entrelacent sans cesse.