Piloté par la chercheuse Pru­dence Castelot et l’ingénieur en machine learn­ing Adrien Chut­tars­ing, Fil­mat­ters est un lab­o­ra­toire de recherche appliquée dans les IA et la cul­ture visuelle qui pro­pose, depuis 2023, un moteur de recherche dédié à l’exploration de la matière filmique. Celui-ci per­met d’effectuer des recherch­es icono­graphiques par­mi le mil­lion de plans que compte sa base de don­nées, rassem­blant à ce jour 3 300 films du domaine pub­lic. Sous la forme d’une mosaïque ou d’un atlas, l’interface repose sur une intel­li­gence arti­fi­cielle capa­ble de com­pil­er des sta­tis­tiques (col­orimétrie, lumi­nosité, etc.), mais aus­si de recon­naître et de label­lis­er des formes, des objets, des gestes, des corps, des émo­tions et même des valeurs de plan. Acces­si­ble gra­tu­ite­ment en ligne, Fil­mat­ters est un dis­posi­tif prop­ice à la recherche comme à la péd­a­gogie, qui éclaire autant l’histoire du ciné­ma que les rouages de nos IA con­tem­po­raines. L’interface con­tin­ue d’évoluer et devrait bien­tôt offrir la pos­si­bil­ité de sauve­g­arder ses recherch­es, pour con­serv­er et partager ses bou­quets d’images dans un espace latent évo­quant la « Zone » rêvée par Chris Mark­er.

Fil­mat­ters relève à la fois d’un tra­vail d’in­ter­face, d’in­dex­a­tion et de recherche en ciné­ma. Com­ment le pro­jet est-il né ?

Pru­dence Castelot : Je menais il y a quelques années un tra­vail de recherche en ciné­ma sur les con­tes, et en par­ti­c­uli­er sur Les Mille et une Nuits. C’est à ce moment-là qu’Adrien et moi avons lu un ouvrage de Vladimir Propp, Mor­pholo­gie du con­te. Ce folk­loriste a réu­ni l’imaginaire d’une mul­ti­tude de con­tes russ­es et a ten­té de les class­er en util­isant une approche struc­tural­iste à par­tir de sys­tèmes et de motifs récur­rents. Ça nous a vrai­ment fascinés. Adrien a com­mencé à faire la même chose avec Les Mille et une Nuits. À par­tir d’une ver­sion de l’œu­vre, il a créé une inter­face et réduit l’ensem­ble des réc­its en sta­tis­tiques, en se fon­dant sur l’ap­pari­tion de cer­tains per­son­nages, leurs actions, les objets mag­iques et leurs fonc­tions, pour détecter la présence de sys­tèmes trans­ver­saux. Comme s’il s’agis­sait de phras­es à part entière ou d’équa­tions.

Adrien Chut­tars­ing : Les Mille et une Nuits se prê­tait bien à cet exer­ci­ce, parce que c’est un cor­pus assez grand pour ressen­tir un ver­tige au moment de l’assemblage, mais assez petit pour être syn­thétisé visuelle­ment sous la forme d’une inter­face.

P. C. : Fil­mat­ters est né de cette volon­té d’ap­préhen­der un imag­i­naire très vaste, telle­ment vaste que les êtres humains peu­vent pass­er une vie à col­lecter toutes ces don­nées, ce que l’Intelligence Arti­fi­cielle nous aide à faire plus rapi­de­ment.

A. C. : Je pense qu’il y a aus­si une envie d’ex­plor­er la matière. Dans plusieurs de mes travaux, je me suis intéressé à la matéri­al­ité du texte, puis à celle du son, en dis­séquant des petits frag­ments musi­caux, en essayant de les label­lis­er, de les spa­tialis­er sur une carte selon leur simil­i­tude. La vidéo con­stitue en quelque sorte l’achèvement de ce tra­vail, parce que c’est une matière que l’on peut con­tem­pler de mille façons dif­férentes, mais qu’on ne pour­ra jamais appréhen­der com­plète­ment.

Com­ment avez-vous rassem­blé le cor­pus disponible sur Fil­mat­ters, et quels films le con­stituent ?

P. C. : Le cor­pus est très large. On compte autant de films oubliés, très peu con­nus même des cinéphiles, mais aus­si des grands clas­siques comme ceux de Ser­gueï Eisen­stein, Dzi­ga Ver­tov ou Jean Epstein. On peut « inter­a­gir » avec tous ces films sur la plate­forme.

A. C. : Pour des raisons de droit, on utilise unique­ment des films issus du domaine pub­lic, disponibles en stream­ing ouvert sur inter­net. Chaque année, de nou­veaux titres entrent dans le domaine pub­lic. Un proces­sus automa­tisé par­court des sources comme Wikipé­dia ou Inter­net Archive afin d’identifier ces ajouts. Les œuvres repérées sont ensuite col­lec­tées, analysées, indexées et inté­grées à la plate­forme.

Com­ment fonc­tionne cette logique d’é­ti­que­tage des images ?

A. C. : Le film est sec­tion­né plan par plan. Chaque d’entre eux est ensuite analysé visuelle­ment : on en extrait la palette de couleurs, la lumi­nosité, le type de cadrage, la durée, etc. En par­al­lèle, un mod­èle d’intelligence arti­fi­cielle con­ver­tit chaque plan en un vecteur numérique qui en cap­ture la séman­tique et les élé­ments visuels. Enfin, des infor­ma­tions con­textuelles (année de sor­tie, réal­isa­teur, genre, etc.) sont ajoutées. L’ensemble de ces don­nées con­stitue un « lan­gage d’indexation » qui déter­mine les modal­ités d’ex­plo­ration que l’on retrou­ve dans l’at­las.

P. C. : La représen­ta­tion en vecteur per­met d’effectuer des recherch­es à par­tir de mots ou de phras­es, y com­pris très abstraits. Con­traire­ment à une liste fer­mée de mots-clés prédéfi­nis, elle ouvre la pos­si­bil­ité de saisir libre­ment des requêtes comme « mains » ou « femme qui descend un escalier ».

A. C. : Un vecteur peut être vu comme un point défi­ni par ses coor­don­nées numériques. Ici, un mod­èle de machine learn­ing a été entraîné à con­ver­tir aus­si bien du texte que des images en vecteurs, de façon à ce que ceux qui parta­gent une séman­tique proche se retrou­vent voisins dans ce que l’on appelle « l’espace latent ». Cette représen­ta­tion nous per­met alors de faire des opéra­tions math­é­ma­tiques telles que des cal­culs de dis­tances entre images et textes, et même de pro­jeter les images dans des espaces 2D ou 3D, ce qui revient à car­togra­phi­er une région de l’espace latent.

Est-ce le même principe pour le lex­ique ciné­matographique, par exem­ple si l’on recherche des gros plans ou des plans d’ensemble dans la base de don­nées ?

A. C. : Pour le mod­èle de recon­nais­sance des valeurs de plan, c’est une tâche de machine learn­ing clas­sique. On entraîne un mod­èle, en lui mon­trant plein d’exemples avec la valeur de plan recher­chée. À la fin, il aura opti­misé une fonc­tion qui per­me­t­tra de recon­naître ce type de plan dans des images qu’il n’aura jamais vues aupar­a­vant. En fait, on l’entraîne à voir les choses ; cela pour­rait fonc­tion­ner en théorie pour ce que l’on veut.

Avez-vous repéré des biais d’analyse de la part de votre IA dans sa manière d’identifier cer­tains élé­ments ? Est-ce que c’est un « bon élève » ?

P. C. : Per­son­nelle­ment, je ne con­sid­ère pas les erreurs comme des erreurs. Je trou­ve tou­jours que ce sont des cas de biais intéres­sants. Mais non, ce n’est pas for­cé­ment un bon élève…

A. C. : Un jour, je recher­chais une rose – la fleur – et l’une des images qui remon­tait était un gant rouge frois­sé et replié sur lui-même. Une erreur pareille fait sens, à con­di­tion toute­fois d’interpréter les aber­ra­tions de la machine de manière poé­tique. Il y a une part de sérendip­ité dans ce dis­posi­tif. Les erreurs trahissent les biais de la machine inhérents à son entraîne­ment.

C’est une approche stricte­ment plas­tique plus qu’une recon­nais­sance intel­lectuelle ou théorique de l’élément en ques­tion, comme un regard ultra super­fi­ciel sur les images…

A. C. : Vu que ce mod­èle a été entraîné unique­ment en obser­vant une quan­tité astronomique d’images accom­pa­g­nées de leurs descrip­tions, la représen­ta­tion séman­tique arti­fi­cielle qu’il a con­stru­ite est extrême­ment spé­ci­fique. Si je recherche « jalousie » : à quoi ça ressem­ble ? Le mod­èle a quelque part réus­si – par effet sta­tis­tique – à généralis­er, à devin­er et à se faire une con­cep­tion de ces notions qui ne sont pas visuelles, mais les résul­tats sont beau­coup moins pré­cis.

P. C. : Il y a autre chose aus­si : le mod­èle con­sid­ère par­fois des élé­ments matériels comme des motifs de représen­ta­tion. Si l’on recherche « fire », du feu va appa­raître, mais aus­si des pel­licules champignon­nées !

L’atlas latent

Pou­vez-vous nous par­ler du mode car­tographique du moteur de recherche ? Fil­mat­ters per­met d’explorer ses résul­tats de façon spa­tial­isée.

A. C. : Il y a énor­mé­ment de modes d’exploration à imag­in­er. En l’état, il y a la grille et les pro­jec­tions 2D/3D. Pour celles-ci, il s’agit d’une représen­ta­tion de l’espace latent – celui où se rejoignent les vecteurs qu’aura défi­ni le mod­èle d’entraînement par IA – par sim­i­lar­ité séman­tique entre les images. Autrement dit, on posi­tionne des images dans un espace en 3D, et celles qui sont con­sid­érées séman­tique­ment sim­i­laires par le mod­èle sont placées à prox­im­ité les unes des autres. On peut ensuite affin­er en fil­trant ces images, pour n’avoir que les films en couleur, les films sor­tis entre 1930 et 1940, ou unique­ment des images de nour­ri­t­ure, etc.

P. C. : On revient finale­ment à cette idée de sys­tème de clas­si­fi­ca­tion que l’on évo­quait au début de l’entretien. Adrien est très intéressé par les sys­tèmes, et moi par la généalo­gie des images. La grande ques­tion der­rière tout ça, c’est où ranger quoi, et com­ment ?

Vous revendiquez une fil­i­a­tion avec L’Atlas Mné­mosyne d’Aby War­burg. Com­ment son œuvre a‑t-elle guidé votre tra­vail ?

P. C. : Il existe toute une généra­tion de penseurs et d’artistes qui se revendique aujourd’hui d’Aby War­burg. Il est devenu une fig­ure tutélaire par rap­port à ce qui se passe aujourd’hui avec l’iconologie et le développe­ment des IA. War­burg réal­i­sait des mon­tages d’images sur de grands pan­neaux, comme des accrochages. Il fai­sait notam­ment des études visuelles des « for­mules de pathos » (Pathos­formel), avec des images représen­tant des expres­sions humaines col­lées sur un pan­neau. Par exem­ple, pour le pathos du tri­om­phe, il agençait l’Arc de Tri­om­phe, une pièce de mon­naie et des gros plans de cer­taines sculp­tures sur un fond noir. War­burg est mort avant d’avoir achevé son atlas et d’avoir expliqué toutes les logiques internes con­nec­tant les choses entre elles. À par­tir de ce mys­tère de L’Atlas Mné­mosyne, beau­coup on fait le lien avec celui que con­stitue l’espace latent des IA, où les vecteurs sont reliés sans que l’on sache vrai­ment com­ment. Avec Fil­mat­ters, le fait de car­togra­phi­er par IA les don­nées – des images issues de notre imag­i­naire – revient aus­si à essay­er de com­pren­dre la logique interne de cet espace latent. Comme quelqu’un qui recevrait une let­tre à déchiffr­er ou même L’Atlas Mné­mosyne, et qui essaierait d’en com­pren­dre la logique à la manière d’un folk­loriste ou d’un his­to­rien de l’art. Ce principe a guidé la créa­tion de Fil­mat­ters : la recherche de ce qui con­necte des images sor­ties de leur con­texte, en por­tant une atten­tion à ce qu’il y a entre les choses, et pas seule­ment aux choses elles-mêmes.

C’est un peu comme ce que fai­sait Godard à la fin de son œuvre, en imag­i­nant des bib­lio­thèques ou des pièces rangées à la manière de « scé­nar­ios ». Le fait d’organiser des élé­ments dans tel ou tel ordre, de les dis­pos­er et de les lier d’une cer­taine façon, racon­te déjà quelque chose. C’est du mon­tage.

P. C. : Oui, et chez Godard il s’agit juste­ment d’élaborer une nou­velle généalo­gie, une autre his­toire du ciné­ma par la con­stel­la­tion, le démon­tage et le remon­tage de frag­ments. À quoi la rose blanche dans son auto­por­trait d’Histoire(s) du ciné­ma est-elle con­nec­tée ? À Rain­er Maria Rilke, à Raim­baut d’O­r­ange, à Sophie Scholle, à Goethe, etc. On trou­ve chez lui cette idée que chaque image, chaque élé­ment, est mul­ti­déter­miné par une his­toire plurielle, comme des vecteurs, finale­ment. Les atlas ne sont pas seule­ment un espace de col­lecte, ce sont aus­si de nou­velles opéra­tions de visu­al­i­sa­tion d’une matière, et donc une nou­velle forme de con­nex­ion entre ces unités. Il me sem­ble qu’à l’échelle de l’histoire de la cul­ture visuelle, on vit aujourd’hui avec les IA un tour­nant anthro­pologique dans notre façon d’appréhender et de clas­si­fi­er les images.

Montage algorithmique

Lors d’un col­loque que j’ai co-organ­isé en avril dernier à la Sor­bonne Nou­velle sur les liens entre mon­tage et IA, vous avez présen­té une expéri­ence avec l’interface de Fil­mat­ters, dont le principe était de pra­ti­quer le mon­tage dialec­tique d’Eisenstein à par­tir de ses pro­pres films. Pou­vez-vous nous en par­ler ?

P. C. : Ce pro­jet-là s’inscrit dans une volon­té de penser les con­cepts comme des sys­tèmes que l’on pour­rait traduire en lan­gage com­pu­ta­tion­nel. C’est une manière de don­ner corps aux spécu­la­tions théoriques, de les réac­tiv­er dans un sys­tème mod­erne, en l’occurrence à l’intérieur d’un mod­èle d’IA.

Un peu comme si la théorie d’Eisenstein deve­nait un logi­ciel d’analyse d’images ?

P. C. : Exacte­ment. Dans un pre­mier temps, on a syn­thétisé sa pen­sée du mon­tage, du pre­mier jalon – celui du mon­tage des attrac­tions – à son tout dernier jalon, à savoir le mon­tage comme une sci­ence du savoir et un moyen de penser l’His­toire de l’art (une con­cep­tion d’ailleurs très proche de celle de War­burg). Dans un sec­ond temps, l’idée était de con­vo­quer ces théories pour analyser les sys­tèmes d’IA eux-mêmes.

Et com­ment l’expérience pre­nait-elle con­crète­ment forme ?

A. C. : On avait une représen­ta­tion hor­i­zon­tale des films d’Eisenstein découpés plan par plan. Et pour chaque plan sélec­tion­né, des plans « can­di­dats » – les plus sim­i­laires selon le mod­èle d’IA – étaient présen­tés à par­tir de notre cor­pus (en l’occurrence le mil­lion de plans indexés dans notre atlas). On pou­vait alors faire des per­mu­ta­tions et rem­plac­er chaque plan par son syn­onyme, avant de rejouer la séquence. En théorie, on pour­rait donc rem­plac­er tous les plans du film par leurs « jumeaux » séman­tiques et obtenir une ver­sion par­al­lèle du même film.

P. C. : Entre les plans per­mutés, un « score de prox­im­ité » était affiché, tan­dis qu’entre les plans qui se fai­saient suite après la per­mu­ta­tion, un « score de con­flit » s’inscrivait à l’écran, en écho à la théorie du choc selon Eisen­stein [ndlr : le choc désigne ici l’effet physique et intel­lectuel pro­duit, à des fins d’éveil poli­tique, par le mon­tage lors d’un rac­cord sig­ni­fi­catif entre deux images]. Mais aus­si en écho à l’idée selon laque­lle chaque frag­ment de film (le plan) est un geste sélec­tion­né par le cinéaste dans le sen­si­ble, une unité séman­tique puisée dans ce grand cat­a­logue d’im­ages que forme l’imaginaire col­lec­tif.

Et ça fonc­tionne ?

P. C. : Ça donne sou­vent n’importe quoi ! Même si cer­taines asso­ci­a­tions sont sur­prenantes. Dis­ons que ça fonc­tionne bien à l’unité, mais que plus on ajoute des images, plus la cohérence s’effondre.

A. C. : L’image sera peut-être fidèle à celle qu’elle a rem­placée, mais créer une réelle suc­ces­sion d’événements s’avère beau­coup plus com­plexe.

Est-ce lié au fait que l’unité de base du mod­èle d’IA est le plan, sans con­sid­éra­tion de la séquence entière comme bloc de nar­ra­tion étalée dans le temps ?

A. C. : Exacte­ment. Il y a tout un champ à explor­er, où l’on pour­rait appli­quer au mon­tage des méth­odes d’analyse du lan­gage. Le plan serait un mot, et la séquence une phrase. On pour­rait retrou­ver des expres­sions de plans en analysant des mil­liers de films et donc com­pos­er des séquences plus cohérentes nar­ra­tive­ment par­lant.

P. C. : Ce pro­jet con­sacré au mon­tage dialec­tique d’Eistenstein sera bien­tôt suivi d’un autre con­sacré à Ver­tov. L’objectif est d’appliquer la théorie du ciné-œil tel que Ver­tov l’avait pen­sé, c’est-à-dire non pas seule­ment la caméra, mais toutes les opéra­tions du dis­posi­tif filmique qui per­me­t­tent de voir davan­tage que ce que l’œil humain perçoit, avec l’idée cen­trale que ce « déchiffrage » relève d’un regard étranger à l’humain. C’est la fameuse machine vision, ou vision par ordi­na­teur. Aujourd’hui, les IA incar­nent au fond cet œil non humain, qu’on appli­querait ici aux films de Ver­tov. Le mou­ve­ment, le « mon­tage math­é­ma­tique » et les inter­valles seront analysés pour pro­duire avec l’interface de Fil­mat­ters des sortes de « par­ti­tions visuelles » à par­tir de répéti­tions, de gestes, de tra­jec­toires. Le but est de voir si une IA peut com­pren­dre les formes filmiques et le mon­tage, et de chercher une tra­duc­tion visuelle de cette « ekphra­sis ».

Quelles sont les appli­ca­tions pos­si­bles de votre out­il pour la recherche, l’enseignement ou même la péd­a­gogie auprès des jeunes publics ? Le poten­tiel est immense.

P. C. : On va essay­er à par­tir de sep­tem­bre de dévelop­per de nou­veaux out­ils, pour per­me­t­tre par exem­ple à cha­cun de créer sa pro­pre col­lec­tion de plans, une sorte d’« iconothèque per­son­nelle ». Cette dernière com­porterait une table de mon­tage pour faire des mashups, une table d’analyse pour appli­quer des sys­tèmes IA, des cartes men­tales, etc. On veut que cha­cun puisse ranger ses plans, ses séquences, dans des dossiers et des sous-dossiers, avec la pos­si­bil­ité de les spa­tialis­er avec l’IA.

A. C. : Oui, afin que cha­cun puisse sauve­g­arder son tra­vail et bâtir un peu sa « mai­son » avec ses plans.

P. C. : On compte bien­tôt met­tre en place une branche « ate­lier et péd­a­gogie», inti­t­ulée Ciné­ma­teurs. Fil­mat­ters a le poten­tiel de provo­quer des ren­con­tres sen­si­bles avec une matière anci­enne, notam­ment auprès d’un jeune pub­lic. On pour­rait par exem­ple deman­der à des élèves de racon­ter leurs vacances avec des images du cor­pus, puis de les mon­ter eux-mêmes dans des ate­liers d’initiation aux gestes élé­men­taires du mon­tage. Quoiqu’il en soit, on veut que les gens s’emparent de l’outil et inven­tent leurs pro­pres usages. Je rêve notam­ment d’organiser un fes­ti­val Fil­mat­ters à chaque fin d’année, en pro­je­tant les créa­tions qui auraient été faites avec la plate­forme.

A. C. : Plus large­ment, l’ambition est de fédér­er une com­mu­nauté d’iconophiles et de col­lec­tion­neurs d’images, tout en ouvrant un espace de col­lab­o­ra­tion avec des artistes et des chercheurs. Fil­mat­ters se veut à la fois un lab­o­ra­toire et un lieu de mémoire : un ter­rain d’expérimentation, de créa­tion et de recherche autour du pat­ri­moine filmique.