Autrice: Cécile Moroux
Crédit Photo: Alba Rupérez
Les articles et décryptages autour de l’intelligence artificielle, des algorithmes, du machine learning, de la blockchain, du Web3, des NFTs, sont de plus en plus nombreux. Ces concepts envahissent les actualités et déchaînent certaines polémiques: parfois désignées comme les prochaines étapes vers davantage de démocratie et de connaissance, parfois comme la promesse d’une aliénation toujours plus forte aux nouvelles technologies, aux écrans et à la surveillance de masse. Seulement lorsque l’on évolue dans un univers différent, il peut parfois être ardu de se figurer de quoi on parle, et il peut être difficile de se représenter ces concepts de manière concrète.
Afin de les aborder sous un angle différent, nous vous proposons d’explorer l’utilisation de l’intelligence artificielle dans les processus créatifs de la musique, de la danse et des arts visuels.
Nous suivons depuis longtemps plusieurs ambassadeurs de ce type d’exploration comme Refik Anadol, Holly Herndon ou Mat Dryhurst. Cette fois-ci nous nous intéressons à l’un des derniers projets du studio de créations visuelles Hamill Industries, que l’on compte parmi les faces We are Europe depuis 2019, dont l’aspect multi dimensionnel et collaboratif ont piqué notre curiosité.
En octobre 2021, l’équipe de Sónar Festival s’est associée à la Universitat Politècnica de Catalunya (UPC), université scientifique et technique de Barcelone, pour organiser the AI and Music S+T+ARTS Festival. À l’affiche, de multiples performances, conférences, expositions explorant les usages de l’intelligence artificielle dans les domaines artistiques, notamment la musique. Au programme également, 3 lives inédits, résultats de plusieurs semaines de collaboration entre petits groupes d’artistes, d’ingénieurs et de chercheurs. Parmi eux, nous retrouvons Hamill Industries.
Hamill Industries est un studio composé de Pablo Barquín et Anna Diaz. Ils sont réalisateurs, chercheurs, et artistes multimédia. Le cœur de leur travail consiste à associer des techniques (informatiques, robotiques, vidéos) pour explorer visuellement des concepts issus de la nature, du cosmos ou des lois de la physique. Ils ont notamment produit une grande partie de l’univers visuel de Floating Points, comme le clip de “Last Bloom” (sur l’album Crush, sortie sur Ninja Tune) dont le making off révèle le talent et l’ingéniosité du studio.
Pour ce projet de collaboration “arts-sciences”, le studio barcelonais s’est associé à la danseuse et chorégraphe portoricaine Kiani del Valle et à une petite équipe d’ingénieurs de l’UPC conduite par Javier Ruiz Hidalgo, également composée de Martí de Castro et Stefano Rosso, tous deux PhD students. Après plusieurs semaines de travail, ils ont pu présenter Engendered Otherness – A Symbiotic AI Dance Ensemble.
Le show s’ouvre par la lecture d’un poème de Belén Palos lu par une voix métallique.
“ WE the cluster, the system,
the metabolism
PULSES and BEATS and SYNAPSES
We the part, the other,
container and contained
the LIMITLESS – the BOUND – the UNRESTRAINED
With Blood and carcass,
with shell and bark
WE SPREAD, WE BOND, WE BREAK, WE FLY
[….] ”
Les premières images projetées à l’écran évoquent un paysage terrestre de montagne et d’eau, mélange de cimes, de vert, de bleu, comme une timelapse de fjords en plein été. L’image se transforme pour laisser place à de micro-organismes qui s’apparentent à des sortes de cellules ou de bacilles. Les formes changent doucement en nappes de couleurs, jusqu’à devenir un amas brillant, une constellation lumineuse paraissant réagir à l’impulsion d’un rythme cardiaque. Puis l’écran redevient noir, et laisse place à Kiani del Valle. D’abord seule à danser sur scène, elle invite la fameuse IA à reprendre sa place à l’écran pour accompagner ses mouvements.
Dans ce projet, la particularité de l’approche se fait au travers de la chorégraphie et du mouvement. Ici la symbiose du vivant est possible grâce à l’intervention d’une intelligence artificielle, capable de faire fusionner les mouvements d’organismes différents en un résultat visuel.
Quote: “Destroy the algorithms, mess up the organisms.” (Anna Diaz)
Afin de mieux comprendre ce qui a été présenté, nous avons questionné Anna (Hamill Industries) et Javier Ruiz Hidalgo (UPC) sur la réalisation et le processus de co-création de cette performance, car c’est avant tout un projet de recherche et de collaboration entre différents domaines et savoirs, et qui révèle les sujets de réflexion et les possibilités de développement autour de l’IA.
Quel était le point de départ de la réflexion – du projet ?
Anna – On cherchait à étudier les comportements de l’intelligence artificielle et des algorithmes et surtout produire de nouvelles formes d’expression que nous ne sommes pas en mesure de créer en tant qu’humains.
JRH – Je travaille au Signal Theory and Communications Department de la UPC, dans le groupe de recherche sur le traitement d’images (image processing), et nous sommes les premiers de notre groupe à explorer l’IA dans le contexte de la création artistique. Les outils que l’on développe nous permettent d’analyser des images depuis la réalité, pour générer des images qui sont elles complètement fictionnelles. Nous entraînons un système (IA) pour qu’il apprenne les caractéristiques d’une image. À partir de ces caractéristiques, il crée l’image tout seul.
Nous avons été contacté par Sónar car ils voulaient lancer cette collaboration pour voir comment l’IA pouvait être intégrer à la création artistique.
Combien de temps a duré le processus de collaboration et de création, sous quelle forme et suivant quelles étapes ?
JRH – La discussion a débuté en Mai 2021 entre Hamill, Kiani et nous. En juillet nous avions déjà une idée assez précise du ce qu’on voulait explorer et de la façon dont on voulait utiliser l’IA pour créer le show. De notre côté à l’UPC nous avons dédié les mois d’août et de septembre pour développer l’outil avec lequel Hamill pourrait ensuite “jouer” durant toute le mois d’Octobre pour générer de l’image à partir des mouvements de Kiani, et créer les images et vidéos utilisées dans la performance finale
Quel est le fonctionnement et le rôle de chacun dans ce projet ?
Anna – Notre rôle avec Hamill Industries était le choix des organismes, la timelapse, la motion capture, et enfin la sélection des images pour les donner à l’intelligence artificielle. En gros nous avons créé et sélectionné toutes les données destinées à entraîner l’algorithme.
Le rôle de Kiani a été de réaliser des mouvements pour produire de la data, de la matière. Elle a été l’un des organismes modèles pour la motion capture. JRH et son équipe nous ont fourni l’outil qui a traité les données collectées, afin de les transformer en éléments visuels mais aussi de permettre la prédiction certains mouvements de Kiani par exemple.
Il y a vraiment eu de la collaboration à tous les niveaux. Notamment pour la construction de l’outil, la définition des besoins (nous en tant que curateur) en fonction des possibilités (ingénieurs).
JRH – Nous avons sélectionné plusieurs modèles vivants: fleurs, champignons, insectes, bactéries, méduses, et Kiani. Chaque système a besoin de milliers d’images pour s’entraîner, afin d’être capable d’extraire les caractéristiques visuelles de chaque modèle vivant et de générer de nouveaux organismes en conséquence.
À quel moment intervient le rôle créatif de l’humain et à quel moment intervient celui de l’IA ?
Anna – L’IA ici a trois rôles principaux: la motion capture (collecter de la donnée, on parle de centaines d’images de Kiani par exemple) ; la création de modèles visuels à partir de ces données ; et la prédiction.
À partir d’un mouvement et d’un gros volume de données, l’intelligence artificielle est capable d’interpréter, de donner du sens à ces données. A partir de cette interprétation, elle restitue un modèle visuel unique et inédit, et surtout cette restitution, ou interprétation, est en grande partie autonome. Le travail des humains se concentre dans la première partie du processus: les éléments que la machine apprendra, les images et organismes choisis comme base de données et d’apprentissage de la machine, la façon dont on lui fait apprendre les choses.
JRH – Le système est entraîné à regarder les images. Par exemple, prenons le cas de la méduse : vous donnez à un système des centaines d’images de méduses et, d’une manière ou d’une autre, le système est alors formé à reconnaître les caractéristiques propres à ces images de méduses.
Grâce à l’apprentissage, le système crée une cartographie Vous pouvez considérer l’entrée comme un point dans une carte. Un point spécifique génère une image spécifique d’une méduse, en sélectionnant un autre point de la carte, une autre méduse serait créée. L’apport créatif de l’IA réside dans la manière dont elle apprend à passer d’un point à un autre de la carte. Ainsi, si une méduse est associée à Barcelone (un point de la carte) et une autre à Paris, quelle serait la méduse de Toulouse.
Quel est le fonctionnement derrière le résultat du live show ? Quand on est devant le show, qu’est-ce qu’on regarde ?
JRH – Le processus créatif pour nous, en tant que scientifiques, est le suivant : selon l’information que l’on donne au système, les images sont créées et bougent d’une certaine manière. Chaque mouvement de Kiani est associé à un point de la carte que nous avons utilisée auparavant. Ainsi, lorsque Kiani se déplace, elle envoie des informations ( des points sur la carte) au système qui produit une image à partir de ce point. La chorégraphie de Kiani conditionne en quelque sorte la sortie des images, car les images bougent en fonction de Kiani. Ce que nous voyons dans le spectacle est l’interprétation par l’IA du mouvement de Kiani.
Le système crée des images similaires à Kiani mais il a fait sa propre interprétation. Il se peut qu’il ne comprenne pas le corps humain comme nous. Nous ne lui avons pas enseigné comme à un humain, en lui disant par exemple que voici une main, une tête ou des pieds. Nous avons seulement donné des images pour que le système d’IA puisse apprendre une représentation, une cartographie du corps humain
Quelles ont été les hypothèses qui se sont avérées fausses et les découvertes sorties de nulle part ?
Anna – Ce qui est incroyable avec ce projet, c’est que tout est une découverte et tout est inattendu. Tout ce qui est produit par l’IA est complètement inédit et il est impossible qu’un humain le reproduise de la même façon.
Du POV de votre discipline, de votre métier, qu’avez vous appris au travers de cette collaboration ?
Anna – Le changement dans le workflow créatif. Ce projet nous a demandé de passer d’un fonctionnement disons, monolithique propre à l’humain, à un fonctionnement non linéaire, arborescent, exponentiel, grâce à toutes les possibilités offertes par l’IA.
JRH – À ce stade il s’agissait de l’application d’un outil existant dans le cadre d’un projet artistique, il ne s’agissait pas de recherches pures. Pour moi, c’était très intéressant, parce qu’en tant que scientifique, j’ai un esprit “carré”, une approche pragmatique. Dans notre métier, nous devons toujours mesurer la pertinence de ce que nous mettons en place, évaluer nos résultats. Mais ici nous n’avions aucune mesure de ce type à faire, et pour moi c’était complètement nouveau. Cela signifiait bien quelque chose, mais la « mesure de la qualité » n’était pas importante. Au début, il m’était très difficile d’accepter une image de Kiani avec 3 jambes. C’était impossible, comme si cela n’allait pas ! Mais Hamill et Anna m’ont fait comprendre que ce n’était pas grave. Au contraire, ici l’objectif était d’observer comment le réseau apprend, comment il interprète le corps de Kiani. Et pour moi c’était vraiment une nouvelle approche.
Est-ce que ce projet a vocation à être partagé et enseigné ?
Anna – Oui, l’outil est en open source. L’idée va aussi d’être dans l’échange avec les étudiants de l’UPC. Il y a clairement un objectif de partage et de transmission dans ce projet. L’idée est de permettre une meilleure compréhension de ces technologies grâce à ce type d’applications créatives.
JRH – Oui bien sûr. Nous sommes une université publique, nous avons une mission première de partage de la connaissance. J’ai été très heureux de voir mes étudiants motivés par ce projet. C’est même devenu un argument du type : « Si vous comprenez tout pendant le cours, vous serez capable de faire quelque chose comme ça ». C’est extrêmement valorisant. Il n’est pas toujours facile d’avoir une application concrète et rapide de ce qu’on développe en recherche. En ce sens, ce type de projet est un vrai terrain de jeu.
Quelles vont être les prochaines étapes du projet ?
Anna – Il s’agit vraiment du tout début. Il faudra plus de temps, et aussi plus d’argent pour aller plus loin. Pour comprendre jusqu’où peut s’étendre le processus créatif de l’intelligence artificielle. Nous voudrions aussi développer la partie prédiction de l’IA.
La première chose sera de travailler sur de nouveaux modèles en utilisant nos propres images (ndlr: dans la première version du projet les modèles sont construits à partir d’images trouvées sur internet) afin d’ajouter notre propre imaginaire et notre propre vision. Donc pour nous les prochaines priorités sont de travailler sur les modèles avec nos propres photographies et techniques puis faire fusionner ces modèles d’organismes et observer ce que l’IA est capable de prévoir et de réaliser comme images.
JRH – La prochaine étape sera sans doute d’aller plus loin, en intégrant de la recherche pour essayer de trouver de nouvelles architectures, de nouveaux systèmes, qui comprennent mieux le mouvement et la danse.
Quand on entraîne un système génératif, un réseau capable de créer des images, comme nous l’avons fait, on lui fournit des images et le réseau apprend de lui-même à les reproduire. Cependant, il est possible de conditionner cette génération d’images. Certains chercheurs travaillent sur des systèmes qui non seulement génèrent l’image d’un visage, par exemple, mais ils peuvent demander au système de générer le visage avec des lunettes, ou avec des cheveux longs.
Nous pouvons appliquer cela à notre futur spectacle. Par exemple, pour la méduse, vous pouvez conditionner l’emplacement des tentacules, et donc la façon dont elles se déplacent.
Anna – Certaines mises à jour et évolution ont été présentées à Sónar Lisboa sous la forme d’un talk début avril 2022, et le projet sous sa nouvelle forme sera présenté à Sónar Barcelone au mois de juin, mais cette fois-ci avec Kiani et les nouveaux modèles créés.
Le machine listening est devenu très répandu et s’est développé commercialement (Siri, commandes vocales, etc). Il permet aussi une surveillance très efficace. Si les machines apprennent comment les humains et les organismes se déplacent, avez-vous déjà réfléchi jusqu’où pourrait aller l’application d’une telle technologie ?
JRH – La question morale est évidemment quelque chose que nous devons prendre en compte. Des questions se posent déjà avec le développement d’une application comme deepfake. Cette application substitue votre visage à un autre, et c’est assez réaliste. Vous pouvez par exemple faire dire à Obama ce que vous voulez et cela semble assez réaliste. Et bien sûr, c’est une violation de la vie privée.
C’est quelque chose de très similaire aux technologies que nous utilisons. En tant que scientifique, c’est mon travail. On crée une technologie et un outil et les gens commencent à l’utiliser d’une manière à laquelle vous n’avez même pas pensé. Comment arrêter ça ? C’est une question difficile. Mais il y a une chose sur laquelle nous travaillons en tant que communauté scientifique: la question du biais des données, afin de ne pas entraîner les systèmes avec des images qui ne sont pas inclusives, qui sont discriminantes ou reproduisent des préjugés par exemple. J’ai vu des recherches qui étudient cette question et tentent de mettre au point des systèmes pour éviter ces biais.
En revanche, nous n’avons trouvé aucun moyen d’améliorer ou d’éviter la mauvaise application de nos recherches.
Anna – Bien sûr nous y pensons. D’ailleurs nous travaillons avec ces technologies parce que de grosses entreprises ont investi d’énormes sommes d’argent pour développer ces algorithmes. Il y a toujours un problème moral avec ces technologies: pourquoi ces grandes entreprises développent-elles ces technologies ? Que pourraient-elles faire avec des algorithmes capables d’identifier des patterns ? Ces questionnements sont intrinsèques au capitalisme ou même au marketing. C’est pourquoi il est intéressant d’utiliser ces algorithmes hors du contexte pour lequel ils ont été créés. C’est une façon de les détourner. Si nous pouvons utiliser ces algorithmes de façon créative, alors nous contournons la règle. Surtout ces expériences m’ont fait comprendre comment ces algorithmes fonctionnent.
L’industrialisation a créé des outils qui peuvent être utilisés pour produire des dommages, pour contrôler, pour créer la peur, pour que nous soyons dépendants de certains produits, mais lorsque vous vous intéressez au machine learning et que vous apprenez à l’utiliser, alors d’une certaine façon vous comprenez comment une partie du monde fonctionne, vous êtes un peu plus conscients.
Ce type de questionnements peut-il amener parfois de l’auto-censure dans vos recherches ou explorations ?
Anna – Oui. Pour être honnête, avant de me lancer dans le machine learning, j’étais très sceptique quant à son utilisation. Non seulement en raison de ce que l’on vient d’évoquer juste avant, le contrôle, la surveillance, mais aussi quant à l’intérêt qu’elle pouvait présenter. Je pense que cette crainte venait du manque de connaissances sur son fonctionnement, car en réalité c’est extrêmement intéressant pour ma pratique artistique. En fait, cette technologie vous permet de comprendre votre pratique visuelle, vos habitudes, vos erreurs, vos goûts aussi.
Maintenant que nous entraînons cet algorithme avec nos propres images, nous nous sommes rendu compte de nos patterns (de couleur, de formes, etc.). Et la technologie devient un outil pour nous explorer nous-même et voir où nous en sommes dans notre pratique.
Mais je pense qu’il y a tellement de questions autour de domaines comme le machine learning, les mathématiques, les algorithmes, que la censure et la peur (au moins dans mon domaine) ont plus à voir avec le manque de connaissances que de la peur de la “surveillance” par exemple. Je suis une personne assez sceptique, et je pense que notre téléphone est bien plus dangereux en termes de surveillance que certains algorithmes que nous pouvons utiliser pour créer.
JRH – Personnellement, je suis une personne très pratique et j’essaie de ne pas trop penser aux scénarios ou aux ramifications possibles de mes recherches. J’essaie simplement de résoudre les problèmes qui se posent et j’espère que les outils développés seront utilisés comme prévu initialement.
Que pensez vous de cette citation : « Plus on apprend sur l’IA, plus on apprend sur l’humain » ?
Anna – Je suis 100% d’accord avec cette idée. En fait, plus nous en savons sur l’IA, plus nous en savons sur les humains. Pourquoi ? Simplement parce que le machine learning et algorithmes ont été créés par nous. Ce n’est pas une sorte d’intelligence extraterrestre qui aurait surgi de nulle part et envahi notre monde. Ce sont les humains qui créent les règles pour que la machine apprenne à faire et à prédire. Et ces règles que nous créons, sont basées sur notre propre fonctionnement, nos préjugés, les intérêts de notre société, c’est donc un miroir.
Par exemple, il y a beaucoup d’exploration en linguistique, dans ce domaine ils utilisent des algorithmes pour comprendre si la langue a un biais de genre ou pas, si la langue a une structure patriarcale ou pas : et c’est le cas ! Comment peuvent-ils apprendre cela ? Parce qu’ils ont fait en sorte que les machines apprennent ce que nous savons, afin de comprendre le concept de genre. Ça dit tellement de nous.
Un autre exemple: certains algorithmes ont été formés avec des textes ou des images disséminés sur Internet. Ils sont devenus racistes et très populistes. Et c’est parce qu’ils apprennent de nous. Ce n’est pas une entité morale, c’est un miroir de la société et il fonctionne selon les règles que nous lui dictons. Donc oui, plus nous en savons sur l’IA, plus nous en savons sur les humains.
JRH – Je dirais que plus on en apprend sur l’IA, plus on apprend sur toute chose. Nous pouvons utiliser les procédés de machine learning pour mieux comprendre la façon dont bougent les choses. En étudiant le mouvement d’une méduse via l’IA, nous pouvons extrapoler les informations au-delà de la physique. Cela nous permet d’interpréter les informations de façon nouvelle.
Pour plus de contenus We are Europe, rejoignez notre newsletter en bas de page.
À propos de l’autrice
Cécile Moroux travaille dans le secteur culturel depuis 2016. Elle a œuvré pour plusieurs structures indépendantes (agence de relations publiques musicales, plateforme de crowdfunding et de mécénat, agence de booking). Elle coordonne le projet We are Europe depuis 2019 et est impliquée dans différents projets européens portés par Arty Farty.
Lexique
Intelligence Artificielle : Ces techniques visent à permettre aux ordinateurs d’agir ou de raisonner d’une manière que nous qualifierions d’intelligente.
Algorithme : séquence finie d’instructions bien définies, généralement utilisée pour résoudre une classe de problèmes spécifiques ou pour effectuer un calcul. Les algorithmes sont utilisés comme spécifications pour effectuer des calculs et traiter des données.
En faisant appel à l’intelligence artificielle, les algorithmes peuvent effectuer des déductions automatisées (appelées raisonnement automatisé) et utiliser des tests mathématiques et logiques pour détourner le code par diverses voies (appelées prise de décision automatisée). L’utilisation métaphorique de caractéristiques humaines comme descripteurs de machines était déjà pratiquée par Alan Turing avec des termes tels que « mémoire », « recherche » et « stimulus ».
Machine learning : Le Machine Learning est une technologie d’intelligence artificielle permettant aux ordinateurs d’apprendre sans avoir été programmés explicitement à cet effet. Pour apprendre et se développer, les ordinateurs ont toutefois besoin de données à analyser et sur lesquelles s’entraîner. Il s’agit d’une science moderne permettant de découvrir des patterns et d’effectuer des prédictions à partir de données en se basant sur des statistiques, sur du forage de données, sur la reconnaissance de patterns et sur les analyses prédictives.
Computer vision : désigne une technique d’intelligence artificielle permettant d’analyser des images captées par un équipement tel qu’une caméra.
Outil basé sur l’IA capable de reconnaître une image, de la comprendre, et de traiter les informations qui en découlent. Pour beaucoup, la vision par ordinateur est l’équivalent, en termes d’IA, des yeux humains et de la capacité de notre cerveau à traiter et analyser les images perçues. La reproduction de la vision humaine par des ordinateurs constitue d’ailleurs l’un des grands objectifs de la computer vision.
Timelapse : Un time-lapse est une animation vidéo réalisée par une série de photographies prises à des moments différents pour présenter en un laps de temps court l’évolution de l’objet photographié sur une période longue. On peut l’employer par exemple pour montrer l’ouverture d’une fleur, le mouvement du soleil ou des étoiles dans le ciel.
Motion Capture : Motion capture est une technique d’animation qui permet d’enregistrer les mouvements d’un objet ou d’un humain en mouvement. Grâce à des capteurs, ces mouvements sont saisis par des caméras numériques et restitués visuellement en temps réel sur un ordinateur
Machine Listening : Machine listening signifie littéralement « écoute automatique » en français. C’est une discipline qui consiste à apprendre aux ordinateurs comment écouter les sons, que ce soit de la musique, de la parole ou les sons courants de l’environnement.
Deepfake : Le deepfake, ou hypertrucage, est une technique de synthèse multimédia reposant sur l’intelligence artificielle. Elle peut servir à superposer des fichiers vidéo ou audio existants sur d’autres fichiers vidéo (par exemple changer le visage d’une personne sur une vidéo) ou audio (par exemple reproduire la voix d’une personne pour lui faire dire des choses inventées). Cette technique peut être utilisée pour créer des infox et des canulars malveillants Le terme deepfake est un mot-valise formé à partir de deep learning (« apprentissage profond ») et de fake (« faux », « contrefait »).