Radio France
VJing génératif et interactif
VJing génératif
Proof of Concept
UX Design, Gestion de projet
Sketch, Unity
Gestion de projet,
Réalisation documents techniques
— Le défi
Créer une installation immersive en sons et images spatialisés avec la participation de Radio France et de l’artiste Molécule.
— Le contexte
Le duo entre l’artiste Molécule et l’ingénieur du son Hervé D. se produit un peu partout en France avec le concept de concerts spatialisés. L’idée est de répartir 8 enceintes autour d’une salle de concerts afin de rendre le spectacle plus immersif. Le format multicanal 8.1 permet de créer un système audio à huit voies, destiné à reproduire neuf canaux sonores. Sur cette base l’ingénieur du son est donc capable de déplacer différentes pistes audio produites par le musicien à 360° autour des spectateurs.
Notre objectif en créant ce partenariat entre l’école Gobelins et la société Radio France a été de créer un POC (Proof Of Concept) permettant de valider le concept de concert totalement immersif. Le pôle innovation de Radio France a été en charge de l’immersion sonore tandis que l’école Gobelins a apporté la solution technique et artistique permettant l’immersion visuelle. Notre groupe a donc développé cette dimension visuelle avec des assets réactifs au rythme des sons et de leurs positions dans la salle de concerts.
— Le teaser
— La production
Pour nous aider dans le développement de ce projet, j’ai produit plusieurs documents techniques pour nous assurer de la bonne compréhension et coordination des différents acteurs du projet.
Le premier document produit a été le planning de production afin de nous répartir les tâches tout en nous assurant de maximiser la productivité. Il nous a permis tout au long du projet de nous assurer que tout le matériel et les ressources humaines étaient disponibles au bon moment et au bon endroit.
Planning de production
Ensuite, pour poser les premières bases de la réponse technique, nous avons réalisé un synoptique. Il nous a aidé à présenter notre solution à Radio France.
En interne, nous avons décidé de créer un scope fonctionnel UML pour nous organiser sur la partie développement technique.
Fort des premières bases posées par les premiers documents produits et des connaissances techniques d’Hervé D, nous avons réalisé quelques plans d’installation possibles pour un concert immersif (le plan retenu ci-dessous).
Côté technique: Ce type de projet a fait appel à des besoins techniques conséquents : il nécessitait un logiciel de détection sonore, un format de transmission de données entre ordinateurs, un moteur de rendu 3D, un logiciel permettant le transfert de flux vidéos entre ordinateurs et un logiciel de mapping.
La génération d’assets visuels en temps réel demandait énormément de puissance de calcul. Nous avons donc décidé dès le début du projet qu’il serait plus prudent d’utiliser plusieurs ordinateurs interconnectés pour réaliser notre projet. Pour cela, l’ordinateur de l’ingénieur du son devait détecter pour chaque piste audio son beat, son volume général et ses crêtes. Les données de chaque piste étaient associées en temps réel à son azimuth définit par l’ingénieur son. Les données ainsi générées étaient envoyées au deuxième ordinateur via le format de transmission OSC pour lui permettre de générer les assets vidéos 3D après analyse. Les assets vidéo 3D étant produits sur Unity, nous avons utilisé le plugin ExtOSC pour la récupération des données OSC. Un troisième ordinateur était chargé du mapping de la vidéo à l’aide du logiciel Resolume, le flux vidéo transitait entre les ordinateurs grâce a Spout. Nous avons choisi de travailler avec le logiciel Resolume car étant issu du VJing, il nous permettait, en cas d’échec de transmission du flux vidéo, de diffuser des assets prédéfinis.
Ce projet nous a également demandé énormément de matériel. L'objectif étant de produire un POC, nous nous sommes limités à une expérience immersive à 180°. Néanmoins, il nous a tout de même fallu 3 ordinateurs type gamer, plusieurs dizaines de mètres de câbles (HDMI, Ethernet, Speaker, Alimentation, etc...), un switch, un système audio 5.1, 3 vidéos projecteurs et 3 écrans pour la projection, un Midi contrôleur, une carte son, etc... Au total, une dizaine d'heures nous a été nécessaire pour l'installation finale.