XR & Virtual Production Workflows
Basic Logic
Comment ça marche ?
En premier lieu, il y a comme première étape la création de contenu 3D sur le logiciel de modélisation (3D modeling software). L’idée est d’imaginer et de modéliser le contenu que l’on souhaite créer. Après cela, il faut aller sur unreal engine, qui est un outil de création 3D en temps réel, afin de créer tout l’environnement du monde virtuel. Lorsque le travail est fini sur unreal engine, les fichiers et le contenu sont importés sur les serveurs du studio XR. Enfin, les serveurs sont connectés au mur d’écrans LED et sont ainsi projetés en temps réel sur le mur pour le tournage ou pour effectuer des ajustements.
3D Model > Unreal Engine
Du modèle 3D à Unreal Engine
Sur le logiciel de modélisation 3D, il y a différentes étapes à réaliser. La création des décors 3D, le déroulement UV, Animation des décors, l’optimisation des ressources grâce à la conbinaison des maillages… Une fois que tout le travail de modelage 3D est effectué, il faut exporter le maillage sur unreal engine afin de gérer le monde virtuel. Pour gérer tous les aspects du monde virtuel tels que la luminosité et les textures…
Le projet Curiosity
Le projet
Ce projet est la production virtuelle par excellence ! En effet, il a fallu de manière constante mixer le monde réel avec le monde digital. Pour ce projet, un paysage entier d’ISlande a été recrée afin de le projeter sur le mur d’écrans pour faciliter l’immersion de l’acteur. Grâce à Unreal, il y a des millions de possibilités car il est possible de changer l’heure, le temps et bien d’autres éléments en un simple clic. Créer via Unreal Engine offre une grande liberté de création et permet de laisser libre cours à son imagination.
Bonnes pratiques
À faire
- Utiliser des lumières statiques autant que possible. La cuisson de vos lumières augmentera considérablement la performance.
- Planifier les prises de vues à l’avance. Détailler uniquement ce que la caméra verra. Ça va augmenter la performance et faire gagner du temps.
- L’écran LED sera toujours flou, ce qui permet de simplifier les maillages. Le système LOD de l’Unreal Engine sera un grand ami. Veiller à viser moins de 5M de polygones visibles à chaque fois.
- Même chose que ci-dessus. Surtout si l’objet est éloigné, eviter d’utiliser des textures de plus de 2K. Les mips-maps d’Unreal Engine fonctionnent parfaitement dès le départ si la texture est puissance de 2.
- En production virtuelle, tous les mouvements de caméras doivent être effectués physiquement, avec la caméra réelle. C’est la tout l’intérêt, n’utiliser les animations de caméra UE que pour des scénarios spécifiques où il est nécessaire que l’arrière-plan bouge. Par exemple, lorsque c’est une scène de conduite de voiture ou une personne qui court.
- Même optimisé, le feuillage, surtout s’il est animé, est très exigeant. L’optimisation doit commencer au stade de la direction artistique, en réduisant au minimum les décors de feuillage.
- Combiner les mailles ensemble, afin de réduire les appels au dessin. Il est préférable d’avoir un grand maillage plutôt que des milliers de petits.
À éviter
- Ne pas utiliser trop de lumières mobiles
- Ne pas détailler tout le paysage.
- Éviter d’utiliser des maillages très détaillés, avec des millions de polygones.
- Éviter d’utiliser des textures à haute résolution.
- Éviter les animations de caméras longues et les animations de caméras en général.
- Faire des feuillages trop denses.
- Utiliser plusieurs matériaux par maillage. Essayer au maximum de tout simplifier en un seul matériau. Il est préférable d’avoir un matériau lourd que plusieurs matériaux légers.
Step 1
Sur le logiciel de modélisation 3D, sont modélisés les BLENDER et et GAEA. Les Blender sont utilisés pour la création des architectures et des objets. Ils sont exportés au format .FBX ou .OBJ. Les Gaea sont fait pour le design des paysages. Les fichiers sont ensuite exportés au format .RAW ou .PNG.
Step 2
Sur le logiciel Unreal Engine, la création et la finalisation des décors prend forme. En effet, c’est via Unreal Engine 4 que la modification de l’éclairage, les textures et les feuillages se font. Enfin, la dernière étape est l’optimisation des assets pour harmoniser le tout.
Step 3
Concernant les serveurs, nous utilisons Disguise RX pour obtenir un rendu en temps réel pour l’environnement UE. Nous utilisons aussi Disguise VX2 pour la timeline et la synchronisation entre UE, tracking et le mur d’écrans LED.
Step 4
Une fois que le monde virtuel est terminé, vient alors le moment de l’incrustation de celui-ci sur le mur d’écrans LED. Avoir le rendu en direct est d’une grande aide pour les acteurs qui peuvent ainsi plus facilement rentrer en immersion dans leur rôle et moins faire appel à l’imagination. De plus, il est possible de modifier en direct les éléments et donc gagner du temps et ne pas avoir à attendre les conditions idéales (pluie,neige,soleil…). La modification sur le plateau de l’environnement UE (éclairage, météo, position de la caméra et manipulation des objets) à été faite à l’aide d’une télécommande XBOX pour le projet Curiosity.
Step 5
L’avantage premier, est la visualisation en direct du rendu sans avoir à attendre la post production. En effet, grâce à l’incrustation sur le mur d’écrans, il est possible de voir dans le retour caméra un rendu proche du rendu final. Cela facilite donc les ajustements à faire au niveau des plans ou des décors. Le jeu des acteurs est aussi impacté par ces décors projetés en direct car leur immersion est facilité et ils peuvent de ce fait mieux se concentrer sur leur personnage.
Making Of
Crédits
Production : Appia @appia.live
Producteur : Patrick Morris
Chargé de production : Toby Morris
Directing : Guillaume Allantaz
Cast : Delfina Fantini Van Ditmar
Director of Photography : Jonathan Grimault
Creative Direction : Antoine Vaxelaire & Pau Benazet
Content Creation : Appia @appia.live Set
Producteur : Toby Morris
1st AC: Remy Cizeron
Gaffer: Jeremy Vessigot
Make-up Artist: Constanza Martinez
Costume design: Josep Abril
Costume assistant: Eleonore Audi
Edit: Guillaume Allantaz
Colorist: Florian Martiny
A/V Supplier: Skynight Venue: Palexpo
VFX: Yann Masson