projet Mesh "Modélisation et Animation réalistes de visages"

La création d'acteurs virtuels réalistes est un des enjeux majeurs de l'imagerie de synthèse, que ce soit pour les jeux ou les fictions. Le projet européen MESH, conduit par Duran, ambitionne de révolutionner les techniques de représentation virtuelle des visages.

Modéliser et animer des visages virtuels réalistes n'est pas nouveau. La technique basique consiste à créer une bibliothèque de formes de base (expressions de visages) topologiquement équivalentes puis à interpoler entre ces expressions. La saisie des visages peut être réalisée par scanner optique, digitilisation ou stéréo-photogrammétrie. Des appareils comme le Cyberware ont depuis longtemps fait la preuve de la qualité des saisies laser.

La gamme d'outils de Eyetronics

Une technique de scanning peu lourde technologiquement consiste à projeter une grille 2D sur l'objet à scanner avec un projecteur optique. La déformation sur la surface 3D saisie et interprétée par une ou plusieurs caméras placées sur des axes décalés par rapport au projecteur permet de saisir puis d'interpréter la déformation de la grille 2D.

Optimisant cette technique, la société belge Eyetronics, créée en 1998, a commercialisé un système innovant réduisant les coûts des saisies automatiques de visages. Son outil ShapeSnatcher permet de scanner des modèles 3D avec un minimum de matériel. La grande idée est d'utiliser du matériel existant : un projecteur standard de diapositives qui projette la grille et une caméra numérique de qualité correcte constituent l'ossature matérielle du système. Cela explique pourquoi le coût de ce système est très inférieur à celui des systèmes concurrents. Shape Snatcher fonctionne sur PC avec les OS Windows ou Linux et sur SGI. La texture de l'objet est saisie en même temps que la grille, sur les pixels voisins. En une seule photographie peuvent être saisies la géométrie et la texture d'un objet.

Eyetronics commercialise d'autres outils comme SnapMatcher pour la fusion de plusieurs surfaces en un objet 3D unique, ainsi que des outils d'édition du mapping de textures et un outil de réduction automatique du nombre de polygones.
 
Animer les visages

La reconstruction d'une topologie identique pour les différentes expressions, nécessaire à leurs interpolations, n'est pas simple à obtenir à partir des nuages de points générés par scan. Une des méthodes est de générer une seule expression de base puis d'animer ce visage à partir d'un nombre limité de points de contrôle. Un point de contrôle est relié à plusieurs polygones et peut être animé manuellement. Des modèles dynamiques ou anatomiques sous-jacents (muscles) ont aussi été expérimentés, ainsi que des animations directement issues de données réelles (motion capture) comme dans le logiciel australien Famous.
 
Le projet MESH

Dans cet environnement, le projet européen de développement MESH, dirigé par DURAN, prend toute son importance. Il vise, en réunissant les compétences de plusieurs partenaires universitaires et industriels, à inventer les méthodes futures de modélisation et d'animation réalistes de visage. L'originalité de la démarche employée est multiple mais les deux objectifs majeurs sont la productivité et le réalisme. Le réalisme est obtenu en s'appuyant sur les derniers algorithmes des universités européennes les plus prestigieuses dans le domaine, la productivité est obtenue an automatisant les méthodes de production mises au point chez DURAN. Et d'emblée, trois marchés ont été visés : le réseau Internet, la télévision et le cinéma. Chaque outil est conçu pour les trois secteurs.

Le Facespace

Le principe de modélisation du projet MESH, proposé par l’Université Albert-Ludwig de Freiburg, est de caler géométriquement un visage générique, conçu pour être animé, sur les visages scannés. Le concept de Facespace est ensuite d'analyser cet ensemble de visages génériques et d'en faire une analyse statistique en composantes principales. Les paramètres les plus significatifs en sont extraits : groupes ethniques, âge, sexe, etc. On obtient un espace continu de représentation des visages. Il devient alors possible de générer rapidement des visages par réglages de paramètres. Il est aussi possible de modifier un visage existant en le rendant plus ou moins féminin, plus ou moins gros ou plus ou moins âgé, à volonté.

Le résultat est un outil de modélisation paramétrique extrêmement rapide et puissant. Rien n'empêche de rajouter ensuite dans un modeleur traditionnel les petits détails visuels qui vont préciser la personnalité du personnage.

Acquisition des modèles réels

Pour acquérir ces nombreux modèles rapidement et pour un coût faible, le partenaire idéal du projet MESH était tout trouvé. C'est Eyetronics qui a fourni sa technologie ShapeSnatcher. En retour, Eyetronics a bénéficié du concept mis en place dans le cadre du projet MESH de visage générique et propose depuis le Siggraph de cet été un nouveau produit Liquid Faces. Cet outil permet de caler par déformations le visage générique fourni sur le visage scanné. L'utilisateur définit au préalable des points de correspondance entre les deux visages. Le prototype de cet outil a été testé pour créer les visages 3D d'une douzaine d'acteurs virtuels du jeu "The Gateway" sur PlayStation 2 ainsi que leurs expressions.

Le visage générique a été créé en multi-résolution pour s'adapter aux différents marchés. Le modèle pour le marché du cinéma contient trois couches (squelette, muscles + graisse et peau) alors que le skinning du modèle Internet ne contient que la peau. Ce modèle de visage est complété par un modèle de buste et de squelette. Quant aux positions et aux angles limites des joints du squelette, ils ont été mesurés sur des acteurs réels afin d'en garantir la précision.

Bouche et cheveux

Mais en plus des expressions, pour animer correctement un visage, il faut être capable d'y superposer les mouvements labiaux émis lors de la prononciation de phrases, appelés Visèmes. Cette simulation réaliste des mouvements de la bouche est faite par le groupe de recherche du Eidgenössische Technische Hochschule de Zürich (ETHZ). Quant aux cheveux qui reste un sujet complexe à simuler, l’Université de Genève (UNIGE), au travers du groupe de recherche MIRALab, a orienté ses travaux sur la modélisation des cheveux et des styles de coiffure par analogie avec les techniques d’écoulement des fluides. Ce modèle mathématique peut être dérivé sur plusieurs personnages et est exploitable en multi-définition. Pour les applications Internet, une surface polygonale est reconstituée à partir d'une surface implicite. Quant aux secteurs de la télévision et du cinéma, jusqu'à 300 000 cheveux individuels sont exportés vers le moteur de rendering.

Animation

Classiquement l'animateur décide du timing d'interpolation entre les expressions de base. Le projet MESH se propose un double objectif. Pour le jeu, la fabrication des blending shapes pourra être automatisée puis interpolée classiquement. Mais il y aura aussi la possibilité d'utiliser l'espace multi-dimensionnel de visèmes issu de l'analyse statistique des expressions et de la normalisation du temps. Le passage d'un visème à un autre va s'appuyer sur l'espace de représentation et alléger le travail des utilisateurs. L'animation finale gagnera en réalisme, les formes intermédiaires entre deux expressions étant directement issues de mesures réelles. Les éléments additionnels, comme le buste ou les yeux resteront animés par des moyens classiques, par cinématique inverse ou manuellement.

Quels débouchés ?

Au final, cinq plugins Maya révolutionnaires seront opérationnels au milieu 2002. Si leur commercialisation systématique n'est pas envisagée par les différents partenaires du projet MESH, nul doute que de nombreux outils, issus de cette recherche, serviront à dynamiser la fabrication d'acteurs virtuels réalistes au sein des productions européennes. C'est en tout cas ce que l'on peut espérer au vu des premiers résultats.

Philippe Le Faure, coordinateur du projet Cédric Guiard, coordinateur technique, projet MESH, Duran Cédric Guiard Quel est le rôle de Duran au sein du projet MESH ? L'ETH de Zurich souhaitait collaborer avec nous sur un projet européen ambitieux. Dans le cadre d'IST (Information Society Technology), plusieurs partenaires industriels et universitaires se sont réunis dans le cadre du projet MESH et ont reçu 42 MF. Le projet dure trente mois et la finalisation des cinq prototypes est prévue pour fin Juin 2002. Duran tient un double rôle de coordination management et technique et apporte plusieurs technologies propriétaires. En particulier, Duran assure la maîtrise d'œuvre du Head integrator et la création du Facemask ce qui permet la cohérence générale. Le projet est développé au sein du département "Human Factory", destiné au développement R&D pour les films, en particulier du long-métrage en production "Immortel" d'Enki Bilal. Au 30ème mois, il faudra faire la preuve d'une démonstration technologique et de l'aboutissement de produits de haut niveau avant leur commercialisation. Pour l'instant, la décision est prise de ne pas commercialiser de produits communs à l'issue de ce projet. En revanche, si les apports spécifiques appartiennent à chaque partenaire, ce qui est développé dans le cadre de ce projet est sensé appartenir à tout le monde.   Quels sont les liens de MESH avec la R&D de Duran ? Le projet MESH, développé au sein du département Human Factory de Duran, nous facilite la mise en oeuvre de développements complémentaires. Certains sont déjà opérationnels comme les deux plugins Maya Replica 3D et Animation Cloning. Replica 3D aide l'utilisateur à reconstruire un modèle 3D de visage à partir de deux photos ou de deux dessins face et profil. On part d'un modèle générique animable car possèdant une déclinaison d'expressions et de visèmes. Il est calé sur le visage saisi grâce à des outils semi-automatiques. Avec ces outils un nouveau visage animable est créé en moins de deux heures au lieu de plusieurs jours. Un autre outil, Animation Cloning, automatise les rapports de correspondance entre deux visages à topologies différentes mais avec la même expression. Une moulinette automatique, ou manuelle en cas de visages dissemblables, met en correspondance les deux visages par le biais de repères analogues sur les deux visages. Une animation ou une déformation géométrique sur le visage source se reporte alors automatiquement sur le visage cible. Il devient possible d'animer le visage de son choix à partir de la même bibliothèque d'expressions.

Pour en savoir plus :

Eyetronics : www.eyetronics.com
Projet MESH : www.meshproject.com

© janvier 2002 François Ploye et Pixel SA