Suivi de caméra (Matchmoving)

Suivi de caméra (Matchmoving)

Le suivi de caméra, également appelé matchmoving, est le processus de reconstruction du mouvement d'une caméra réelle à partir d'une vidéo. L'objectif est de créer une caméra virtuelle dans un logiciel 3D qui bouge exactement comme la caméra réelle. Cette caméra virtuelle est ensuite utilisée pour rendre des éléments CG qui correspondront parfaitement à la perspective de la vidéo originale. Sans un bon suivi, les éléments CG flotteront, glisseront ou sembleront déconnectés de la scène.

Le processus de suivi commence par placer des marqueurs de suivi dans la vidéo. Ce sont des points distinctifs que le logiciel peut suivre d'image en image. Les bons marqueurs de suivi sont à contraste élevé, comme une tache sombre sur un mur blanc, et ils doivent être répartis sur toute l'image. Les logiciels de suivi modernes peuvent générer des milliers de points de suivi automatiques en utilisant des algorithmes de détection de caractéristiques qui trouvent des coins, des bords et des zones texturées.

Une fois les points suivis, le logiciel résout le mouvement de la caméra. Il utilise un processus mathématique appelé ajustement de faisceau pour trouver la position et la rotation de la caméra pour chaque image qui explique le mieux le mouvement de tous les points de suivi. Le résultat est mesuré par l'erreur de résolution, généralement donnée en pixels. Une bonne résolution a une erreur inférieure à un pixel. Acceptable est de un à deux pixels. Au-delà, votre CG dérivera probablement.

Il y a plusieurs raisons pour lesquelles une résolution peut échouer. Le flou de mouvement peut brouiller les points de suivi. La distorsion de l'objectif peut perturber le solveur. Un manque de parallaxe, c'est-à-dire que la caméra ne bouge pas assez pour créer des informations de profondeur, peut amener le solveur à mal interpréter la scène. Parfois, vous devez ajuster manuellement les pistes, supprimer les mauvaises, ou ajouter des contraintes comme des distances connues pour aider le solveur.

Après la résolution, vous obtenez une caméra 3D et un nuage de points qui représente la scène suivie. Le nuage de points est utile pour approximer la géométrie de l'environnement. Vous pouvez construire des cartes simples ou une géométrie sur le nuage de points pour servir de placeholders pour les reflets et les ombres. La dernière étape consiste à vérifier la résolution en rendant une grille simple ou quelques objets de test à travers la caméra résolue et en les compositant sur la vidéo.