Fallstudie: Set-Rekonstruktion
Verfolgung von Kameratrajektorien und Rekonstruktion von 3D-Geometriehüllen aus Innen- und Außen-DSLR-Platten mit unbekannten Kameraeinstellungen.
Finales Compositing & Track-Render
Projektziel & Aufnahmebedingungen
Das Hauptziel dieses Projekts war es, präzise 3D-Umgebungsgeometrien (Geometriehüllen) zu rekonstruieren und die exakte physische Kamerabewegung für mehrere Innen- und Außenaufnahmen zu berechnen. Das Quellmaterial wurde mit einer DSLR-Kamera unter verschiedenen, unkontrollierten Bedingungen aufgenommen, ohne vorab aufgezeichnete Kameraprotokolle, Brennweitenstatistiken oder Schachbrettmuster zur Objektivkalibrierung.
Ohne Telemetrie am Set war der Matchmove-Solver damit beauftragt, die Kamerabrennweiten, die Sensorabmessungen und die Verzerrungskoeffizienten gleichzeitig mit dem 3D-Translationspfad zu berechnen. Dies erforderte hochkonsistente Tracking-Punkte über extreme Tiefenebenen hinweg, um mathematische Mehrdeutigkeiten zu vermeiden.
Angewendeter Workflow
- Footage-Vorbereitung: Linearisierung der Dynamikbereiche, um Kontrast in unterbelichteten Schatten und überbelichteten Himmeln zu erzeugen und trackbare Details zu maximieren.
- Optical-Flow-Gitter: Ausführen einer automatisierten Optical-Flow-Verfolgung, um hochdichte Hintergrunddetails zu sammeln, kombiniert mit manuellen Tracking-Ankern auf scharfen statischen Strukturen (Türrahmen, Stufen, Wandecken).
- Zweistufiger Brennweiten-Solve: Zuerst wird die statische Kameraausrichtung gelöst, um die konstante Brennweite zu schätzen, anschließend werden die Koordinaten des Kamerapfads dynamisch gelöst.
- 3D-Set-Rekonstruktion: Export der gelösten 3D-Punktwolke in Modellierungsumgebungen, um strukturelle polygonale Geometrie (Böden, Säulen, Wände) passend zu den physischen Räumen zu erstellen.
- Telemetrie-Validierung: Erneutes Projizieren der Low-Poly-Modelle auf das Footage, um die Ausrichtung zu prüfen, das Fehlen von Abweichungen zu verifizieren und die Grenzen des Reprojektionsfehlers zu validieren.
Solver-Herausforderungen & Lösungen
Texturlose Innenflächen: Weiße Flure stellten eine klassische Tracking-Herausforderung dar, da es an kontrastreichen natürlichen Merkmalen mangelte. Um dies zu lösen, wurden manuelle Tracking-Punkte auf strukturelle Linien gesetzt, wie Türschwellen, Fugenlinien von Fliesen und elektrische Installationen.
Dynamische Außenparallaxe: Aufnahmen im Außenhof zeigten dynamische Tiefenverschiebungen von Vordergrundbögen zu entfernten Bäumen. Parallaxebenen mussten sorgfältig getrennt werden: Vordergrundobjekte wurden mit rotoskopierten Masken isoliert, um sicherzustellen, dass der Kamera-Solver für den Hintergrund nicht durch bewegte Elemente beeinträchtigt wurde.
Objektivverzerrung der Kamera: DSLR-Standardobjektive weisen eine leichte radiale Tonnenverzerrung auf. Der Solver berechnete ein benutzerdefiniertes radiales Verzerrungsmodell (`K1`- und `K2`-Koeffizienten), um die Aufnahmen zu entzerren und sicherzustellen, dass die modellierten geraden Linien perfekt mit den gekrümmten Rändern des Objektivs übereinstimmen.