カメラトラッキング (マッチムーブ)

カメラトラッキング (マッチムーブ)

カメラトラッキング（マッチムーブとも呼ばれる）は、映像から実際のカメラの動きを再構築するプロセスです。目標は、実際のカメラが行ったのとまったく同じように動く仮想カメラを3Dソフトウェア内で作成することです。この仮想カメラは、元の映像の遠近感に完全に一致するCG要素をレンダリングするために使用されます。トラッキングが適切でないと、CG要素が浮いたり、滑ったり、シーンから切り離されたように感じられます。

トラッキングプロセスは、映像にトラッキングマーカーを配置することから始まります。これらは、ソフトウェアがフレームごとに追跡できる特徴的なポイントです。優れたトラッキングマーカーは、白い壁の暗い点のようにコントラストが高く、フレーム全体に広がっている必要があります。最新のトラッキングソフトウェアは、コーナー、エッジ、テクスチャ領域を見つける特徴検出アルゴリズムを使用して、数千の自動トラッキングポイントを生成できます。

ポイントがトラッキングされると、ソフトウェアはカメラの動きをソルブします。バンドル調整と呼ばれる数学的プロセスを使用して、すべてのトラッキングポイントの動きを最もよく説明する各フレームのカメラの位置と回転を見つけます。結果はソルブエラーで測定され、通常はピクセル単位で与えられます。良いソルブは1ピクセル未満の誤差です。許容範囲は1〜2ピクセルです。それを超えると、CGがおそらくずれることを意味します。

ソルブが失敗する理由はいくつかあります。モーションブラーはトラッキングポイントをぼやけさせる可能性があります。レンズの歪みはソルバーを混乱させる可能性があります。視差が不足している、つまりカメラが奥行き情報を生成するのに十分に動いていない場合、ソルバーがシーンを誤解釈する可能性があります。トラックを手動で調整したり、悪いトラックを削除したり、既知の距離などの制約を追加してソルバーを支援する必要がある場合があります。

ソルブ後、3Dカメラと、トラッキングされたシーンを表すポイントクラウドが得られます。ポイントクラウドは、環境の形状を近似するのに役立ちます。ポイントクラウドの上に単純なカードやジオメトリを構築して、反射や影のプレースホルダーとして機能させることができます。最後のステップは、ソルブされたカメラを通して単純なグリッドまたはいくつかのテストオブジェクトをレンダリングし、それらを映像に合成することでソルブを確認することです。