Denoise

Denoise

Rauschen ist der Feind jedes Renderings. Wenn ein Renderer nicht genügend Samples hat, wird das Bild von einem körnigen Muster bedeckt, das als Monte-Carlo-Rauschen bezeichnet wird. Dies tritt am häufigsten in dunklen Bereichen, in Bereichen mit komplexer indirekter Beleuchtung und bei Objekten mit Bewegungsunschärfe auf. Denoising ist der Prozess, dieses Rauschen zu entfernen, während die tatsächlichen Details im Bild erhalten bleiben. Es ist ein wesentlicher Schritt in jeder VFX-Pipeline.

Traditionelles Denoising funktioniert, indem das Bild unscharf gemacht wird, während versucht wird, Kanten zu erhalten. Eine einfache Unschärfe entfernt Rauschen, aber auch Details, wodurch das Bild weich aussieht. Bessere Denoising-Algorithmen verwenden Kantenerkennung, um Unschärfe über Kanten hinweg zu vermeiden. Der bilaterale Filter ist ein klassisches Beispiel. Er verwischt Pixel, die in der Farbe ähnlich und in der Position nahe beieinander sind, verwischt jedoch nicht über starke Kanten hinweg, an denen sich die Farben stark ändern.

Fortgeschritteneres Denoising verwendet Informationen aus dem Rendering selbst. Moderne Renderer können zusätzliche Daten wie Oberflächennormalen, Weltpositionen und Albedo zusammen mit dem Beauty-Pass ausgeben. Denoiser verwenden diese zusätzlichen Daten, um die Filterung zu leiten. Wenn zwei Pixel sehr unterschiedliche Normalen haben, befinden sie sich wahrscheinlich auf unterschiedlichen Oberflächen und sollten nicht miteinander verschmolzen werden. Dies liefert viel bessere Ergebnisse als blindes Denoising.

Temporales Denoising verwendet Informationen aus benachbarten Frames. Wenn ein Pixel in einem Frame verrauscht, aber im nächsten sauber ist, können Sie sie mitteln. Dies funktioniert gut für statische Teile des Bildes, kann jedoch bei sich bewegenden Objekten Geisterbilder verursachen. Gute temporale Denoiser verwenden Bewegungsvektoren, um zu verfolgen, wohin sich jedes Pixel zwischen den Frames bewegt, sodass sie nur Pixel mischen, die derselben Oberfläche entsprechen.

Der beste Ansatz ist, genügend Samples zu rendern, damit das Rauschen minimal ist, und dann ein leichtes Denoising zu verwenden, um den Rest zu bereinigen. Sich auf starkes Denoising zu verlassen, um ein sehr verrauschtes Rendering zu korrigieren, führt immer zu Artefakten. Das Ziel ist es, den Sweet Spot zu finden, an dem Sie gerade genug Samples rendern, um das Detail einzufangen, und den Denoiser das verbleibende Rauschen behandeln lassen, ohne die Bildqualität zu zerstören.