Künstliche Intelligenz bringt Farbe in Schwarz-Weiß-Filme

Historischen Filmen fehlt oftmals das gewisse Etwas: die Farbe. Mittels künstlicher Intelligenz sollen die alten Aufnahmen in neuer Farbe gesehen werden können - in realitätsgetreuer Farbgebung, wie betont wurde. Die zentrale Anforderung wird mithilfe trainierter selbstlernender neuronaler Netze erfüllt. Sie können durch Benutzerinteraktion dynamisch beeinflusst werden. Entwickelt wurde die Softwareanwendung von Informatikerinnen und Informatikern rund um Thomas Pock vom Institut für Maschinelles Sehen und Darstellen der TU Graz zusammen mit der auf die Restauration von historischen Filmen spezialisierte Grazer Firma HS-Art.

Die Entwicklung, die Farbe in die Vergangenheit bringt, kombiniert Deep-Learning-Technologien mit interaktiven und automatisierten Einfärbetechniken. Das Ergebnis ist ein Algorithmus für einen überwiegend automatischen und dennoch benutzergesteuerten Einfärbeprozess. "Man braucht immer einen Menschen, der aus historischen Überlieferungen weiß, wie die Kleidung, die Fassaden, etc. damals ausgesehen haben. War die Soldatenuniform grün oder blau? Das kann kein Algorithmus entscheiden. Er kann aber daraus lernen", wie Pock schilderte. Er leitet an der TU Graz die Gruppe Vision, Learning and Optimization (VLO).

Der Algorithmus muss mit einer großen Sammlung an Trainingsmustern gefüttert werden, um das Einfärben von historischen Filmen dann automatisch zu übernehmen: "Es geht darum, mit möglichst wenig User-Input die Filme möglichst effizient einzufärben. Das kann so aussehen, dass der Mensch die Farbgebung für einen Filmframe vorgibt, und die Software dann die Einfärbung weiterer Frames übernimmt", erklärte Pock.

Die Forschenden haben verschiedene und teils auch neuartige Ansätze im Bereich der automatisierten Kolorierung, die auf Künstlicher Intelligenz basieren, analysiert. Den effizientesten Ansatz haben sie dann zusammen mit den Entwicklern von HS-Art in einer Prototypanwendung umgesetzt und eine Sammlung von Trainingsmustern generiert. Dann erfolgte die Implementierung der menschengeleiteten Steuerung, um authentische und geeignete Farbschemata zu erhalten.

Mit den entwickelten Algorithmen können die Filme nicht nur koloriert, sondern auch Kratzer, Staub-und Wasserflecken und andere Schäden eliminiert werden. Diese extrem saubere Restaurierung ist aber nicht immer erwünscht. "Bei historischen Aufnahmen und Kinofilmen im allgemeinen braucht es das gewisse Rauschen, den sogenannten "Filmgrain", sonst wirkt das für das Publikum nicht authentisch. Deshalb kann die Software dieses Rauschen nach dem Restaurieren und Einfärben auch wieder künstlich generieren und hinzufügen", betonte Pock.

Der Kernalgorithmus wurde bereits auf einer internationalen Fachtagung publiziert, der Quellencode ist frei zugänglich. Zur effizienten Anwendung ist aber eine darauf aufbauende Software nötig. Diese wurde vom Projektpartner HS-Art entwickelt und befindet sich bereits in ihrem Produkt-Portfolio: Der sogenannte "Diamant-Film Colorizer" kam beispielsweise schon in der ZDFzeit-Dokureihe "Hitlers Macht" zur originalgetreuen Einfärbung historischer Aufnahmen zum Einsatz.

(S E R V I C E - https://www.tugraz.at/institute/icg/home, https://www.hs-art.com/index.php )