Effizienter und iterativer durch KI

KI-Tools gehören längst zum Alltag der VFX-Produktion, vom Rotoscoping bis zur Objekterkennung. Holger Voss, Head of CG bei Cinesite, hat in unserem Heft E04.2025 erklärt, wo KI heute steht und welche Rolle sie künftig in der Branche spielt.

Der Umbruch in der VFX-Produktion hat längst begonnen. In Bereichen wie Rotoscoping, Objekterkennung, physikalischer Simulation und Automatisierung ist KI inzwischen etabliert. Selbst No-Code- und Low-Code-Plattformen, beliebt etwa in der Webentwicklung, nutzen sie längst. Auch Kreativtools wie Adobes Firefly, Canva AI oder Uizard setzen auf eigene KI-Instanzen.

Holger Voss hat diese Entwicklung schon seit geraumer Zeit im Blick. Der Head of CG bei der Cinesite Group studierte Anfang der 2000er Jahre Medieninformatik in Stuttgart. Seine Abschlussarbeit über Motion Capture brachte ihm schnell die ersten Jobs. 2003 rief ihn dann Cinesite nach London. „Da habe ich dann alles durchlaufen“, so Holger Voss. „Ich war dort erst technischer Direktor, habe viel programmiert, auch Development gemacht, dann eher Arbeit im Bereich Rigging und Effekt-Simulation, dann CG-Supervision, VFX-Supervision.“ Heute verantwortet er als Head of CG die Tätigkeitsfelder der gesamten Gruppe und ist neben Christina Caspers-Römer Geschäftsführer der Münchner VFX-Schmiede Trixter.

Umbrüche

Seinen ersten Kontakt zur künstlichen Intelligenz in der VFX-Arbeit hatte Holger Voss vor rund vier Jahren – ausgelöst durch den Wunsch eines Kunden, Face-Replacements mit Deepfake-Technologie umzusetzen. Das Problem solcher Consumer-Anwendungen liegt meist in der geringen Auflösung, der eingeschränkten Farbtiefe und der schwierigen Integration in einen High-End-Workflow. Für Voss war offensichtlich, dass KI die Arbeit seiner Unternehmensgruppe von Grund auf verändern würde, und das in einer Zeit, die nicht arm an rasanten Veränderungen ist. Voss und sein CTO Michele Sciolette waren sich einig, dass Cinesite diesen Wandel gestalten muss, um ihm nicht zum Opfer zu fallen.

Für die Cinesite Group gab es dabei zwei zentrale Baustellen. Zum einen veränderte der Aufstieg der Virtual Production die Branche. Anfangs befürchteten viele klassische VFX-Häuser einen Auftragsrückgang. „Ich glaube, es hat eher mehr Arbeit gebracht“, sagt Holger Voss. „Virtual Production ist großartig, aber sie funktioniert nicht in jedem Fall.“ Eine steile Lernkurve sei nötig: Environments müssen sehr früh festgelegt werden und LED-Volumes bringen eigene Herausforderungen mit sich. Wie Voss einschätzt, wird das nicht überall verstanden: „Oft muss man später Szenen ergänzen oder Hintergründe ganz austauschen.“

Zum anderen rückten Automatisierung und Effizienzsteigerung in den Fokus der Cinesite-Gruppe. „Im klassischen VFX-Bereich arbeiten wir viel im Multishot-Workflow“, so Voss. „Wir versuchen, alle Shots so aufzusetzen, dass wir einen Master-Shot für jeden Angle machen und danach automatisiert die Detailshots produzieren.“

Auf den ersten Blick hat künstliche Intelligenz auf beide Bereiche nur wenig disruptiven Einfluss. Ganze Sequenzen einer generativen KI zu überlassen, ist bislang nicht möglich. „GenAI ist im Alltag immer noch schwierig“, sagt Holger Voss. „Da sind die Kunden noch sehr nervös, wenn es in Richtung finaler Pixel geht.“

Einsatzfelder

KI ist heute vor allem im Concept-Workflow fest etabliert. Auch beim Rotoscoping, In-Betweening oder bei Retimes kommt sie zunehmend zum Einsatz. Erste Experimente laufen zudem in Bereichen wie Gaussian Splatting und Photogrammetrie. „In unserem Workflow ist der Einsatz von KI immer sehr abhängig davon, was der Kunde erlaubt“, betont Holger Voss. Dieser Wandel spiegele sich auch in den Verträgen wider.

Vor allem die Concept-Art-Phase profitiert durch das schnellere Erreichen eines Designziels. Schon in frühen Vorproduktionsschritten, bevor VFX-Unternehmen einbezogen werden, können hier Kreative aus Regie, Art Direction oder Szenenbild zahlreiche Iterationen durchspielen, zum Beispiel beim Worldbuilding oder Kreaturendesign.

Bei Cinesite kommen vor allem unterstützende Tools zum Einsatz, die mit KI und Machine Learning arbeiten, etwa für Rotoscoping oder Roto-Animation in Silhouette von Boris FX sowie Foundrys Cattery und Copycat. Diese Tools unterstützen beim Masken-Tracking, etwa fürs Grading, oder beim Anlegen einer Geometrie auf eine Figur, wie beim De-Aging oder bei CG-Prosthetics. Es sind repetitive, zeitaufwendige und nervenraubende Aufgaben, bei denen KI eine echte Entlastung bedeutet.

Voss betont, dass solche Arbeiten häufig ausgelagert werden. Nicht jedes Projekt benötigt Roto-Animatoren und daher sind sie in der Gruppe nicht überall fest angestellt. Zudem machen Roto-Aufgaben im Projektbudget nur wenige Prozent aus. Deswegen würde sich ein großes KI-Development hier kaum lohnen. Doch die Automatisierung ermöglicht, dass andere Departments früher in das Projekt einsteigen können, was den Workflow insgesamt effizienter macht.

Die Cinesite Group verfügt in ihren Unternehmen über eigene Development-Abteilungen, die Software entwickeln. So hat Image Engine VFX in Vancouver ein eigenes KI-Rototool programmiert. Produktionsreif ist dessen Output allerdings noch nicht. „Die Tools, die wir derzeit einsetzen, helfen uns vor allem, die nachgelagerten Departments eher anzubinden“, erklärt Voss. „Wir machen ein schnelles Roto, können dann schon mit den Layouts anfangen, können leuchten und dem Kunden schon einmal einen groben Shot schicken.“ In neun von zehn Fällen muss von Hand nachgearbeitet werden.

Beim Einsatz von Gaussian Splatting experimentiert Cinesite noch. Das Verfahren ist eine neuartige Form des Volumenrenderings, die 3D-Umgebungen aus Bildmaterial erzeugt. Im Gegensatz zur Photogrammetrie, die präzise, detailreiche 3D-Modelle unter Einsatz enormer Rechenleistung erzeugt, verbraucht Gaussian Splatting dank seiner Gauss-Verteilungen deutlich weniger Rechenressourcen. So werden Echtzeit-Renderings für schnelle, interaktive Anwendungen möglich. Mithilfe von KI lässt sich aus wenigen Smartphone-Fotos rasch ein 3D-Eindruck eines Sets generieren, wo sonst ein LiDAR-Scan nötig wäre. „Das ist aber derzeit noch sehr experimentell“, sagt Voss. „Einen projektbezogenen Einsatzfall gibt es noch nicht.“

Das In-Betweening ist bei Cinesite bislang ebenfalls noch nicht im Einsatz. Dabei geht es um das automatische Erstellen von Animationssequenzen zwischen zwei Hero-Shots oder Hero-Frames. Laut Voss plant Autodesk eine entsprechende Anwendung, wo der Animator sogenannte „Golden Poses“ von Figuren, Creatures oder Objekten setzt und die Bewegung dazwischen automatisch generiert wird. Zu Anbietern wie Autodesk bestehen sehr gute Beziehungen und einen konstanten Austausch zwischen dortigen Entwicklern und Praktikern beim Einsatz ihrer Software. Das ist wichtig in Zeiten, in denen sich Anforderungen innerhalb eines Jahres grundlegend verändern können. Hier sei besonders nützlich, dass ein großes Entwicklerteam von Autodesk in Montreal sitze, also in der Nähe des Cinesite-Standorts in Kanada.

Was KI schon gut kann, ist das Generieren eines Tiefenkanals. Wenn statisches Stockfootage vorliegt und für die große Leinwand eine Parallaxe benötigt wird, funktioniert das inzwischen zuverlässig. „Wir hatten den Fall eines Rollercoaster-Rides“, erzählt Voss. „Der Rollercoaster war CG, ebenso der Charakter darin. Der Kunde hatte aber nur Stockfootage für den Hintergrund. Das mussten wir zunächst hochskalieren. Heute gibt es fantastische Tools, mit denen wir den Depth Channel erzeugt und die Parallaxe direkt in Nuke umgesetzt haben.“ [15600]

Mehr über die Chancen und Grenzen von KI in der Postproduktion findet ihr hier!