Marcel Barsotti: Vom Filmkomponisten zum KI-Regisseur

Barsotti verbindet klassische dramaturgische Ansätze mit den Möglichkeiten künstlicher Intelligenz und entwickelt dabei eigenständige Workflows, die weit über gängige KI-Experimente hinausgehen. Direkt im Anschluss an die Filmvorführung gibt er im Vortrag „KI, Film-Workflows, Prompting und die Zukunft des Filmemachens“ um 17 Uhr im Vortragssaal der Badischen Landesbibliothek Einblicke in seine Arbeitsweise und diskutiert die tiefgreifenden Veränderungen, die KI aktuell in der Filmproduktion auslöst.

Im folgenden Interview mit INDEPENDENT DAYS-Festivalleiter Dr. Oliver Langewitz spricht Marcel Barsotti über seinen Weg vom Komponisten zum Regisseur, die Herausforderungen und Chancen KI-basierter Filmproduktion sowie über die Zukunft einer Branche im Umbruch.

Marcel, du bist seit Jahrzehnten als Filmkomponist tätig. Was hat dich dazu gebracht, selbst Regie zu führen – und dann gleich mit künstlicher Intelligenz zu arbeiten?

Ich bekam vor längerer Zeit das Angebot, die Filmmusik für einen deutschen Science-Fiction Film zu schreiben. Der Film hat mir leider gar nicht gefallen. In den darauffolgenden Wochen ließ mich ein Gedanke nicht mehr los: warum schreibst du nicht ein eigenes Drehbuch für einen Science-Fiction Film? Ich bin seit meiner Kindheit ein großer Fan dieses Genres. Die Geschichten müssen inhaltlich sehr gut erzählt sein, damit sie nicht schnell als C-Movie enden. Ich hatte gute Kontakte zu internationalen Produzenten, kam aber aufgrund der enormen Summen, die so ein Film verschlingt, nicht weiter. Das Thema Künstliche Intelligenz beschäftigt mich schon lang. Also fing ich 2023 an, KI-Softwares zu studieren und das Prompting professionell zu erlernen. Schnell spürte ich, dass meine Begeisterung von Tag zu Tag größer wurde und „die Stunde des Regisseurs“ geschlagen hatte. Zum damaligen Zeitpunkt mir allerdings noch nicht klar war, wie unfassbar aufwendig das alles werden würde.

Dein erster KI-Film TRANSFORMATION war international sehr erfolgreich. Was hast du aus diesem Projekt gelernt, das du in deinem zweiten, IMPERIA, weiterentwickelt hast?

TRANSFORMATION war mit 17 internationalen Preisen wirklich ein großer Überraschungserfolg. Ich war hoch motiviert, gleich den nächsten Film in Angriff zu nehmen, der dreimal so lang werden sollte, also knapp 40 Minuten. Ich musste bei IMPERIA bezüglich der Technologie praktisch von vorne anfangen, denn die Softwares von TRANSFORMATION waren längst veraltet, die Weiterentwicklung geht rasend schnell. Für IMPERIA habe ich eine eigene Photoshop-Technologie entwickelt, da zum damaligen Zeitpunkt konsistente Characters und Szenenbilder nicht möglich waren. Das war sehr aufwendig, aber es hat sich gelohnt. Auch IMPERIA feierte weltweite Erfolge, ich war von Kanada bis Japan ständig unterwegs und es war klar: du machst weiter als Regisseur. Vor kurzem wurde ich in den deutschen Regieverband als erster KI-Regisseur Deutschlands aufgenommen.

Wann hast du zum ersten Mal gespürt, dass KI mehr sein könnte als ein technisches Spielzeug – nämlich ein echtes Werkzeug für filmisches Storytelling?

Das war bei IMPERIA, da konnte ich das Drehbuch schon zu ca. 50% umsetzen, war aber noch weit entfernt von einer konventionellen Umsetzung. Aber es war ein Anfang und bei meinem aktuellen Projekt läuft es auf fast 90% hinaus, die ich vom Drehbuch umsetzen kann. Das ist tatsächlich ein Quantensprung. Allerdings muss man sich immer vor Augen halten, dass professionelles Prompting rein gar nichts mit dem täglichen Content auf Social-Media zu tun hat.

Wie verlief bei IMPERIA der Weg vom geschriebenen Text zum fertigen KI-Film?

Szenen und manchmal auch ganze Kapitel des Drehbuchs musste ich jeden Tag ändern, damit sie mit KI umsetzbar waren. Der Vorteil davon war, dass das Drehbuch noch viel interessanter wurde. Zwar konnte ich filmisch vieles nicht umsetzen, dafür entstanden viele neue Ideen, die mir oft viel besser gefielen. Somit war jeden Tag aufs Neue Kreativität in alle Richtungen gefragt.

In der Geschichte tauchen mysteriöse Würfel auf und eine außerirdische Zivilisation missbraucht die Menschheit für ein Ritual. Wie bist du auf diese Idee gekommen und was hat dich an dieser Geschichte besonders gereizt?

Ich hatte die Idee, dass die Seele vielleicht das höchste Gut ist, das ein Mensch nach dem Tod zurücklässt. Die Seele kann man mit nichts vergleichen, sie ist unantastbar und sie ist wenig erforscht. Viele zweifeln sogar, ob es überhaupt eine Seele gibt. Diese Gedanken fand ich faszinierend und inspirierend und ich habe sie weitergesponnen. Was passiert, wenn uns die Seelen geraubt werden oder Außerirdische nicht an uns, sondern an unseren Seelen interessiert sind? Dass folglich die Menschheit erst vernichtet werden muss, um an die Seelen heranzukommen? Düstere Gedanken und ein Stoff, der geradezu nach Science-Fiction schreit.

Verändert sich eine Filmidee während der Arbeit mit KI stärker als in einer klassischen Produktion?

Die Filmidee und damit auch das Drehbuch ändern sich während der Arbeit mit KI ständig. Man kann diese Arbeit auch nicht mit CGI oder der Arbeit an einem Zeichentrickfilm vergleichen. KI ist unberechenbar, sie bietet dir nie zweimal das gleiche Szenenbild an. Zum großen Nachteil von Konsistenz in der Arbeit und zum großen Vorteil von unendlicher Kreativität, mehr als bei jeder derzeitigen Filmtechnologie. KI kann dich jede Sekunde zur Weißglut bringen, aber dich auch immer wieder neu überraschen. Dein Drehbuch wird durch Dimensionen geschickt, die es im herkömmlichen Schreiben nicht gibt.

Du arbeitest mit verschiedenen KI-Tools und Prompt-Techniken. Wie gehst du dabei konkret vor, wenn du eine Szene visuell entwickeln möchtest?

Zunächst schreibe ich die Szene aus dem Drehbuch, dann folgen erste Frame-Shots, die dann animiert werden. Das klingt zunächst einfach, ist aber ein sehr komplexer und aufwendiger Prozess, denn jeder Frame muss mit der Szene davor, danach und allen anderen 10.000 Szenen im Film funktionieren, harmonieren und angeglichen werden. Es soll ja ein einzigartiger Look entstehen, so wie ein Szenenbild einen Film im Design definiert. Im Grunde arbeite ich wie jedes Gewerk, nur dass ich einen Prompting-Text zur Realisierung eingebe.

Du hast für IMPERIA ein eigenes Photoshop-Verfahren entwickelt. Was passiert in diesem Workflow zwischen klassischer Bildgestaltung und KI-Generierung?

Das Photoshop-Verfahren war analoger Natur, ähnlich wie bei der CGI-Technologie. Ich habe erst jedes Bild in viel Einzelteile und Ebenen gebracht, zusammengefügt und somit meine Filmszenen aufgebaut. Das ist heute nicht mehr nötig, die Verfahren haben sich bereits verändert.

Wie viele Iterationen braucht eine Szene normalerweise, bis sie für dich wirklich funktioniert?

Manche Szenen lassen sich mit drei bis fünf Prompts realisieren, manche benötigen das Zehnfache. Es hängt ganz davon ab, was man umsetzen will, wie komplex eine Szene ist. Ein Dialog zwischen zwei Personen ist relativ überschaubar, aber auch der benötigt viele verschiedene Einstellungen, um Emotionalität und ausdrucksstarke Bewegungen zu schaffen. An einer Actionszene hingegen kann man sich schon die Zähne ausbeißen. Die kann Tage dauern und hunderte von Prompts benötigen. Es kann auch passieren, dass ich manche Szenen komplett neugestalte, wenn Sie mir am nächsten Tag nicht mehr gefallen. Fazit: KI-Filme sind extrem aufwendig im Prozess der Herstellung.

Welche KI-Tools sind für deinen Workflow besonders wichtig – und wo stoßen sie aktuell noch an ihre Grenzen?

Derzeitige KI-Tools sind schon sehr gut, man kann unendlich viel sehr genau realisieren und auch Charaktere kaum mehr von echten Menschen unterscheiden. Dennoch liegt der Schwerpunkt immer in der emotionalen Erzählung, in der Gewichtung von Mimik, Bewegung und Dialog. Ich gehe davon aus, dass die nächsten Generationen von KI-Softwares wegweisend sein werden.

Denkst du beim Inszenieren zuerst eher in Bildern oder in Klang und Rhythmus?

Zuerst denke ich an das Drehbuch, die emotionale Geschichte muss erst richtig erzählt sein, und an die Fallhöhen und Dialoge des Skripts, bevor ich einen einzigen Prompt realisiere. Dann baue ich ein imaginäres Story- und Kamerasetup auf, für jede einzelne Szene. Ich gehe im Kopf genau durch, wie sich die Characters von Szene zu Szene bewegen, an ihre Körper- und Kopfbewegungen. Ich orientiere mich an großen Realfilmen und setze dann meinen eigenen Look um. Dann erst geht das Prompten los, erst dann sehe ich, was ist an diesem Tag umsetzbar oder nicht.

Welche Rolle spielt KI bei der Filmmusik, beim Sounddesign oder bei der Synchronisation in IMPERIA?

Bisher habe ich meine Soundtracks selbst komponiert. Auch das Sounddesign habe ich analog angelegt und mir in einem Jahr das Wissen und die Fähigkeit des Sounddesigners erarbeitet. Auch der Schnitt ist analog. Bei meinem aktuellen Film ist ein Großteil des Sounddesign schon mit KI angelegt, aber am Ende werde ich viel noch analog anlegen, der Sound muss bei Science-Fiction zu 100% passen, das wird ja dann in Surround und Atmo gemischt. Die Langebene und auch die Synchrons müssen nahezu perfekt sein.

Klassische Filmproduktionen arbeiten oft mit großen Teams. Wie verändert KI die Größe und Struktur eines Filmteams?

Im Grunde sind es viele verschiedene KI-Berufe, die aufgeteilt werden, ähnlich wie bei einem CGI-Film. Jeder ist für etwas anderes zuständig, der eine arbeitet mit den Charakteren, der andere mit den Szenenbildern usw. Aber im realen Arbeitsprozess wird jeder KI-Prompter alles beherrschen müssen, man wird sich die Szenen und Kapitel aufteilen, die KI-Musikkonzepte oder die KI- Sounddesigns. Das sind also viele neue Berufe, die gerade weltweit entstehen. Eine Herausforderung und Inspiration für Filmschaffende, sich mit neuen Arbeitsweisen vertraut zu machen und sich neu zu orientieren.

Ist ein KI-Film für dich eher eine technische Herausforderung oder vor allem eine künstlerische?

Eindeutig beides gleichermaßen. Ohne das Können, etwas künstlerisch umzusetzen, kann man es technisch nicht realisieren. Und umgekehrt. Deshalb ist ja das Internet voll mit Millionen von mittelmäßigen Miniclips oder Microfilmen. Nur wenig davon ist wirklich inhaltlich ausgearbeitet, aber es wird langsam besser. Deshalb sehe ich das natürlich optimistisch. Diese neue Art, Filme zu schaffen, ist bahnbrechend. Sie ist auf dem Vormarsch und wird einschlagen wie eine Bombe. KI wird in der Filmwelt ganz sicher erfolgreich werden und dieser Prozess ist nicht aufzuhalten.

Wie reagieren klassische Filmschaffende auf deine Arbeit als KI-Regisseur – eher neugierig oder eher skeptisch?

Beides. Derzeit habe ich wesentlich mehr positive Reaktionen. Es gibt aber auch ganz andere Stimmen. Natürlich ist da diese Angst, dass analoge Berufe verloren gehen und natürlich verstehe ich das. Aber zukunftsorientierte Technologien wird man niemals aufhalten können und man kann sie auch nicht ignorieren, im Gegenteil, sie holen uns ein.

Glaubst du, dass KI langfristig eine eigene filmische Ästhetik hervorbringen wird?

Ein ganz klares JA, wenn man sie gezielt einsetzt. Die kreativen Möglichkeiten sind so viel größer als bei herkömmlichen Technologien. KI kann auch den Realfilm ersetzen, das sieht man ja schon deutlich in der Werbung.

Wo siehst du aktuell die größten ethischen oder urheberrechtlichen Herausforderungen beim KI-Filmemachen?

Leider kann ich dazu wenig sagen, ich bin kein Anwalt. Aber es ist natürlich schon sehr bedenklich, wenn ständig Star Wars-Filme oder bekannte Schauspieler*innen mit KI kopiert werden, als gäbe es keine anderen Möglichkeiten. Das interessiert mich gar nicht.

Du arbeitest bereits an deinem ersten KI-Langfilm. Was wird dort möglich sein, was bei IMPERIA noch nicht ging?

Ich kann leider noch nicht viel verraten, aber ich sage mal: ALLES! Ein klarer Quantensprung von Realisierungen der Kameraführung, Szenenwechsel bis hin zu den emotionalen Charakteren und noch vielem mehr. Und es wird wieder Science-Fiction der ganz anderen Art!

Wenn du zehn Jahre in die Zukunft blickst: Wie wird ein Film entstehen – und welche Rolle wird der Regisseur dann noch spielen?

Das will ich mir gar nicht ausmalen. KI wird möglicherweise den Film und die Filmarbeit revolutionieren und perfektionieren. Ob KI-Filme sich wirtschaftlich durchsetzen, das steht in den Sternen. Sicher ist, alle stehen in den Startlöchern und nur die mutigen Visionäre kommen weiter, so war es immer. Ein sehr spannendes neues Zeitalter, nicht nur der Filmgeschichte, bricht an.

Marcel, vielen Dank für das Gespräch!