Jims Musikvideo zu „Alte Schule“ ist fertig. Freigegeben, abgehakt, fertig zum Hochladen. Aber „fertig“ fühlt sich nach sechs Versionen anders an als beim ersten Rohschnitt.
Ich beschäftige mich seit einigen Jahren ernsthaft mit KI-Tools, aber Videoproduktion mit KI ist nochmal eine andere Liga als Songtexte oder Bilder. Was mich dabei zunehmend nervt und was tatsächlich gut funktioniert hat, will ich hier ehrlich aufschreiben – nicht das polierte „So einfach geht’s“-Narrativ, sondern was wirklich passiert ist.
Kurz zusammengefasst: Aiqoras KI-Video-Tool hat aus Jims Song „Alte Schule“ automatisch ein komplettes Musikvideo generiert – mit Lipsync-Fehlern an Instrumentalstellen, Geisterbild-Effekten bei Kreuzblenden und Bewegungsfehlern, die erst bei genauer Frame-für-Frame-Prüfung auffielen. Nach sechs Korrekturrunden mit lokalen Nachbesserungen (Referenzbild → KI-Keyframe → KI-Videoclip) ist das Video jetzt fertig und freigegeben.
Der Ausgangspunkt
Jim ist einer unserer KI-Artists bei KAIonAI – Polier auf dem Bau, Hobbymusiker, Best-Ager-Charakter. „Alte Schule“ ist sein erster Song. Für das Musikvideo habe ich den Aiqora Cinema Agent genutzt, der aus Songdatei und Charakterreferenz automatisch ein komplettes Musikvideo baut – Szenenaufteilung, Lipsync, alles.
Das Ergebnis nach dem ersten Durchlauf: 40 von 44 Szenen brauchbar. Klingt gut. War es aber nicht ganz.
Das Problem mit Lipsync, das ich nicht kommen sah
Aiqora synct Jims Mund automatisch zum Gesang. Praktisch – bis der Algorithmus glaubt, an Stellen Lipsync zu brauchen, wo im Song gar nicht gesungen wird. Zwei Chorus-Szenen zeigten Jim, wie er stumm ins Bild redet, während tatsächlich eine instrumentale Wiederholung läuft. Wirkt sofort falsch, auch wenn man den Grund nicht sofort benennen kann.
Das Nervige dabei: Aiqoras API erlaubt es nicht, ein bestehendes Projekt zu öffnen und einzelne Segmente neu zu generieren. Nur eigenständige Einzel-Tools, kein Zugriff auf das laufende Projekt. Also musste ich lokal reparieren – Referenzbild von Jim, Keyframe über ein Bildmodell, daraus ein kurzer Videoclip, und den dann exakt an der richtigen Stelle ins bestehende Video einbauen.
Hat funktioniert. Hat aber auch gezeigt, wie viel Handarbeit hinter „KI macht das Video“ wirklich steckt, sobald man nicht mit der ersten Ausgabe zufrieden ist.
Die Sache mit den Geisterbildern
Der zweite Lerneffekt kam später, und der war subtiler. Ich hatte an den Schnittstellen zwischen den ausgetauschten Szenen kurze Kreuzblenden gesetzt – klingt nach der sauberen Lösung. War es nicht.
Bei kurzen Blenden zwischen sehr unterschiedlich belichteten Szenen (zum Beispiel ein dunkles Porträt direkt vor eine helle Gegenlicht-Szene) entsteht für einen Sekundenbruchteil ein Doppelbelichtungs-Effekt, der wie ein Bildfehler aussieht. Ist technisch keiner – aber es wirkt kaputt.
Am Ende habe ich systematisch alle 28 Szenenübergänge im ganzen Video durchgeprüft, nicht nur die gemeldeten Problemstellen. Fast jede Kreuzblende zeigte denselben Effekt. Die Lösung war simpel, aber unbequem einzusehen: bei einem schnellen 116-BPM-Rocksong sind kurze Kreuzblenden ohnehin unüblich. Harte Schnitte passen besser zum Tempo. Am Ende habe ich das komplette Video auf harte Schnitte umgestellt – kein Sonderfall mehr an ein paar Stellen, sondern ein einheitliches Prinzip.
Warum ein Frame pro Szene nicht reicht
Der dritte Punkt hat mich am meisten überrascht. Bei der Qualitätskontrolle hatte ich zunächst jeweils ein Einzelbild pro Szene geprüft. Reicht nicht.
An einer Stelle lag mein Stichprobenbild zufällig kurz nach dem eigentlichen Problem – die ersten anderthalb Sekunden der Szene zeigten Jim noch mit weit offenem Mund singend in die Menge, bevor die Szene zur eigentlich unproblematischen Einstellung wechselte. Erst als ich anfing, mehrere Frames pro Sekunde statt Einzelbilder zu prüfen – quasi einen Filmstreifen statt eine Momentaufnahme –, ist mir das aufgefallen.
Das ist die Art Fehler, die man nur findet, wenn man wirklich hinschaut, nicht nur stichprobenartig durchklickt.
Was am Ende geblieben ist
Sechs Versionen später: Jim trägt durchgehend die richtige Kleidung, niemand singt stumm ins Bild, alle Übergänge sind sauber, die Gesamtlänge stimmt exakt mit dem Song überein. Das Video ist jetzt freigegeben und geht bald auf YouTube.
Was ich mitnehme: KI-Videogenerierung liefert heute erstaunlich gute erste Entwürfe. Aber „erster Entwurf“ ist der richtige Erwartungswert, nicht „fertiges Produkt“. Wer bei der ersten Ausgabe stehenbleibt, übersieht Lipsync-Fehler, Geisterbilder und Bewegungsartefakte, die im fertigen Video sofort als „irgendwas stimmt hier nicht“ auffallen, auch wenn niemand genau sagen kann, was.
Häufige Fragen zu KI-Musikvideos
Warum entstehen bei KI-generierten Musikvideos Lipsync-Fehler?
Weil Tools wie Aiqora automatisch Mundbewegungen zu jedem Song-Abschnitt syncen – auch dort, wo im Song eigentlich niemand singt, sondern nur ein Instrumentalpart läuft. Ohne wortgenaues Timing kann die KI diese Passagen nicht zuverlässig erkennen.
Warum wirken Kreuzblenden in KI-Musikvideos manchmal wie Bildfehler?
Weil kurze Kreuzblenden zwischen stark unterschiedlich belichteten Szenen für einen Sekundenbruchteil einen Doppelbelichtungs-Effekt erzeugen. Bei schnellen Songs mit vielen Szenenwechseln wirkt das wie ein Geisterbild, obwohl technisch nichts falsch berechnet wurde – harte Schnitte sind hier oft die bessere Wahl.
Wie viele Korrekturrunden braucht ein KI-Musikvideo realistisch?
Bei „Alte Schule“ waren es sechs komplette Versionen, bis Lipsync-Fehler, Bildartefakte und Übergänge sauber waren. Der erste automatisch generierte Entwurf sollte als Ausgangspunkt verstanden werden, nicht als fertiges Ergebnis.
Kurze Ankündigung zwischendurch
Christina, nach Bay, Frieda und Jim unsere vierte KI-Artist-Stimme bei KAIonAI, bekommt am Freitag, 21. August, um 8 Uhr gleich zwei neue Songs: „Hamburg, fünfzig und frei“ und „Second Wind“.
Mehr dazu, sobald die Songs draußen sind.
Schreibe einen Kommentar