Dieses Text-to-Video-Lip-Sync-Beispiel beginnt mit einem natürlichen Sprechclip. Statt fertiges Audio zu liefern, klonen wir eine Stimme aus einer kurzen Referenz und ersetzen die Zeile per Text.
Ausgangsclip
Dies ist das im Tutorial verwendete Ausgangsvideo.
Anforderungen an das Ausgangsvideo
- Ein natürlicher Sprechclip funktioniert am besten und muss nicht den endgültigen Satz enthalten.
- Etwa 5 Sekunden bis einige Minuten sind geeignet.
- Das Gesicht sollte im Großteil der Aufnahme sichtbar bleiben.
- Kleine, glaubwürdige Bewegungen sind hilfreich.
- Übertriebene Gesten, plötzliche Drehungen und große Aktionen vermeiden.
Bei einer eigens aufgenommenen Vorlage reicht eine einfache, natürliche Darbietung. „Eins, zwei, drei“ zu sagen genügt; das endgültige Skript muss nicht vor der Kamera auswendig gesprochen werden.
Stimmreferenz
Diese kurze Referenz dient zum Klonen des Sprechstils:
Eingabe der Stimmreferenz
Ersatzskript
Dies ist das tatsächlich verwendete englische Demo-Skript; es bleibt unverändert, damit es zum Ergebnis passt:
That's it for today! Isn't this incredible? It's free, it's fast, it's u* — and you can even generate lip sync videos up to 60 minutes long.
Dieser Weg eignet sich, wenn:
- Eine Zeile ohne neue Audioaufnahme geändert werden soll.
- Ein Satz schnell lokalisiert oder korrigiert werden muss.
- Die neue Sprache eine ausgewählte Stimmidentität behalten soll.
Generiertes Ergebnis
Dieses Ergebnis kombiniert Ausgangsclip, Stimmreferenz und neues Skript:
Was dieses Tutorial zeigt
- Ein natürlicher Ausgangsclip kann für eine völlig neue Zeile wiederverwendet werden.
- Eine kurze Stimmreferenz reicht für die Stimmidentität.
- Ruhige, glaubwürdige Ausgangsbewegung verbessert die Umschreibung.
Workflow nachbauen
- Text to Video Lip Sync öffnen.
- Ein natürliches Sprechvideo mit klarem Gesicht hochladen.
- Eine kurze Stimmreferenz zum Klonen hochladen.
- Das neue Skript einfügen.
- Generieren und prüfen, ob die neue Zeile im ursprünglichen Bild glaubwürdig wirkt.
