新しい台本でトーキング動画を書き換える

話している動画の言葉を撮り直しなしで変えるには、 Text to Video Lip Syncを開き、元動画をアップロードして新しい台本を入力し、声を選びます。ツールはテキストから音声を作り、撮影済みの人物の口の動きに同期させます。ここでは用途と準備のポイントを実例で説明します。

テキストで動画のセリフを変更する理由

商品紹介を撮った後で価格、日付、機能名、案内文が変わることがあります。数語の訂正のためにカメラや照明を再設営する代わりに、修正した台本を用意して既存の映像を再利用できます。

長い動画の一部だけを直すなら、その区間を書き出して生成し、編集後のタイムラインに戻します。ツールが完成動画から一文だけを自動検出して置き換えるわけではありません。古い価格を指す手の動きも自動では変わりません。

講師やクリエイター、広報担当者は講座、対象者、週ごとのお知らせに合わせて別々の導入を作ることがあります。自然で汎用的な身振りの映像なら、毎回撮影せずに複数の台本に使えます。実際に撮られた人物の存在感も残せます。

台本は確定したが完成した録音がない場合はテキスト入力を選びます。プリセット音声か、許可を得てクローンした声を使えます。完成済みの音声の話し方を生かしたい場合は音声アップロードのチュートリアルをご覧ください。

確認済みの翻訳文と、その言語に合う声を使うこともできます。名前や数字、意味、語調は事前に点検してください。リップシンク自体が元の発話を翻訳するわけではありません。詳しくは AI動画吹き替えガイド。

元動画は人物の動き、表情、構図を提供します。差し替える台本を話している必要はありません。この例では5.06秒の映像を再利用し、テキストと声から約10秒の結果を作っています。音声アップロードの記事でも同じ映像を使い、入力方法の違いを比べられます。

編集権限のある映像を選んでください。長尺であること、常に正面を向いて口元がはっきり見えることは必須ではありません。さまざまな台詞に合う自然な動きと表情のほうが重要です。この動画ワークフローは、従来のリップシンクでは難しい短い顔の向きの変化がある素材にも対応できます。

普段の姿勢の変化は使い回しやすい一方、特定の商品を指す動作や指で数を示す動作は別の文脈では不自然になり得ます。動画入力では撮影済みの体の動きと表情を残し、発話の同期を変更します。動き全体を作り直すことはしません。画像から動きと表情を生成するMax画像モデルは別の方法で、より時間がかかります。

生成前に名前、数値、日付、発音を確認します。テキストモードではプリセット音声を選ぶか、使用許可のある短い録音をアップロード・録音して声をクローンできます。参照音声は声質を指定するもので、完成したセリフそのものではありません。この例は約16秒の英語の参照音声を使用します。

声の参照音声

たとえば「講座は金曜日の午前10時開始に変更になりました」と入力できます。これは書き方の例であり、下の古いデモ動画の文字起こしではありません。

Text to Video Lip Syncで元動画をアップロードし、声を選んで新しい台本を貼り付けます。生成後は発話内容を確認し、元の身振りと表情が新しい意味に合うか最後まで見てください。

以下はテキストと参照音声を使った短い既存の例です。長尺の結果や操作全体の録画ではありません。

元動画と結果の長さは同じでなくても構いません。長い台本では、再利用・反復された身振りが目立たないか確認してください。長さの違いを実測した例は 5秒の元動画から39秒の結果を作った記事で見られます。