既存の動画を別の言語に吹き替えるには、まず翻訳を作成・確認し、完成した吹き替え音声、または翻訳文と適切な声を AI Video Dubbing に渡します。FreeLipSync は新しい音声に合わせて映像の口の動きを同期します。元の発話を自動翻訳する工程ではありません。
ここでは英語の人物動画をスペイン語に吹き替えた実例を使います。翻訳は事前に用意し、完成したスペイン語音声を Audio モードに入力しました。Text モードの使い分けも後述します。
AI 動画吹き替えが役立つ場面
撮影済みの説明を別の言語の視聴者へ
授業の導入、製品説明、サポート動画、地域向けのお知らせは、映像を撮り直さずに別言語版が必要になることがあります。吹き替えなら撮影した人物、背景、身振り、表情を使いながら、確認済みの言葉に替えられます。翻訳では意味、固有名詞、数字、専門用語、語調をその言語の話者に確認してもらいましょう。画面の物を指す動作がある場合、新しい台詞とその瞬間が合うかも確認します。
一度の撮影から複数の言語版を作る
利用許可のある人物動画は、言語ごとに確認済みの台本と声を用意して再利用できます。カメラ、照明、出演者の撮影を毎回やり直す必要が減ります。ただし結果には実際に撮影された動作と表情が残り、全身の演技を作り直すわけではありません。自然で汎用的な身振りの映像が複数の台詞に向いています。本記事の実例は英語からスペイン語への一例で、自動一括翻訳ではありません。
発音や間を先に決めておく
完成音声を使えば、翻訳者やナレーターが発音、間、強調を確定してから口パクを生成できます。最終録音がなければ、Text モードで確認済みの翻訳文を入力し、その言語のプリセット音声か許可を得たクローン音声を選べます。同じ言語の台詞変更には 文字で動画を書き換える方法、翻訳の説明が不要で音声がすでにある場合は 音声をアップロードする方法をご覧ください。
英語の元動画からスペイン語の完成映像へ
元映像は実演用に作成した架空のプレゼンターで、長さは約 7.96 秒です。英語では次のように話しています。
Hello and welcome. In this short update, I will explain how our new workflow helps global teams share clear product messages.
口の同期を生成する前に、次のスペイン語訳を用意・確認しました。
Hola y bienvenidos. En esta breve actualización, explicaré cómo nuestro nuevo flujo de trabajo ayuda a los equipos globales a compartir mensajes de producto claros.
既存のスペイン語プリセット音声で、約 8.98 秒の完成音声にしました。英語動画から抜き出した音声ではなく、ツールへ入力した吹き替え音声です。
実例で使ったスペイン語の完成音声
以下は約 9 秒の未修正の結果です。スペイン語の文と発話を比べ、人物の動きと表情は元映像と比べてください。
スペイン語音声は英語の元映像より約 1 秒長く、結果は新しい音声の長さに沿っています。時間を揃えるためだけに訳文を短くする必要はありません。 撮影済みの演技から適した部分を合わせられます。ただし、身振りや表情が新しい意味に合うかは確認してください。
完成音声で吹き替える手順
- 編集できる映像を選ぶ。 映像と人物の利用許可を確認します。動きや表情が訳文に合うことが大切で、長尺や常に正面を向いた口元のアップは必須ではありません。
- 翻訳して確認する。 意味、名前、数字、用語、語調に加え、映像内の動作や表示文字との整合を確認します。
- 完成音声を用意する。 許可を得た話者を録音するか、その言語のプリセット音声・許可されたクローン音声で読み上げます。アップロード前に全体を聴きます。
- 入力して生成する。 AI Video Dubbing で元動画をアップロードし、Audio を選んで完成音声を追加します。この実例も同じ手順です。
- 公開前に確認する。 言葉と発音、元映像の身振り、画面の文字、音楽、公開権限を確認します。
長い作品の一部だけを変えるなら、その部分を切り出して生成後に編集へ戻します。ツールがタイムライン内の一文を自動で探したり、画面の文字や字幕、音楽ミックスまで仕上げたりはしません。
翻訳文を入力する場合
翻訳は確定したものの最終録音がないなら Text を選び、訳文と適切なプリセット音声または許可済みのクローン音声を指定します。発音や間を確定した音声があるなら Audio を選びます。どちらも元映像の体の動きと表情を使います。短い元映像から長めの台詞を作ることもできますが、特定の場面に結びつく動作は結果を確認してください。長尺素材の入力制限は 料金ページで確認できます。
よくある質問
英語の発話は自動でスペイン語に訳されますか？
いいえ。この例のスペイン語訳は事前に作成・確認しました。ツールは新しい音声を映像に同期します。
例で使ったのは Text と Audio のどちらですか？
Audio です。スペイン語プリセット音声で完成した録音をアップロードしました。Text は確認済みの訳文から音声を作る方法です。
新しい音声は元動画と同じ長さが必要ですか？
不要です。元動画は約 8 秒、スペイン語音声と結果は約 9 秒です。身振りや表情が自然か確認しましょう。
ナレーターが録音した声を使えますか？
はい。Audio モードで完成音声をアップロードします。声と映像中の人物の使用許可を得てください。
最終更新:
