FreeLipSync のホーム画面。録画済みの動画の口元を、翻訳音声に合わせ直せる場所。
うちは小さなそば打ち体験の教室をやっています。「打つ・切る・茹でる・食べる」を一通り体験してもらう、あれです。インバウンドが戻ってきて、最近は予約の半分くらいが海外のお客さん。ありがたいんですが、困るのが説明動画でした。日本語で撮った教室紹介の動画が一本あって、これが評判いい。でも英語・中国語・韓国語のお客さんには、字幕を貼っても口と声がズレていて、なんだか伝わりきらない。
かといって、同じ先生に何度も同じ内容を各言語で撮り直してもらうのは無理。そこで、録画済みの一本を、先生の顔はそのままに、翻訳した音声で口元だけ合わせ直すという方法にしました。やり方をまるっと共有します。
結論から
撮影済みの動画を、話者の顔はそのままに別言語へ差し替えたいなら、いちばん速いのは「翻訳音声+音声駆動の口元合わせ」です。私が使っているのは FreeLipSync の音声駆動リップシンク(Audio to Video Lip Sync)——ウォーターマークなし、登録不要、1本ずつ生成。まずは録画済み動画で試す。
なぜ「字幕」ではなく「口を合わせる」なのか
正直、最初は字幕で十分だと思っていました。でも海外のお客さんの反応を見ていると、口の動きと聞こえる言語がズレている動画は、どこか"よそ行き"に見えるんです。体験教室って「この先生、感じいいな」で予約が決まる商売。だから、先生の同じ顔・同じ雰囲気のまま、その人の言葉で語りかけるのがいちばん効きます。
コスト面も大きい。先生に何度もスタジオに入ってもらう必要がないし、内容を少し直したいときも、音声を差し替えて口元を合わせ直すだけ。撮り直しゼロで多言語版が揃います。
実際の手順
元になるのは、日本語で撮った教室紹介の一本(自分たちで撮影した素材だけを使います)。まず、その内容を各言語に翻訳して短い原稿にし、ナレーション音声を用意します。あとは元動画とその音声をツールに入れると、先生の口元が翻訳音声に合うように動いてくれる。これで「同じ先生が英語で話している」版ができあがります。
素材をアップロード、音声を入れる(または原稿を入力)、生成。ワンサイクルでこれだけ。
1本は 20 秒くらいに区切ると扱いやすい。Reels・Shorts・TikTok でもちょうどいい長さです。「何を体験できるか→所要時間→予約はこちら」くらいで十分伝わります。
自分に課しているルールがいくつか。使う映像は自分たちで撮った素材だけ。料金・開催日・そばアレルギー・安全面(刃物・熱湯)といった大事な情報は、動画で言い切らずに公式ページとスタッフの口頭案内に必ず戻す。各言語版はネイティブに一度読んでもらう。そして AI で作った旨を明記する。体験教室は安全とアレルギーが命なので、微妙なところは動画に載せず公式へ、を徹底しています。
無料プランで何ができるか
私も最初は FreeLipSync の無料プランから。これが本当に無料で——$0・ずっと・登録不要・ウォーターマークなし。押さえておく制限は、1本 20 秒まで、テキスト読み上げは1回 133 文字、生成は 1本ずつ。短い紹介クリップなら 20 秒でむしろちょうどいい。ウォーターマークが入らないのは想像以上に大事で、透かしが入っていると一気に"間に合わせ感"が出てしまいます。
同じ先生、言語だけ差し替え。英語・中国語・韓国語版をそれぞれ用意しています。
有料に切り替えるなら
毎週のように更新して、まとめて作りたくなったら Starter($9.90/月) を検討。月 20 本の Pro 動画、1本 3 分・800 文字まで、高画質ダウンロード+30 日ごとに音声 50 回ダウンロード、音声スロット3つ(先生の声を毎回そろえられる)、同時生成3本まで。上には Pro($69.90/月)——無制限、1本 60 分まで、16,000 文字、優先レンダリング——複数拠点を回す人向け。ちょっと試すだけなら Creator Pack が買い切り $4.99:Pro 動画5本(元解像度)、クリーン音声 20 ダウンロード、クレジットは無期限、商用利用可。年払いで 17% お得。
競合も正直に
| ツール | 無料枠 | ウォーターマーク | 登録 | 向いている用途 |
|---|---|---|---|---|
| FreeLipSync | 短尺は本数制限なし、20秒、133 文字 TTS | なし | 不要 | 撮り直さない多言語ローカライズ |
| HeyGen | 月3本、1分以下、720p | あり(無料) | 必要 | 作り込んだアバター司会 |
| D-ID / Runway | クレジット制限か透かし | だいたいあり | 必要 | 単発のお試し |
ひと通り試しました。HeyGen はアバターがきれいですが、無料は月3本・1分以内・720p・透かしあり・要登録。透かしを外すには月 $29 前後(年払い約 $24)の Creator。D-ID や Runway も良いものの、無料の書き出しは透かしかクレジット制限で、毎回の更新には向きません。「撮った動画を、同じ顔のまま別言語に、透かしなし・ログイン不要」に限れば、無料でここまでできるのは大きい。
FreeLipSync の料金。私はほぼ無料プラン、まとめ作業のとき一度だけ Creator Pack を購入。
こういう人に向いています
そば打ち・和菓子・陶芸みたいな体験教室で、インバウンド向けに紹介動画を多言語化したい人にぴったり。撮影済みの資産があって、それを撮り直さず活かしたい人にも。逆に、ゼロから何十人ものキャラクターを動かすような本格アニメ制作なら、リップシンクの範囲は超えます。でも「同じ先生の紹介を、複数言語で毎回出す」なら、これで十分。
おわりに
うちの先生は撮り直しゼロで、英語でも中国語でも同じ笑顔で「そば、打ってみましょう」と言えるようになりました。体験教室の多言語化は「同じ人・同じ空気のまま、その人の言葉で」が肝。自分の素材だけを使い、大事な情報は公式へ、翻訳はネイティブ確認、AI 明記——ここさえ守れば、安心して量産できます。
まずは無料で——FreeLipSync の音声駆動リップシンクで、録画済みの紹介動画を多言語にしてみる。
参照
- FreeLipSync 料金ページ — https://freelipsync.com/pricing
- FreeLipSync 音声駆動リップシンク — https://freelipsync.com/tools/audio-to-video-lip-sync
- アソビュー! そば打ち体験・そば打ち教室 — https://www.asoview.com/leisure/act0026/
- アクティビティジャパン — そば打ち体験 予約人気ランキング — https://activityjapan.com/feature/soba-making/
- アクティビティジャパン — 日本文化体験人気ランキング — https://activityjapan.com/feature/japanese_culture_experience/
