Googleの動画生成AIツール「Google Vids」で動画を作成していた際、少し困った（そしてちょっとクスッとする）問題に遭遇しました。
今回は、その時のトラブルと試行錯誤の様子を共有します。
1. 作成しようとしたプロンプト
用意したのは、定年後の夫婦の日常を描く次のようなプロンプトです。
【登場人物】
夫（70歳前後）：のんびり屋、無自覚マイペース
妻（68歳）：しっかり者、普段から夫の世話を焼きがち
【構成・シーン展開】
シーン1：平穏なリビング（00〜10秒）
・映像：明るいリビング。ソファで新聞かスマホを見ている夫。キッチンで洗い物をしながら夕飯の後片付けをしている妻。
・音声（SE）：キッチンの水音。ピピピッとお風呂のメロディ。
・給湯器音声：「お風呂が沸きました。」
・妻（心の声）：「あ、沸いたわね。」
日常系動画として、給湯器の「お風呂が沸きました」という機械音声を合図に展開を作ろうとしました。
2. 発生した問題：妻が叫ぶ「お風呂が沸きました！」
いざ生成してみると、給湯器の音声が入るべきところで、なぜか妻の声で「お風呂が沸きました！」と喋ってしまうのです。
プロンプトに「※給湯器の発声であり、妻の声ではない」とわざわざ指定してみたものの、AIはどうしても妻の発声として処理してしまいます。
そこで、「日本語プロンプトの解釈がうまくいっていないのでは？」と考え、プロンプトを英語にしつつ、発声言語だけを日本語に指定してみました。
……しかし、結果は変わらず。やはり妻の声で元気に読み上げられてしまいます。
3. 英語プロンプトだけで再挑戦
やむを得ず、日本語の発声指定もあきらめ、すべて英語のプロンプトで指示を出してみました。念のため「妻は一切喋らない」という強い否定指示も追加しています。
【English Prompt】
Husband (around 70 years old): Leisurely person, at his own pace without realizing it
Wife (68 years old): Steady person, tends to take care of her husband on a regular basis.
Composition/scene development
Scene 1: Peaceful living room (00-15 seconds)
Image: Bright living room. My husband is sitting on the sofa reading a newspaper or reading his smartphone. My wife is washing dishes in the kitchen and cleaning up after dinner.
Audio (SE): The sound of water in the kitchen.
Water heater sound a beeping bath melody.
Water heater voice: “The bath is boiling.”
Wife does not speak at all.
すると、ようやく意図が通じ、給湯器からのピピピッというビープ音とともに、無機質な音声で “The bath is boiling.” と流れてくれました。
（「お風呂が煮えたぎっている」ような直訳気味の英語音声ですが、ひとまず妻の声になる問題はクリアです。）
まとめ
現状のGoogle Vidsでは、日本語のプロンプトにおいて「人物以外の機械音声・ナレーション」と「登場人物のセリフ」を細かく区別させるのがやや難しい印象を受けました。
現時点のワークアラウンドとしては、
すべて英語プロンプト＋否定指示（Wife does not speak...等）で生成する
AIには無音・BGMのみ生成させ、給湯器音声や効果音は後から手動でタイムラインに追加する
といった対応が確実かもしれません。
日本語でもプロンプト通りの自然な掛け合いや効果音が作れるようになるまで、今後のアップデートに期待したいところです。
0 件のコメント:
コメントを投稿