ソファに座った人物はそのまま、動きも同じ。変わったのは背後だけで、何もない壁が消えて夕方の屋上に変わっている。カメラの動きは変わらず、人物も描き直されていない。上の動画がその例で、動画 背景 変更 AIが本来目指すべき結果はこれに近い。
動画 背景 変更 AIで検索すると、写真向けの背景変更アプリをそのまま動画に使って、人物が頭を動かした瞬間に輪郭がちらつく結果になることが多い。もしくはグリーンバックで撮らないと無理だと思われがちだが、どちらも今は違う。ただ、安定した結果を出すには1クリックでは終わらない作業がいくつかある。
写真の背景変更では足りない理由
写真の背景変更は1枚だけ自然な輪郭を切ればいい。動画では人物が動いても輪郭が崩れないことが条件になる。
- マスクは切るだけでなく追跡する必要がある。 1フレームだけの切り出しでは頭を動かした瞬間や手を上げた瞬間に追いつかない。
- 新しい背景もカメラの動きに合わせて動く必要がある。 カメラがパンしても背景が止まっていると、その場所にあるものではなくシールを貼ったように見える。
- 髪の毛やモーションブラー、何かが前を横切る瞬間は、1回だけの切り出しで一番崩れやすい部分。
グリーンバックは撮影時に色でマスクを作る方法。トラッキングマスクは撮影後の映像からマスクを作る方法で、普段撮っている映像にそのまま使える。
実際に効く手順
1. 残す人物や物体をマスクする
一番はっきり映っているフレームでマスクを描く。背景を追うより、残る人物の輪郭を追うほうが安定する。
2. 全区間をトラッキングする
マスクを人物の動きに合わせて追わせ、100%サイズで見返す。頭を動かす瞬間、手が前を横切る瞬間、画面の外に一部出る瞬間を重点的に確認する。
3. 新しい背景をカメラの動きに合わせて生成する
カメラが寄ったりパンしたりしているなら、新しい背景も同じ動きをする必要がある。止まった1枚の背景を後ろに置くだけでは不自然になる。
4. 光の向きを合わせる
室内の光で撮った人物の後ろに夕方の屋上を置くと、光の向きが合わずに不自然に見える。新しい背景と人物の光の向き、色味が合っているか確認してから完成とする。
5. 境界は100%サイズで確認する
髪の毛や速い動きのまわりのハロや滲みは縮小表示では見えない。数フレームだけ崩れていたら、その区間だけマスクを直してやり直す。
エージェントに任せる
Shotyでは上の手順を自分で進めることもできるし、チャットでエージェントに頼むこともできる。
ソファに座っている人物の後ろの背景を夕方の屋上に変えて。全区間で人物を追跡して、カメラのパンに合わせて背景も動かして、人物と動きはそのままにして。元の映像を置き換える前に結果を見せて。
実行モードを確認待ちに設定しておけば、エージェントはマスクとトラッキング、新しい背景の生成まで進めたあと、承認するまで元のクリップを置き換えない。
自分で確認したほうがいい部分
- 髪の毛や速い動きの境界はトラッキングが進んでも最後は自分の目で確認したほうがいい。
- 光の向きが合っているかどうかは判断が必要な部分。ツールは近づけてくれるが、十分かどうかは自分で決める。
- 背景を大きく変える場合（時間帯を大きく変える、人物の後ろに人の多い場所を置くなど）は作り直す範囲が広くなるので、普通の壁の入れ替えより念入りに確認する。
Shoty無料エディターをダウンロードして試してみてほしい。物体を先に切り出す必要がある場合はAI rotoscopingも参考に。より詳しい英語版はAI background replacement videoにある。