カエルが画面中央に座っている。2秒後に消え、その場所の苔と水はカメラに合わせて動き続ける。ブレもなく、輪郭の滲みもない。上の動画の左側が元の映像。動画 消しゴム AIを探している人が求めている結果はだいたいこれだ。
写真の消しゴムと動画の消しゴムは別の問題
写真から物体を消すのはほぼ解決済みの課題。1枚だけ自然に埋めればいいから。動画はもう一つ条件が加わる。埋めた部分が全フレームで同じ位置にあり、時間が経っても一貫していて、物体が隠していた影や反射まで合っている必要がある。どれか一つでもずれると、1フレームだけ見たときは問題なく見えても、再生した瞬間に気になる。
スマホのアルバム消しゴム、CapCutと何が違うか
iPhoneやGalaxyのアルバムにある消しゴム機能、CapCutの消しゴムは、写真1枚か動画の特定フレームを基準に動くツール。写真に写り込んだ通行人を消す程度ならよく合う。動画で同じ結果を期待すると話が変わる。物体が動く動画では、その物体を全区間で追跡し、隠れていた背景を時間を通して作り直す必要があるが、写真基準のツールはそこまでやらない。
CapCutのようにアプリやバージョンごとに消しゴム機能の範囲が違うことも多い。短くて背景が単純な動画ならスマホの中で消すだけで十分な場合もある。問題はカメラが動いたり、撮影区間が長くなったりするとき。そこから1フレームずつ消す方式の限界がすぐに出る。
実際に効く手順
1. 1フレームではなく区間全体を追跡する
マスクは一度だけ描き、トラッキングで物体を追わせる。そのあと全体を見返して、物体が向きを変える、何かに隠れる、画面外に出る区間だけ手で直す。
2. 影と反射も一緒に消す
物体は消えたのに地面の影だけ残っていると、それが一番目につく。マスクを影やガラス、水面の反射まで覆うように広げておく。
3. 消してから背景を復元する
トラッキングした区間全体を基準に消去を実行する。背景が区間全体で作り直されるため、カメラに合わせて自然に動き、1フレームずつ埋めた結果のようにシールのように浮かない。
4. 100%サイズで輪郭を確認する
結果を元のサイズで再生しながら、マスクの輪郭付近を見る。ハロ（光の輪）や滲んだ境界はここで先に出る。数フレームだけずれていたら、その区間だけマスクを直して再実行する。
エージェントに任せる
Shotyでは上の手順を自分で進めることもできるし、チャットでエージェントに頼むこともできる。
このカットからカエルを消して。全区間で追跡して、影も一緒に消して。水と苔は自然に動かし続けて、元の映像を置き換える前に結果を見せて。
実行モードを確認待ちに設定しておけば、エージェントは消去を実行したあと、承認するまで元のクリップを置き換えない。結果が十分きれいかどうかは自分で確認して決める。
よく消される物体
- 撮影機材やブームマイクが画面に入り込んだ場合
- 権利処理が済んでいないロゴや看板
- 通行人がたまたま映った街撮り映像
- ワイヤーやリグなどの撮影器具
- 時代設定に合わない現代の物体
やり方は同じ。変わるのは消す穴の大きさ。画面で消す範囲が広いほど背景をより多く作り直す必要があるので、そうしたカットはより念入りに確認したほうがいい。
結果を他の編集ソフトに持っていく
消去作業までShotyで終えたら、カラーグレーディングやミックスはいつも使っているソフトで仕上げられる。EDL、FCPXML、OpenTimelineIOで書き出せば、Premiere Pro、DaVinci Resolve、Final Cut Proのどこへでもタイムラインをそのまま持っていける。消去作業自体をやり直す必要はなく、その結果だけ持っていけばいい。
Shoty無料エディターをダウンロードして試してみてほしい。エージェントでの編集が気になる場合はClaude video editingも参考に。より詳しい英語版はremove object from video with AIにある。