上の動画は晴れた空がそのまま嵐に変わる場面。地面にいる人や建物、カメラの動きは元のまま、空だけが変わる。高画質化とは別の作業だが、動きのある映像をフレームごとにブレなく扱う考え方は同じエディターの中でそのまま使える。
動画 高画質化 aiを探している人が実際に欲しいのは、だいたいこの3つのどれか。古くてぼやけた映像、低解像度で受け取ったファイル、小さく撮って拡大すると崩れる映像を、もう一度シャープに見せること。写真の高画質化とは別の問題で、同じやり方をそのまま動画に使うと、ブレたり滲んだりすることが多い。
写真用の高画質化が動画で崩れる理由
写真は1枚だけシャープにすればそれで終わり。動画はもう一つ条件が加わる。
- フレームごとに同じディテールが出る必要がある。 1フレームだけシャープで次のフレームが違うと、再生した瞬間に気になる。
- 動きに合わせて追えている必要がある。 カメラや被写体が動いているのに、生成されるディテールがフレームごとに変わると画面が揺れて見える。
- 色とノイズが元の映像と合っている必要がある。 アップスケーリングのモデルが色味を少しでも変えると、シャープになった分だけ元の質感が失われる。
写真用の高画質化を動画に1フレームずつかけると、この3つが同時に崩れやすい。
実際に効く手順
1. 元の解像度と劣化の程度を確認する
アップスケーリングは、なかった情報を推定して埋める作業。元の映像が崩れすぎている、またはノイズが強い場合は、先にノイズを減らしてからアップスケーリングした方が結果がきれいになる。
2. カット全体に同じ設定を通す
区間ごとに別の設定でアップスケーリングすると、同じカットの中でディテールの出方が変わる。1つのショットは最初から最後まで同じ設定で処理すると、通して見ても違和感が出ない。
3. 動きのある区間を先に確認する
静止している部分はほとんどきれいに仕上がる。問題はカメラが動く区間や、被写体が速く動く区間。この部分を100%サイズで再生して、ブレや滲みが出ていないか先に見る。
4. 必要な解像度のまま書き出す
アップスケーリングした結果を元より低い解像度で書き出すと、作ったディテールが圧縮されて消える。目的の解像度に合わせて一度で書き出すのが安全。
エージェントに任せる
Shotyのチャットでこう頼むと、エージェントが処理を進める。
3番目のショットを4Kにアップスケーリングして。カット全体に同じ設定をかけて、カメラが動く区間を中心に結果を見せて。
実行モードを確認待ちに設定しておけば、エージェントはアップスケーリングを実行した後、承認するまで元のクリップを置き換えない。
まだ人の目で確認すべきところ
- ディテールが過剰に生成された区間。 モデルが元になかった質感を作りすぎることがある。その区間だけ個別に確認する。
- 元の劣化が激しすぎる場合。 情報がほとんど残っていない映像は、アップスケーリングでも完全には戻らない。期待値は下げておいた方がいい。
Shoty無料エディターをダウンロードすれば、TensorPixの4Kアップスケーリングをそのまま試せる。動画から物体を消す作業が気になる場合は動画 消しゴム AIガイドも参考に。