2026年10月6日
AIによるフレーム補間:うまくいくこと、破綻する場面、使うべきツール
補間は、動画の2つのフレームの間に存在しないフレームを作り出し、24fpsを30fpsや60fpsにする技術です。速いダンスとカット編集でのテスト、TopazとRIFEの比較、見抜くべき欠点、そして無料から業務用までのツールを紹介します。
Frank HoubreImaginode創業者
補間モデルが行っていること
補間モデルは連続する2枚のフレームを受け取り、各領域が一方から他方へどう移動したかを推定し、1枚または複数枚の中間フレームを描きます。シーンの内容も、2つの瞬間の間に実際に何が起きたかも、モデルは知りません。
24fpsの動画の2フレーム間には、24分の1秒が経過しています。補間とは、目標のフレームレートに応じて、その区間の半分、あるいは3分の1や3分の2の時点でシーンがどう見えたかを推測することです。そのためにモデルはオプティカルフローを計算します。最初のフレームの各小領域について、2枚目でどの方向にどれだけ移動したかを求めるのです。
そこから、各領域が途中まで移動したフレームを組み立て、できた隙間を埋めます。腕が壁の前を通過すると壁の一部が露出するので、それを描く必要があるのです。ここでモデルの性能に差が出ます。ffmpegのminterpolateフィルターのような古いアルゴリズムは正方形のブロック単位で処理するため、縁がちぎれたようになります。このタスク向けに訓練されたニューラルネットワーク、RIFE、FILM、Topaz独自のモデルは、画像全体を踏まえて考えるため、露出した領域をより良く再構築します。
モデルにできないのは、どちらのフレームにも現れていない出来事を推測することです。あまりに速いまばたき、火花、2フレームの間でバウンドするボール。モデルには前と後ろしか見えず、その間に直線を引くだけです。日常的な用途、ショットを24fpsから30fpsや60fpsにする程度であれば、これは問題になりません。変換の全手順は動画を24fpsから30fpsに変換するにまとめています。
難関のテスト:速いダンス
24fpsで生成したダンス映像、速い腕の動きとモーションブラーを対象にしたテストで、TopazとRIFEはいずれもきれいな中間フレームを生成しました。肢体が二重になることも、手が歪むこともなく、ソース側のブラーが他の欠陥を覆い隠していました。
手が破綻することを予想していました。デモ用カタログから、720×1280、5秒、24fpsのダンス動画を用意し、2026年10月6日に2種類のエンジンで処理しました。TopazはEnhanceノードの裏側にあるエンジンで、30fpsと60fpsへ変換。RIFEは最も広く使われているオープンモデルで、フレームレートを2倍の48fpsにします。その後、計算によって画面変化が最も大きい連続する2フレームを見つけ、各エンジンがその間に何を配置したかを確認しました。
結果は予想より良いものでした。以下の切り出し画像では、手が腰から前方へ動きます。RIFEのフレームとTopazのフレームは、いずれも手を中間位置に置き、ブラーも一貫していて、指が6本になったり腕が幽霊のように二重になったりすることはありません。理由の一部はソース側にあります。動画生成モデルは実際のカメラのように速い動作にモーションブラーを生成するため、そのブラーが補間の誤りを見えなくしているのです。
別の違いも見られました。fal上のRIFEは音声なしの動画を返しますが、Topazはソースの音声トラックをそのままコピーします。無音のショットなら問題になりませんが、音楽付きの広告であれば、編集時に音声を貼り直す必要があります。Topazはさらに、要求どおりのフレームレートを正確に出力しました。一方RIFEは倍数にしかできません:24は48、72、96にはなっても、25や30にはなりません。
本当に破綻する場面:カット編集の切り替わり
ハードカットでは、補間は存在しないフレームを作り出します。Topazは2つのショットをディゾルブのように重ね合わせ、シーン検出なしのRIFEはピクセルの寄せ集めを生成し、シーン検出ありのRIFEだけがカットを無傷のまま残しました。
典型的なケースは編集です。村を空から撮った2秒間の映像と、香水のボトルの2秒間の映像をハードカットでつなぎ、そのファイルを同じエンジンにかけました。村の最後のフレームと香水の最初のフレームの間で、補間モデルは存在しない動きを探し出し、それでもフレームを作らなければなりません。
Topazは、ボトルが村の映像に透けて見えるフレームを返しました。1フレームだけの、60分の1秒間だけ続くディゾルブのようなものです。RIFEは特別なオプションなしだと、はるかに悪いフレームを返しました。ボトルが正方形に切り分けられ、ピクセルの背景の上に浮いているような画像です。シーン変化検出を有効にすると、RIFEはカットを認識し、フレームを作らずにきれいなまま残しました。
通常の再生速度では、60分の1秒だけの幽霊フレームはほとんど気づかれません。しかし2秒ごとにカットが入るような速い編集では、原因のわかりにくい「汚れ」のような印象を与え、フレーム単位で見るとすぐに目につきます。原則は単純です。それぞれのショットを編集前に個別に補間すること。完成した動画全体を補間してはいけません。
見抜くべきその他の欠点
カット以外にも、補間は互いに交差する物体、繰り返しパターン、スクロールするテキスト、1フレームあたりの移動量が物体自体の幅より大きい動き、そして一瞬で現れる要素でも誤りを起こします。
交差する物体、すれ違う2人の人物、顔の前を通る手の場合、モデルはどの領域がどの物体に属するかを判断しなければならず、両者の境界が波打つことがあります。繰り返しパターン、格子、ストライプ、動くフェンスなどは、対応関係をモデルに誤らせます。あるバーが隣のバーと混同され、パターン全体が逆方向にずれて見えるのです。
スクロールするテキストやインターフェースも、別の落とし穴です。生成されたフレームでは文字がわずかに歪み、読もうとした瞬間にそれが目立ちます。非常に速い動き、1フレームの間に物体自体の幅以上に移動する場合は、信頼できる対応関係が存在しません。モデルは物体を二重にしたり、フェードのようにぼかしたりしてしまいます。最後に、フレーム間で突然現れるもの、雷、フラッシュ、火花などは、はっきり現れるべきなのに、ぼやけたディゾルブのように滲んでしまいます。
AI動画では、これらのケースの多くはそれほど頻繁には起こりません。モデルが生成する読めるスクロールテキストは少なく、動きも概して滑らかです。パン、ドローン撮影、顔、回転する製品、歩く人物などは、いずれも非常にうまく処理されます。そしてこうしたショットこそ、フレームレートが低すぎると最も目立つ場面でもあります。
ツール紹介:無料から業務用まで
ツールは3つの系統に分かれます。インストール型のソフトウェア(Topaz Video、DaVinci Resolve、Premiere Pro、Flowframes)、オンラインサービス(Topaz for Web、CapCut、TensorPix、HitPaw)、API(Runway、fal)です。2026年10月6日時点で確認した価格は、無料から年間299ドルまで幅があります。
Topaz Video(旧Video AI)は有料部門の基準となる存在です。5種類の補間モデルを用意しています。非線形の動きややや不鮮明なソース向けのApollo、Apollo Fast、フレームレート変換とスローモーション向けのChronos、大きな動きに適したChronos Fast、高精度向けのAionです。価格は年間299ドル、月払いなら59ドル。年間売上100万ドルを超える企業の商用利用は年間699ドルです。ウェブ版のTopaz for Webは30、60、90、120fpsを目指し、セール時は月額19ドルです。Adobeは2026年6月、Topaz Labsの買収契約に合意しました。
無料側では、FlowframesがRIFE、DAIN、FLAVR向けのWindows用インターフェースとして存在します。オープンソースで、最新版はまずPatreonの支援者向けに公開されます。RIFEとFILM(後者はGoogleが発表)は2022年に発表された研究用モデルで、コマンドラインから利用できます。ffmpegもニューラルネットワークを使わないminterpolateフィルターを提供しています。DaVinci Resolveは無料版でもオプティカルフローによる補間が可能ですが、Speed Warpモードは295ドルのStudio版限定です。Premiere Proは月額22.99ドルで、時間補間にOptical Flowを提供しています。そしてSVPは一生分24.99ドルで、書き出しの必要なく再生中にリアルタイムで補間を行います。
オンラインでは、CapCutが30、50、60fpsでオプティカルフローを提供していますが、その滑らかなスローモーション機能はProプランに移行したという報告がユーザーから上がっています。TensorPixは最大120fpsをうたい、720pで3分間の無料トライアルがあります。HitPawは60または120への変換を提供し、月額24.99ドルからです。開発者向けには、RunwayのAPIが24、25、30、48、50、60、120fpsとその23.98、29.97、59.94のバリエーションに変換でき、1秒あたり0.005ドルです。Imaginodeでは、EnhanceノードがTopazを利用しており、720p、30fpsまでで5秒あたり6クレジット、音声は保持されます。
テレビの動き補正機能
テレビの動き補正機能は、24fpsの映画をリアルタイムで補間する技術です。映画が映像作品のような見た目になってしまうため、トム・クルーズは2018年12月にオフにするよう訴えるメッセージを公開し、現在ではFilmmaker Modeが標準でこの機能を無効にしています。
最近のテレビの多くは、60または120ヘルツのパネルを埋めるため、表示するあらゆる映像をデフォルトで補間します。スポーツ中継であれば、これは改善点です。しかし映画の場合、「ソープオペラ効果」と呼ばれる現象が起きます。動きが滑らかになりすぎて、まるでテレビドラマのようなビデオ撮影の映像に見えてしまい、映画らしさを示す24fps特有のわずかな揺れが失われるのです。2018年12月4日、トム・クルーズとクリストファー・マッカリーは短い動画を公開し、この設定によって多くの映画が高速度撮影のビデオのように見えてしまうことと、その解除方法を説明しました。
UHD Allianceはこれを受けて、2019年8月に発表され、2020年1月のCESで展開されたFilmmaker Modeで対応しました。これは動き補正、ノイズ低減、シャープネス強調を無効にし、元のフレームレートを尊重するものです。配信側では、Netflixが撮影・編集時のネイティブフレームレートでのファイル納品を求めており、アーティファクトを残す不適切なフレームレート変換は拒否されると警告しています。
制作者にとっての教訓は二つあります。映画らしい質感を保つべきフィクションのショットを、反射的に補間しないこと。そして、その動画がどこで視聴されるかに応じてフレームレートを選ぶことです。24、25、30、60fpsの選び方をプラットフォームごとに詳しく解説した記事が24、25、30、60fps:どのフレームレートを選ぶべきかです。
まとめ
AIによる補間は、連続した動き、パン、ドローン撮影、人物の動きには、たとえ速い動きであってもソースにモーションブラーがあれば信頼できます。一方で、カット編集、テキスト、繰り返しパターン、瞬間的な出来事では誤りを起こします。
編集前に各ショットを個別に補間してください。すでにカットされた動画全体を補間してはいけません。最終ファイルしか手元にない場合は、シーン変化を検出できるツールを使い、すべてのカットをフレーム単位で確認してください。
25、30、50、60といった正確なフレームレートが必要な場合は、Topazのように目標フレームレートを指定できるエンジンを選んでください。RIFEは2倍、3倍、4倍にしかできません。音声付きのショットの場合は、音声をそのままコピーするエンジンを選ぶか、後で貼り直す計画を立ててください。
Imaginodeでは、EnhanceノードがTopazを使ってフレームレートを×1で変更し、音声を保持したまま、720p、30fpsまでで5秒あたり6クレジットで処理します。すぐに使えるワークフローは「動画のフレームレートを変更する」テンプレートにあります。