6 Oktober 2026
Interpolasi frame dengan AI: apa yang berhasil, di mana gagal, dengan alat apa
Interpolasi menciptakan frame yang hilang di antara dua frame video, untuk mengubah 24 menjadi 30 atau 60 fps. Hasil uji coba kami pada tarian cepat dan pada sambungan antara dua shot, Topaz melawan RIFE, cacat yang perlu dikenali, dan alat-alatnya, dari gratis hingga profesional.
Frank HoubrePendiri Imaginode
Apa yang dilakukan model interpolasi
Model interpolasi menerima dua frame berurutan, memperkirakan pergerakan setiap area dari yang satu ke yang lain, lalu menggambar satu atau beberapa frame di antaranya; model ini tidak mengetahui adegan apa pun atau apa yang sebenarnya terjadi di antara kedua momen tersebut.
Di antara dua frame video 24 frame per detik, berlalu waktu satu per dua puluh empat detik. Interpolasi berarti menebak seperti apa adegan tersebut di tengah interval itu, atau di sepertiga, atau di dua pertiganya, tergantung kecepatan frame yang dituju. Untuk itu, model menghitung aliran optik: untuk setiap area kecil pada frame pertama, arah dan jarak pergerakannya pada frame kedua.
Dari situ model membangun sebuah frame di mana setiap area telah menempuh sebagian jalan, lalu mengisi celah yang ada: ketika sebuah lengan lewat di depan dinding, sebagian dinding terlihat, dan bagian itu harus digambar. Di sinilah model-model saling berbeda. Algoritma lama, seperti filter minterpolate dari ffmpeg, bekerja dengan blok persegi dan meninggalkan tepi yang kasar. Jaringan saraf yang dilatih untuk tugas ini, RIFE, FILM, dan milik Topaz sendiri, menalar seluruh gambar dan merekonstruksi area yang terbuka dengan lebih baik.
Yang tidak bisa dilakukan model adalah menebak peristiwa yang tidak muncul di salah satu dari kedua frame. Kedipan mata yang terlalu cepat, percikan api, bola yang memantul di antara dua frame: model hanya melihat sebelum dan sesudah, lalu menarik garis lurus di antara keduanya. Untuk penggunaan sehari-hari, mengubah sebuah shot dari 24 menjadi 30 atau 60 frame per detik, hal ini tidak menjadi masalah. Metode konversi lengkapnya ada di mengonversi video 24 fps menjadi 30 fps.
Uji coba sulit: tarian cepat
Pada tarian yang dihasilkan di 24 frame per detik, dengan gerakan lengan cepat dan motion blur, Topaz dan RIFE menghasilkan frame antara yang bersih: tidak ada anggota tubuh ganda, tidak ada tangan yang berubah bentuk, blur dari sumber video menyembunyikan sisanya.
Kami mengira tangan akan rusak. Kami mengambil video tarian dari katalog demo kami, 720 × 1280, 5 detik, 24 frame per detik, dan memprosesnya melalui dua mesin pada 6 Oktober 2026: Topaz, mesin di balik node Enhance, ke 30 dan 60 frame per detik, serta RIFE, model terbuka yang paling banyak digunakan, yang menggandakan kecepatan frame menjadi 48. Kemudian kami mencari, melalui perhitungan, dua frame berurutan di mana gambar berubah paling banyak, dan melihat apa yang ditempatkan oleh masing-masing mesin di antara keduanya.
Hasilnya lebih baik dari dugaan. Pada potongan gambar di bawah ini, tangan bergerak dari pinggul ke depan; frame dari RIFE dan frame dari Topaz menempatkannya di tengah jalan, dengan blur yang konsisten, tanpa jari keenam, tanpa lengan hantu. Sebagian alasannya terletak pada sumbernya: model video menghasilkan motion blur pada gerakan cepat, seperti kamera sungguhan, dan blur itu membuat kesalahan interpolasi menjadi tidak terlihat.
Satu perbedaan terlihat di tempat lain: RIFE, di fal, menghasilkan video tanpa suara, sedangkan Topaz menyalin trek audio dari sumbernya. Pada shot tanpa suara, hal ini tidak masalah; pada iklan dengan musiknya, Anda harus menyatukan kembali suaranya saat proses montase. Topaz juga menghasilkan tepat kecepatan frame yang diminta, sementara RIFE hanya bisa melipatgandakan: 24 menjadi 48, 72, atau 96, tidak pernah 25 atau 30.
Di mana benar-benar gagal: sambungan antara dua shot
Pada potongan tegas, interpolasi membangun frame yang tidak ada: Topaz menumpuk kedua shot dalam bentuk dissolve, RIFE tanpa deteksi adegan menghasilkan mozaik piksel, dan hanya RIFE dengan deteksi adegan yang membiarkan potongan tetap utuh.
Contoh klasiknya adalah proses montase. Kami menggabungkan dua shot dengan potongan tegas, dua detik terbang di atas desa lalu dua detik botol parfum, dan memproses berkas tersebut melalui mesin yang sama. Di antara frame terakhir desa dan frame pertama botol, model interpolasi mencari pergerakan yang tidak ada, namun tetap harus menghasilkan sebuah frame.
Topaz menghasilkan frame di mana botol parfum terlihat tembus pandang di atas desa, seperti dissolve satu frame, satu per enam puluh detik. RIFE, tanpa opsi khusus, menghasilkan frame yang jauh lebih buruk: botol terpotong menjadi kotak-kotak yang mengambang di atas latar belakang piksel. Dengan opsi deteksi perubahan adegan diaktifkan, RIFE mengenali potongan tersebut dan membiarkannya tetap bersih, tanpa frame buatan.
Pada kecepatan putar normal, frame hantu selama satu per enam puluh detik sering kali tidak terlihat. Pada montase yang cepat, dengan potongan setiap dua detik, hal ini memberi kesan kotor yang sulit diidentifikasi, dan langsung terlihat jelas ketika dilihat frame demi frame. Aturannya sederhana: interpolasikan setiap shot secara terpisah, sebelum proses montase, jangan pernah pada video final.
Cacat lain yang perlu dikenali
Selain pada sambungan, interpolasi juga keliru pada objek yang saling berpapasan, pola berulang, teks bergulir, gerakan yang lebih besar dari lebar objek itu sendiri per frame, dan elemen yang muncul secara tiba-tiba.
Objek yang saling berpapasan, dua orang yang saling melewati, tangan yang lewat di depan wajah: model harus memutuskan area mana yang termasuk objek mana, dan batas di antara keduanya bisa bergelombang. Pola berulang, kisi-kisi, garis-garis, pagar yang bergerak, membuat model keliru dalam menentukan korespondensi: satu batang disamakan dengan batang di sebelahnya dan pola tampak bergeser ke arah yang salah.
Teks bergulir dan antarmuka adalah jebakan lain: huruf-hurufnya sedikit berubah bentuk pada frame yang dibuat, yang langsung terlihat begitu dibaca. Gerakan yang sangat cepat, sebuah objek yang berpindah lebih dari lebarnya sendiri dari satu frame ke frame berikutnya, tidak memiliki korespondensi yang andal: model bisa menggandakan objek tersebut atau membuatnya muncul melalui dissolve. Terakhir, segala sesuatu yang muncul secara tiba-tiba antar frame, petir, kilatan cahaya, percikan api, akan tersebar menjadi dissolve, bukan muncul tajam.
Pada video AI, banyak dari kasus ini jarang terjadi: model jarang menghasilkan teks bergulir yang bisa dibaca, dan gerakannya umumnya halus. Panning, drone, wajah, produk yang berputar, karakter yang berjalan, semuanya berjalan dengan sangat baik. Shot-shot inilah juga yang paling memperlihatkan kecepatan frame yang terlalu rendah.
Alat-alatnya, dari gratis hingga profesional
Alat-alat ini terbagi dalam tiga kelompok: perangkat lunak yang diinstal (Topaz Video, DaVinci Resolve, Premiere Pro, Flowframes), layanan daring (Topaz for Web, CapCut, TensorPix, HitPaw), dan API (Runway, fal); harga yang dicatat pada 6 Oktober 2026 berkisar dari nol hingga 299 dolar per tahun.
Topaz Video, dahulu bernama Video AI, adalah tolok ukur berbayar. Aplikasi ini menawarkan lima model interpolasi: Apollo untuk gerakan non-linear dan sumber yang sedikit buram, Apollo Fast, Chronos untuk konversi kecepatan frame dan gerakan lambat, Chronos Fast untuk pergerakan besar, serta Aion untuk presisi tinggi. Harganya 299 dolar per tahun atau 59 dolar per bulan, 699 dolar per tahun untuk penggunaan komersial di atas satu juta dolar pendapatan. Versi webnya, Topaz for Web, menargetkan 30, 60, 90, atau 120 frame per detik seharga 19 dolar per bulan saat promosi. Adobe menandatangani perjanjian pada Juni 2026 untuk mengakuisisi Topaz Labs.
Di sisi gratis, Flowframes adalah antarmuka Windows untuk RIFE, DAIN, dan FLAVR, bersifat open source, yang versi terbarunya dirilis lebih dulu untuk pendukung di Patreon. RIFE dan FILM, yang disebut terakhir diterbitkan oleh Google, merupakan model riset yang diperkenalkan pada 2022 dan dapat digunakan melalui baris perintah, sementara ffmpeg menawarkan filter minterpolate, tanpa jaringan saraf. DaVinci Resolve melakukan interpolasi aliran optik pada versi gratisnya; mode Speed Warp hanya tersedia pada versi Studio, seharga 295 dolar. Premiere Pro, seharga 22,99 dolar per bulan, menawarkan Optical Flow dalam interpolasi temporal. Dan SVP, seharga 24,99 dolar seumur hidup, melakukan interpolasi secara real time saat pemutaran, tanpa perlu mengekspor berkas.
Secara daring, CapCut menawarkan aliran optik pada 30, 50, atau 60 frame per detik; penggunanya melaporkan bahwa fitur gerakan lambat halus ini telah berpindah ke paket Pro. TensorPix mengklaim hingga 120 frame per detik, dengan uji coba gratis tiga menit pada resolusi 720p, dan HitPaw menawarkan konversi ke 60 atau 120, mulai dari 24,99 dolar per bulan. Bagi pengembang, API Runway mengonversi ke 24, 25, 30, 48, 50, 60, atau 120 frame per detik, serta varian 23,98, 29,97, dan 59,94, seharga 0,005 dolar per detik. Di Imaginode, node Enhance berjalan menggunakan Topaz: 6 kredit per lima detik pada resolusi 720p hingga 30 frame per detik, suara tetap dipertahankan.
Motion smoothing pada televisi
Motion smoothing pada televisi adalah interpolasi real time dari film berkecepatan 24 frame per detik; fitur ini membuat film tampak seperti video, sampai-sampai Tom Cruise merekam sebuah pesan pada Desember 2018 yang meminta penonton untuk mematikannya, dan kini ada Filmmaker Mode yang menonaktifkannya secara default.
Sebagian besar televisi terbaru melakukan interpolasi secara default pada semua yang ditampilkannya, untuk mengisi panelnya yang berjalan pada 60 atau 120 hertz. Pada tayangan olahraga, ini adalah kemajuan. Pada sebuah film, inilah yang disebut soap opera effect: gerakan menjadi begitu halus sehingga adegan tampak seperti direkam dengan video, layaknya sinetron televisi, dan kehilangan sedikit gejolak khas 24 frame yang menjadi ciri khas sinema. Pada 4 Desember 2018, Tom Cruise dan Christopher McQuarrie mengunggah video singkat yang menjelaskan bahwa pengaturan ini membuat sebagian besar film terlihat seperti video berkecepatan tinggi, serta cara untuk mematikannya.
UHD Alliance merespons dengan menghadirkan Filmmaker Mode, yang diumumkan pada Agustus 2019 dan diluncurkan di ajang CES Januari 2020, yang menonaktifkan motion smoothing, pengurangan noise, dan penajaman gambar, serta menghormati kecepatan frame aslinya. Dari sisi distribusi, Netflix mewajibkan berkas yang dikirim dalam kecepatan frame aslinya, yaitu kecepatan saat syuting dan proses montase, dan memperingatkan bahwa konversi kecepatan frame yang tidak dilakukan dengan benar, yang meninggalkan artefak, akan ditolak.
Bagi seorang kreator, pelajarannya ada dua. Jangan melakukan interpolasi secara refleks pada shot fiksi yang harus mempertahankan tekstur khas sinemanya, dan pilihlah kecepatan frame berdasarkan tempat video tersebut akan ditonton. Pilihan antara 24, 25, 30, dan 60 frame per detik, platform demi platform, dibahas lebih lanjut di 24, 25, 30, atau 60 fps: kecepatan mana yang harus dipilih.
Rangkuman
Interpolasi dengan AI dapat diandalkan pada gerakan yang kontinu, panning, drone, karakter, bahkan yang cepat sekalipun ketika sumbernya memiliki motion blur; namun ia keliru pada sambungan, teks, pola berulang, dan peristiwa instan.
Lakukan interpolasi pada setiap shot sebelum proses montase, jangan pernah pada video yang sudah dipotong. Jika Anda hanya memiliki berkas final, gunakan alat yang mendeteksi perubahan adegan, dan periksa setiap sambungan frame demi frame.
Untuk kecepatan frame yang tepat, 25, 30, 50, atau 60, Anda memerlukan mesin yang menargetkan kecepatan frame tertentu, seperti Topaz; RIFE hanya bisa melipatgandakan dua, tiga, atau empat kali. Untuk shot yang memiliki suara, pilihlah mesin yang menyalin suaranya, atau rencanakan untuk menyatukannya kembali.
Di Imaginode, node Enhance mengubah kecepatan frame dengan Topaz pada ×1, suara tetap dipertahankan, seharga 6 kredit per lima detik pada resolusi 720p hingga 30 frame per detik. Workflow siap pakainya adalah template "Mengubah Kecepatan Frame Video".