6 अक्टूबर 2026
AI फ्रेम इंटरपोलेशन: यह क्या सही करता है, कहाँ टूटता है, कौन सा टूल इस्तेमाल करें
इंटरपोलेशन किसी वीडियो के दो फ़्रेमों के बीच गुम फ़्रेम बनाता है, ताकि 24 से 30 या 60 fps पर जाया जा सके। एक तेज़ डांस और दो शॉट्स के बीच के कट पर हमारे परीक्षण, Topaz बनाम RIFE, पहचानने योग्य खामियाँ, और फ्री से प्रोफेशनल तक के टूल्स।
Frank HoubreImaginode के संस्थापक
इंटरपोलेशन मॉडल क्या करता है
एक इंटरपोलेशन मॉडल दो लगातार फ़्रेम लेता है, अनुमान लगाता है कि हर हिस्सा एक से दूसरे तक कैसे खिसका, और एक या कई बीच के फ़्रेम बनाता है; उसे न तो दृश्य का पता होता है, न यह कि दोनों पलों के बीच वास्तव में क्या हुआ था।
24 फ़्रेम प्रति सेकंड की वीडियो में दो फ़्रेमों के बीच एक सेकंड का चौबीसवाँ हिस्सा गुज़रता है। इंटरपोलेशन का मतलब है यह अंदाज़ा लगाना कि इस अंतराल के बीचोबीच, या एक तिहाई, या दो तिहाई पर दृश्य कैसा दिखता था, लक्षित फ्रेम रेट के हिसाब से। इसके लिए मॉडल एक ऑप्टिकल फ्लो की गणना करता है: पहले फ़्रेम के हर छोटे हिस्से के लिए, दूसरे फ़्रेम में उसके खिसकने की दिशा और दूरी।
इससे वह एक ऐसा फ़्रेम बनाता है जिसमें हर हिस्सा रास्ते का एक अंश तय कर चुका होता है, फिर खाली जगहों को भरता है: जब कोई हाथ दीवार के सामने से गुज़रता है, तो दीवार का कुछ हिस्सा दिखने लगता है, और उसे बनाना पड़ता है। यहीं पर मॉडल एक-दूसरे से अलग दिखते हैं। पुराने एल्गोरिथ्म, जैसे ffmpeg का minterpolate फ़िल्टर, वर्गाकार ब्लॉकों में काम करते हैं और किनारे फटे हुए छोड़ देते हैं। इस काम के लिए प्रशिक्षित न्यूरल नेटवर्क, RIFE, FILM, और Topaz के अपने मॉडल, पूरी तस्वीर पर सोचते हैं और खुले हुए हिस्सों को बेहतर ढंग से बनाते हैं।
मॉडल जो नहीं कर सकता, वह है किसी ऐसी घटना का अंदाज़ा लगाना जो दोनों में से किसी भी फ़्रेम में नहीं दिखती। एक बहुत तेज़ पलक झपकना, एक चमक, दो फ़्रेमों के बीच उछलती हुई एक गेंद: वह सिर्फ पहले और बाद को देखता है, और दोनों के बीच एक सीधी रेखा खींचता है। रोज़मर्रा के उपयोग के लिए, किसी शॉट को 24 से 30 या 60 फ़्रेम प्रति सेकंड पर ले जाने में, इससे कोई फर्क नहीं पड़ता। पूरी कन्वर्शन विधि 24 fps वीडियो को 30 fps में बदलना में दी गई है।
सबसे कठिन परीक्षण: एक तेज़ डांस
24 फ़्रेम प्रति सेकंड पर बनाए गए एक डांस पर, तेज़ हाथों और मोशन ब्लर के साथ, Topaz और RIFE ने साफ-सुथरे बीच के फ़्रेम बनाए: न कोई दोहरा अंग, न कोई विकृत हाथ, स्रोत का ब्लर बाकी सब कुछ छिपा देता है।
हमें हाथों में गड़बड़ी होने की उम्मीद थी। हमने अपने डेमो कैटलॉग से एक डांस वीडियो लिया, 720 × 1280, 5 सेकंड, 24 फ़्रेम प्रति सेकंड, और 6 अक्टूबर 2026 को इसे दो इंजनों से गुज़ारा: Topaz, जो Enhance नोड के पीछे है, 30 और 60 फ़्रेम प्रति सेकंड तक, और RIFE, सबसे प्रचलित ओपन मॉडल, जो फ्रेम रेट को दोगुना करके 48 तक ले जाता है। फिर हमने गणना से वे दो लगातार फ़्रेम ढूँढे जहाँ तस्वीर सबसे ज़्यादा बदलती है, और देखा कि हर इंजन ने उनके बीच क्या रखा।
नतीजा उम्मीद से बेहतर है। नीचे दिए गए क्रॉप में, हाथ कमर से आगे की ओर बढ़ता है; RIFE का फ़्रेम और Topaz का फ़्रेम उसे बीच में रखते हैं, एक सुसंगत ब्लर के साथ, बिना किसी छठी उंगली या भूतिया बाज़ू के। इसकी वजह आंशिक रूप से स्रोत में है: एक वीडियो मॉडल तेज़ हरकतों पर मोशन ब्लर बनाता है, एक असली कैमरे की तरह, और यह ब्लर इंटरपोलेशन की गलतियों को अदृश्य बना देता है।
एक फर्क कहीं और दिखा: RIFE, fal पर, बिना आवाज़ की वीडियो लौटाता है, जबकि Topaz स्रोत का ऑडियो ट्रैक कॉपी कर लेता है। बिना आवाज़ वाले शॉट पर इससे कोई फर्क नहीं पड़ता; अपने संगीत वाले किसी विज्ञापन पर, आवाज़ को एडिट में दोबारा जोड़ना पड़ता है। Topaz ने मांगा गया फ्रेम रेट एकदम सटीक दिया, जबकि RIFE केवल गुणा कर सकता है: 24 बनकर 48, 72 या 96 हो जाता है, कभी 25 या 30 नहीं।
जहाँ यह असल में टूटता है: दो शॉट्स के बीच का कट
एक हार्ड कट पर, इंटरपोलेशन एक ऐसा फ़्रेम बनाता है जो वजूद में नहीं है: Topaz ने दोनों शॉट्स को एक डिज़ॉल्व में मिला दिया, बिना सीन डिटेक्शन के RIFE ने पिक्सेल मोज़ेक बना दिया, और सिर्फ सीन डिटेक्शन के साथ RIFE ने कट को बेदाग़ छोड़ा।
पाठ्यपुस्तक जैसा मामला है एडिटिंग का। हमने एक हार्ड कट के साथ दो शॉट्स जोड़े, एक गाँव पर उड़ान के दो सेकंड फिर एक परफ्यूम की बोतल के दो सेकंड, और फ़ाइल को उन्हीं इंजनों से गुज़ारा। गाँव के आख़िरी फ़्रेम और बोतल के पहले फ़्रेम के बीच, इंटरपोलेशन मॉडल एक ऐसी हरकत खोजता है जो वजूद में नहीं है, और फिर भी उसे एक फ़्रेम बनाना पड़ता है।
Topaz ने एक ऐसा फ़्रेम लौटाया जिसमें बोतल गाँव के ऊपर से पारदर्शी रूप से दिखती है, जैसे एक-फ़्रेम का डिज़ॉल्व, एक सेकंड का साठवाँ हिस्सा। RIFE ने, किसी ख़ास विकल्प के बिना, कहीं ज़्यादा ख़राब फ़्रेम लौटाया: बोतल चौकोर टुकड़ों में कटी हुई, पिक्सेलों के बैकग्राउंड पर तैरती हुई। सीन चेंज डिटेक्शन चालू करने पर, RIFE ने कट को पहचान लिया और उसे साफ़ छोड़ दिया, बिना कोई नया फ़्रेम बनाए।
सामान्य गति से देखने पर, एक सेकंड के साठवें हिस्से का भूतिया फ़्रेम अक्सर ध्यान में नहीं आता। एक तेज़-तर्रार एडिट में, हर दो सेकंड में एक कट के साथ, यह एक ऐसी गंदगी का अहसास देता है जिसे पकड़ना मुश्किल होता है, और फ़्रेम-दर-फ़्रेम देखने पर यह साफ़ उभर आता है। नियम सीधा है: हर शॉट को अलग-अलग इंटरपोलेट करें, एडिटिंग से पहले, कभी भी अंतिम वीडियो को नहीं।
पहचानने योग्य अन्य खामियाँ
कट्स से आगे बढ़कर, इंटरपोलेशन एक-दूसरे को काटते हुए ऑब्जेक्ट्स, दोहराए जाने वाले पैटर्न, स्क्रॉल होते टेक्स्ट, किसी ऑब्जेक्ट की अपनी चौड़ाई से ज़्यादा की हरकत, और एकदम से दिखने वाले तत्वों पर चकरा जाता है।
एक-दूसरे को काटते ऑब्जेक्ट्स, दो लोग जो एक-दूसरे से आगे निकलते हैं, एक चेहरे के सामने से गुज़रता हाथ: मॉडल को यह तय करना पड़ता है कि कौन सा हिस्सा किस ऑब्जेक्ट का है, और दोनों के बीच की सीमा लहरा सकती है। दोहराए जाने वाले पैटर्न, एक ग्रिड, पट्टियाँ, चलती हुई रेलिंग, उसे मिलान (correspondence) को लेकर उलझा देते हैं: एक पट्टी को उसकी पड़ोसी पट्टी समझ लिया जाता है और पैटर्न विपरीत दिशा में खिसकता हुआ लगने लगता है।
स्क्रॉल होते टेक्स्ट और इंटरफ़ेस एक और जाल हैं: बनाए गए फ़्रेमों में अक्षर थोड़े विकृत हो जाते हैं, जो पढ़ते ही दिख जाता है। बहुत तेज़ हरकत, कोई ऑब्जेक्ट जो एक फ़्रेम से दूसरे फ़्रेम में अपनी चौड़ाई से ज़्यादा खिसकता है, का कोई भरोसेमंद मिलान नहीं होता: मॉडल ऑब्जेक्ट को दोहरा सकता है या उसे फीके रूप में उभरते हुए दिखा सकता है। अंत में, जो भी दो फ़्रेमों के बीच एकदम से उभरता है, बिजली की चमक, एक फ्लैश, एक चिंगारी, साफ़ दिखने के बजाय एक डिज़ॉल्व में फैला दिया जाता है।
AI वीडियो में, इनमें से कई मामले दुर्लभ होते हैं: मॉडल बहुत कम पढ़े जाने लायक स्क्रॉल होता टेक्स्ट बनाते हैं, और उनकी हरकत आम तौर पर सहज होती है। पैनोरामा, ड्रोन शॉट्स, चेहरे, घूमते हुए प्रोडक्ट्स, चलते हुए किरदार, ये सब बहुत अच्छे से निकलते हैं। यही वे शॉट्स भी हैं जिनमें बहुत कम फ्रेम रेट सबसे ज़्यादा दिखता है।
टूल्स, फ्री से प्रोफेशनल तक
टूल्स तीन समूहों में बँटे हैं: इंस्टॉल किए जाने वाले सॉफ्टवेयर (Topaz Video, DaVinci Resolve, Premiere Pro, Flowframes), ऑनलाइन सेवाएँ (Topaz for Web, CapCut, TensorPix, HitPaw) और API (Runway, fal); 6 अक्टूबर 2026 को देखी गई कीमतें शून्य से 299 डॉलर प्रति वर्ष तक जाती हैं।
Topaz Video, पहले Video AI, पेड सेगमेंट का बेंचमार्क है। यह पाँच इंटरपोलेशन मॉडल देता है: Apollo नॉन-लीनियर हरकत और थोड़े ब्लर स्रोतों के लिए, Apollo Fast, Chronos फ्रेम रेट कन्वर्शन और स्लो मोशन के लिए, Chronos Fast बड़ी हरकतों के लिए, और Aion उच्च सटीकता के लिए। इसकी कीमत 299 डॉलर प्रति वर्ष या 59 डॉलर प्रति महीना है, और एक मिलियन से ज़्यादा कमाई वाले व्यावसायिक उपयोग के लिए 699 डॉलर प्रति वर्ष। इसका वेब संस्करण, Topaz for Web, ऑफर पर 19 डॉलर प्रति महीने में 30, 60, 90 या 120 फ़्रेम प्रति सेकंड को टारगेट करता है। Adobe ने जून 2026 में Topaz Labs को ख़रीदने के समझौते पर हस्ताक्षर किए।
फ्री पक्ष पर, Flowframes RIFE, DAIN और FLAVR के लिए एक Windows इंटरफ़ेस है, ओपन सोर्स, जिसके सबसे नए बिल्ड पहले Patreon पर समर्थकों के लिए आते हैं। RIFE और FILM, जिसमें FILM Google द्वारा प्रकाशित है, 2022 में पेश किए गए रिसर्च मॉडल हैं जिन्हें कमांड लाइन से इस्तेमाल किया जा सकता है, और ffmpeg बिना किसी न्यूरल नेटवर्क के minterpolate फ़िल्टर देता है। DaVinci Resolve अपने फ्री संस्करण में ऑप्टिकल फ्लो इंटरपोलेशन करता है; Speed Warp मोड सिर्फ Studio संस्करण में, 295 डॉलर में मिलता है। Premiere Pro, 22.99 डॉलर प्रति महीने में, टेम्पोरल इंटरपोलेशन में Optical Flow देता है। और SVP, 24.99 डॉलर में लाइफटाइम, प्लेबैक के दौरान रियल टाइम में इंटरपोलेट करता है, बिना किसी फ़ाइल को एक्सपोर्ट किए।
ऑनलाइन, CapCut 30, 50 या 60 फ़्रेम प्रति सेकंड पर ऑप्टिकल फ्लो देता है; यूज़र्स ने बताया है कि इसका स्मूद स्लो मोशन Pro प्लान में शिफ्ट हो गया है। TensorPix 120 फ़्रेम प्रति सेकंड तक का दावा करता है, 720p पर तीन मिनट के फ्री ट्रायल के साथ, और HitPaw 60 या 120 तक कन्वर्शन देता है, 24.99 डॉलर प्रति महीने से शुरू। डेवलपर्स के लिए, Runway का API 24, 25, 30, 48, 50, 60 या 120 फ़्रेम प्रति सेकंड में कन्वर्ट करता है, और इनके 23.98, 29.97 और 59.94 वेरिएंट्स में भी, 0.005 डॉलर प्रति सेकंड की कीमत पर। Imaginode में, Enhance नोड Topaz पर चलता है: 720p में 30 फ़्रेम प्रति सेकंड तक पाँच सेकंड के लिए 6 क्रेडिट, आवाज़ सुरक्षित रहती है।
टीवी का मोशन स्मूथिंग
टीवी का मोशन स्मूथिंग 24 फ़्रेम प्रति सेकंड वाली फिल्मों का रियल-टाइम इंटरपोलेशन है; यह फिल्मों को वीडियो जैसा लुक देता है, इस हद तक कि Tom Cruise ने दिसंबर 2018 में इसे बंद करने की अपील करते हुए एक संदेश रिकॉर्ड किया, और अब एक Filmmaker मोड इसे डिफ़ॉल्ट रूप से बंद कर देता है।
ज़्यादातर नए टीवी डिफ़ॉल्ट रूप से जो भी दिखाते हैं उसे इंटरपोलेट करते हैं, ताकि उनकी 60 या 120 हर्ट्ज़ वाली स्क्रीन भर सके। खेल पर, यह एक फ़ायदा है। किसी फिल्म पर, इसे सोप ओपेरा इफ़ेक्ट कहा जाता है: हरकत इतनी स्मूद हो जाती है कि दृश्य वीडियो पर शूट किया गया जैसा लगता है, किसी टीवी सोप की तरह, और 24 फ़्रेम की वह हल्की सी कंपन खो देता है जो सिनेमा की पहचान है। 4 दिसंबर 2018 को, Tom Cruise और Christopher McQuarrie ने एक छोटा वीडियो पोस्ट किया जिसमें बताया गया कि यह सेटिंग ज़्यादातर फिल्मों को हाई-स्पीड वीडियो जैसा दिखाती है, और इसे कैसे बंद किया जाए।
UHD Alliance ने Filmmaker Mode के साथ जवाब दिया, जिसकी घोषणा अगस्त 2019 में हुई और लॉन्च जनवरी 2020 के CES में, जो मोशन स्मूथिंग, नॉइज़ रिडक्शन और शार्पनिंग को बंद करता है, और मूल फ्रेम रेट का सम्मान करता है। डिलीवरी की तरफ, Netflix फ़ाइलों को उनके मूल फ्रेम रेट में, यानी शूटिंग और एडिटिंग वाले फ्रेम रेट में, डिलीवर करने की माँग करता है, और चेतावनी देता है कि ख़राब तरीके से किए गए फ्रेम रेट कन्वर्शन, जो आर्टिफ़ैक्ट्स छोड़ जाते हैं, रिजेक्ट कर दिए जाते हैं।
एक क्रिएटर के लिए, सीख दोहरी है। किसी फिक्शन शॉट को रिफ्लेक्स में इंटरपोलेट न करें जब उसे अपनी सिनेमाई टेक्सचर बरकरार रखनी हो, और यह चुनें कि वीडियो कहाँ देखी जाएगी, उसी के हिसाब से फ्रेम रेट चुनें। 24, 25, 30 और 60 फ़्रेम प्रति सेकंड के बीच का चुनाव, प्लेटफ़ॉर्म-दर-प्लेटफ़ॉर्म, 24, 25, 30 या 60 fps: कौन सा फ्रेम रेट चुनें में बताया गया है।
सारांश
AI इंटरपोलेशन निरंतर हरकत, पैनोरामा, ड्रोन शॉट्स, किरदारों पर भरोसेमंद है, तेज़ हरकतों पर भी जब स्रोत में मोशन ब्लर हो; यह कट्स, टेक्स्ट, दोहराए जाने वाले पैटर्न और एकाएक होने वाली घटनाओं पर गलती करता है।
हर शॉट को एडिटिंग से पहले इंटरपोलेट करें, कभी भी पहले से कटी हुई वीडियो को नहीं। अगर आपके पास केवल फ़ाइनल फ़ाइल है, तो ऐसा टूल इस्तेमाल करें जो सीन चेंज डिटेक्ट करता हो, और हर कट को फ़्रेम-दर-फ़्रेम जाँचें।
किसी सटीक फ्रेम रेट के लिए, 25, 30, 50 या 60, आपको ऐसा इंजन चाहिए जो एक लक्षित फ्रेम रेट को टारगेट करे, जैसे Topaz; RIFE सिर्फ दो, तीन या चार से गुणा कर सकता है। आवाज़ वाले शॉट के लिए, ऐसा इंजन चुनें जो उसे कॉपी कर ले, या उसे दोबारा जोड़ने की योजना बनाएँ।
Imaginode में, Enhance नोड Topaz के साथ फ्रेम रेट को ×1 पर बदलता है, आवाज़ सुरक्षित रहती है, 720p में 30 फ़्रेम प्रति सेकंड तक पाँच सेकंड के लिए 6 क्रेडिट में। तैयार वर्कफ़्लो है "किसी वीडियो का फ्रेम रेट बदलें" टेम्पलेट।