2026년 10월 6일
AI 프레임 보간: 어디까지 가능하고 어디서 무너지는지, 어떤 도구를 써야 하는지
보간은 영상의 두 프레임 사이에 없는 프레임을 새로 만들어, 24fps를 30fps나 60fps로 바꿔줍니다. 빠른 춤 영상과 두 장면 사이의 컷을 대상으로 한 테스트, Topaz와 RIFE의 비교, 알아둬야 할 결함들, 그리고 무료부터 전문가용까지 도구를 소개합니다.
Frank HoubreImaginode 창업자
보간 모델이 하는 일
보간 모델은 연속된 두 프레임을 입력받아 각 영역이 한쪽에서 다른 쪽으로 어떻게 움직였는지 추정하고, 그 사이에 들어갈 프레임을 하나 이상 그려냅니다. 다만 장면도, 두 순간 사이에 실제로 무슨 일이 있었는지도 알지 못합니다.
24fps 영상의 두 프레임 사이에는 24분의 1초가 지나갑니다. 보간이란 목표 프레임레이트에 따라 이 간격의 중간, 혹은 3분의 1이나 3분의 2 지점에서 장면이 어떤 모습이었을지 추측하는 작업입니다. 이를 위해 모델은 광학 흐름을 계산합니다. 첫 번째 프레임의 작은 영역 각각에 대해, 두 번째 프레임에서 그 영역이 움직인 방향과 거리를 구하는 것입니다.
이렇게 계산한 흐름을 바탕으로 각 영역이 경로의 일부를 이동한 프레임을 만들고, 빈 곳을 채웁니다. 팔이 벽 앞을 지나갈 때 벽의 일부가 드러나면 그 부분을 새로 그려야 합니다. 바로 이 지점에서 모델 간 차이가 드러납니다. ffmpeg의 minterpolate 필터 같은 오래된 알고리즘은 정사각형 블록 단위로 작업해 가장자리가 찢긴 듯한 결과를 남깁니다. 반면 이 작업을 위해 학습된 신경망, 즉 RIFE, FILM, 그리고 Topaz의 자체 모델은 이미지 전체를 고려해 드러난 영역을 훨씬 자연스럽게 복원합니다.
모델이 할 수 없는 것은 두 프레임 어디에도 없는 사건을 추측하는 일입니다. 너무 빠른 눈 깜빡임, 불꽃, 두 프레임 사이에서 튕긴 공 같은 것들은 모델 입장에서 전과 후만 보이고, 그 사이에는 직선을 그을 뿐입니다. 일상적인 용도, 즉 영상을 24fps에서 30fps나 60fps로 바꾸는 작업에서는 이것이 문제가 되지 않습니다. 전체 변환 방법은 24fps 영상을 30fps로 변환하기에서 확인할 수 있습니다.
까다로운 테스트: 빠른 춤 영상
24fps로 생성한 춤 영상, 빠른 팔 동작과 모션 블러가 있는 상황에서 Topaz와 RIFE 모두 깔끔한 중간 프레임을 만들어냈습니다. 손이 둘로 겹치거나 뒤틀리는 일 없이, 소스 영상의 블러가 나머지를 가려주었습니다.
손 부분이 망가질 것으로 예상했습니다. 저희 데모 카탈로그에 있는 춤 영상, 720 × 1280, 5초 길이, 24fps 영상을 2026년 10월 6일에 두 엔진에 돌려봤습니다. 하나는 Enhance 노드가 사용하는 Topaz로 30fps와 60fps로, 다른 하나는 가장 널리 쓰이는 오픈 모델인 RIFE로 48fps로 두 배 늘렸습니다. 그런 다음 계산을 통해 화면 변화가 가장 큰 연속된 두 프레임을 찾아, 각 엔진이 그 사이에 무엇을 넣었는지 살펴봤습니다.
결과는 예상보다 좋았습니다. 아래 크롭에서 손이 허리에서 앞으로 이동하는데, RIFE와 Topaz가 만든 프레임 모두 손을 중간 지점에 자연스러운 블러와 함께 배치했고, 손가락이 여섯 개가 되거나 팔이 유령처럼 겹치는 일은 없었습니다. 이는 소스 영상 자체 덕분이기도 합니다. 영상 생성 모델은 실제 카메라처럼 빠른 동작에 모션 블러를 만들어내는데, 이 블러가 보간 오류를 가려주는 것입니다.
한 가지 차이는 다른 곳에서 드러났습니다. fal에서 쓴 RIFE는 소리 없는 영상을 반환하는 반면, Topaz는 원본의 오디오 트랙을 그대로 복사합니다. 소리가 없는 장면이라면 상관없지만, 음악이 들어간 광고라면 편집 단계에서 소리를 다시 붙여야 합니다. 또한 Topaz는 요청한 프레임레이트를 정확히 만들어낸 반면, RIFE는 배수로만 늘릴 수 있어 24가 48, 72, 96은 될 수 있어도 25나 30은 될 수 없었습니다.
진짜로 무너지는 지점: 두 장면 사이의 컷
하드 컷에서 보간은 존재하지 않는 프레임을 만들어냅니다. Topaz는 두 장면을 디졸브처럼 겹쳤고, 장면 감지 기능이 없는 RIFE는 픽셀 모자이크를 만들었으며, 장면 감지 기능을 켠 RIFE만 컷을 그대로 유지했습니다.
교과서적인 사례는 편집입니다. 마을 상공을 도는 2초짜리 영상과 향수병을 보여주는 2초짜리 영상을 하드 컷으로 이어 붙인 뒤, 같은 엔진들에 돌려봤습니다. 마을의 마지막 프레임과 향수병의 첫 프레임 사이에서, 보간 모델은 존재하지 않는 움직임을 찾으려 하면서도 어쨌든 프레임을 만들어내야 합니다.
Topaz는 향수병이 마을 위로 비쳐 보이는, 60분의 1초짜리 한 프레임짜리 디졸브 같은 결과물을 만들었습니다. 특별한 옵션을 쓰지 않은 RIFE는 훨씬 더 심각한 결과를 냈는데, 향수병이 네모난 조각들로 잘려 픽셀 배경 위에 떠다니는 모습이었습니다. 장면 전환 감지 옵션을 켜자, RIFE는 컷을 인식해 가짜 프레임 없이 깔끔하게 그대로 두었습니다.
정상 속도로 재생할 때는 60분의 1초짜리 유령 프레임이 대부분 눈에 띄지 않습니다. 하지만 2초마다 컷이 있는 빠른 편집물에서는 정체를 알 수 없는 지저분한 느낌을 주고, 한 프레임씩 넘겨보면 바로 눈에 띕니다. 규칙은 간단합니다. 편집 전에 각 장면을 따로 보간해야지, 완성된 영상 전체에 보간을 적용해서는 안 됩니다.
알아둬야 할 그 밖의 결함들
컷 외에도 보간은 서로 교차하는 물체, 반복적인 패턴, 스크롤되는 텍스트, 프레임당 물체 자체 너비보다 큰 움직임, 그리고 한순간에 나타나는 요소들에서 혼란을 일으킵니다.
서로 교차하는 물체, 서로를 스쳐 지나가는 두 사람, 얼굴 앞을 지나는 손 같은 경우, 모델은 각 영역이 어느 물체에 속하는지 판단해야 하고 두 물체 사이의 경계가 일렁일 수 있습니다. 격자무늬, 줄무늬, 움직이는 울타리 같은 반복 패턴은 대응 관계를 혼동시켜, 한 막대가 옆 막대로 잘못 인식되면서 패턴이 반대 방향으로 밀리는 것처럼 보이게 만듭니다.
스크롤되는 텍스트와 인터페이스도 또 하나의 함정입니다. 새로 만들어진 프레임에서는 글자가 살짝 일그러지는데, 이는 글을 읽는 순간 바로 눈에 띕니다. 한 프레임에서 다음 프레임 사이에 물체가 자기 너비보다 더 멀리 움직이는 매우 빠른 움직임은 믿을 만한 대응점이 없어, 모델이 물체를 두 개로 겹쳐 보이게 하거나 흐릿하게 페이드시킬 수 있습니다. 마지막으로 번개, 플래시, 불꽃처럼 프레임 사이에 갑자기 나타나는 모든 것은 선명하게 나타나는 대신 디졸브처럼 번져 보입니다.
AI로 만든 영상에서는 이런 경우들 상당수가 드뭅니다. 모델이 읽을 수 있는 스크롤 텍스트를 거의 만들지 않고, 움직임도 대체로 부드럽기 때문입니다. 패닝, 드론 샷, 얼굴, 회전하는 제품, 걸어가는 인물들은 모두 보간이 아주 잘 적용됩니다. 그리고 이런 장면들이야말로 낮은 프레임레이트가 가장 눈에 띄는 장면이기도 합니다.
무료부터 전문가용까지, 도구들
도구는 크게 세 부류로 나뉩니다. 설치형 소프트웨어(Topaz Video, DaVinci Resolve, Premiere Pro, Flowframes), 온라인 서비스(Topaz for Web, CapCut, TensorPix, HitPaw), 그리고 API(Runway, fal)입니다. 2026년 10월 6일 기준 가격은 무료부터 연 299달러까지 다양합니다.
이전에 Video AI로 불렸던 Topaz Video는 유료 제품 중 기준이 되는 존재입니다. 비선형적인 움직임과 약간 흐릿한 소스에 쓰는 Apollo, Apollo Fast, 프레임레이트 변환과 슬로모션용 Chronos, 큰 움직임을 위한 Chronos Fast, 고정밀 작업용 Aion까지 다섯 가지 보간 모델을 제공합니다. 가격은 연 299달러 또는 월 59달러이며, 연 매출 100만 달러를 넘는 상업적 사용의 경우 연 699달러입니다. 웹 버전인 Topaz for Web은 30, 60, 90, 120fps를 목표로 하며 할인 중에는 월 19달러입니다. Adobe는 2026년 6월 Topaz Labs 인수 계약을 체결했습니다.
무료 쪽에서는 Flowframes가 있는데, RIFE, DAIN, FLAVR을 위한 윈도우용 오픈소스 인터페이스이며, 최신 버전은 먼저 Patreon 후원자들에게 공개됩니다. RIFE와, Google이 공개한 FILM은 2022년에 발표된 연구용 모델로 명령줄에서 사용할 수 있고, ffmpeg는 신경망 없이 minterpolate 필터를 제공합니다. DaVinci Resolve는 무료 버전에서도 광학 흐름 기반 보간을 지원하지만, Speed Warp 모드는 295달러짜리 Studio 버전 전용입니다. 월 22.99달러의 Premiere Pro는 시간 보간 기능에서 Optical Flow를 제공합니다. 그리고 평생 이용료 24.99달러의 SVP는 파일을 따로 내보낼 필요 없이 재생 중에 실시간으로 보간합니다.
온라인 서비스 중 CapCut은 30, 50, 60fps로 광학 흐름 보간을 제공하는데, 부드러운 슬로모션 기능이 Pro 요금제로 옮겨갔다는 사용자 보고가 있습니다. TensorPix는 최대 120fps를 내세우며 720p 기준 3분 무료 체험을 제공하고, HitPaw는 60fps나 120fps 변환을 월 24.99달러부터 제공합니다. 개발자를 위해서는 Runway의 API가 24, 25, 30, 48, 50, 60, 120fps와 그 변형인 23.98, 29.97, 59.94fps로 변환해주며, 가격은 초당 0.005달러입니다. Imaginode에서는 Enhance 노드가 Topaz를 사용해 720p 기준 30fps까지, 소리를 유지한 채로 5초당 6크레딧으로 작동합니다.
TV의 모션 스무딩
TV의 모션 스무딩은 24fps 영화를 실시간으로 보간하는 기능으로, 영화에 비디오 같은 느낌을 입힙니다. 그 정도가 심해서 Tom Cruise는 2018년 12월 이 기능을 꺼달라는 메시지를 직접 녹화해 올렸고, 지금은 Filmmaker Mode가 기본적으로 이 기능을 꺼줍니다.
대부분의 최신 TV는 60Hz나 120Hz 패널을 채우기 위해 보이는 모든 영상을 기본적으로 보간합니다. 스포츠 중계에서는 이것이 발전된 기능입니다. 하지만 영화에서는 이른바 ‘연속극 효과’를 일으킵니다. 움직임이 지나치게 매끄러워져 마치 TV 드라마처럼 비디오로 촬영한 듯한 느낌을 주고, 영화의 상징과도 같은 24fps 특유의 미세한 떨림이 사라집니다. 2018년 12월 4일, Tom Cruise와 Christopher McQuarrie는 짧은 영상을 올려 이 설정이 대부분의 영화를 고속 비디오처럼 보이게 만든다고 설명하며 끄는 방법을 안내했습니다.
UHD Alliance는 2019년 8월에 발표하고 2020년 1월 CES에서 선보인 Filmmaker Mode로 응답했습니다. 이 모드는 모션 스무딩, 노이즈 감소, 샤프닝을 끄고 원본 프레임레이트를 그대로 유지합니다. 배급 쪽에서는 Netflix가 촬영과 편집에 사용된 원래의 프레임레이트로 파일을 납품할 것을 요구하며, 아티팩트를 남기는 잘못된 프레임레이트 변환은 반려된다고 경고합니다.
제작자에게 교훈은 두 가지입니다. 영화적인 질감을 유지해야 하는 픽션 장면을 습관적으로 보간하지 말 것, 그리고 영상이 시청될 환경에 맞춰 프레임레이트를 선택할 것입니다. 플랫폼별로 24, 25, 30, 60fps 중 무엇을 선택해야 하는지는 24, 25, 30, 60fps 중 어떤 프레임레이트를 선택해야 할까에서 자세히 다룹니다.
요약
AI 보간은 연속적인 움직임, 패닝, 드론 샷, 인물 동작에서는 신뢰할 만하며, 소스에 모션 블러가 있다면 빠른 움직임도 잘 처리합니다. 반면 컷, 텍스트, 반복 패턴, 순간적인 사건에서는 실수를 저지릅니다.
편집 전에 각 장면을 따로 보간하고, 이미 컷이 들어간 영상 전체에는 절대 보간을 적용하지 마세요. 완성된 파일만 가지고 있다면 장면 전환을 감지하는 도구를 사용하고, 모든 컷을 프레임 단위로 확인하세요.
25, 30, 50, 60 같은 정확한 프레임레이트가 필요하다면 Topaz처럼 목표 프레임레이트를 지정할 수 있는 엔진을 사용해야 합니다. RIFE는 2배, 3배, 4배로만 늘릴 수 있습니다. 소리가 있는 장면이라면 소리를 그대로 복사하는 엔진을 선택하거나, 나중에 소리를 다시 붙일 계획을 세우세요.
Imaginode에서는 Enhance 노드가 Topaz를 ×1 배율로 사용해 소리를 유지한 채 프레임레이트를 바꾸며, 720p 기준 30fps까지는 5초당 6크레딧입니다. 바로 쓸 수 있는 워크플로는 ‘영상의 프레임레이트 바꾸기’ 템플릿에서 확인할 수 있습니다.