고전 영화 한편 복원에 100명이 2년 작업해야
AI로 ‘성균관스캔들’ 전편 화질 개선엔 48시간
뇌 인지하는 정보만 개선하고 나머지 떨어뜨려
전송해야 하는 데이터 양 획기적으로 축소 가능
일반화질로 찍어 VFX 렌더링 뒤 4K 이상 개선

할리우드 거장 마틴 스코세이지 감독은 영상 복원과 화질 개선 분야에서도 역사상 가장 독보적인 존재로 평가받는다. 그는 비영리단체 ‘필름 파운데이션’을 설립했고, 2007년 이 단체 산하에 주로 개발도상국의 방치된 고전 영화 필름을 복원하는 ‘월드 시네마 파운데이션(WCF)’을 추가로 설립했다.

WCF는 전 세계 수많은 명작 영화를 디지털로 복원하고 영상 화질을 되살렸다. 김기영 감독의 1960년작 ‘하녀’도 한국영상자료원이 WCF의 기술을 빌려 디지털 복원, 화질 개선 작업을 한 작품 중 하나다.

WCF의 영상 복원 기술은 나날이 진화하고 정교해졌다. 하지만 알려진 바에 따르면 약 2시간 분량의 영화 한 편을 디지털로 복원하고 화질을 개선하기 위해서는 WCF의 전문인력 100여명이 최대 2년까지 작업해야 한다.

하지만 화질 개선 인공지능(AI)이 등장해 앞으로는 일일이 사람 손을 거쳐야만 했던 화질 개선 작업 시간을 AI를 이용해 크게 단축시킬 수 있게 됐다. 당초 업계는 ‘화질’이 눈으로 보고 좋고 나쁨을 판단하는 인지의 영역이기 때문에 AI로 해결하기는 어렵다고 예상했다. 하지만 최근 4~5년 새 화질 개선 AI 기술이 비약적으로 발전했다.

포바이포는 화질 개선 AI 기술을 보유한 대표 기업 중 하나다. 이 회사는 최근 삼성 스마트TV 앱스토어에 자체 앱 ‘키컷플레이’를 출시하고, 2010년 인기를 끌었던 드라마 ‘성균관스캔들’을 8K(해상도 7680×4320) 수준으로 화질을 개선해 서비스하고 있다. 13년 전 방영된 성균관스캔들은 HD(1366×768)급 화질로 제작됐다. 포바이포는 시리즈 전편을 자체 개발한 화질 개선 AI 솔루션 ‘픽셀’을 이용해 8K 수준으로 개선했다.

그런데 시리즈 16부 전편 화질을 개선하는 작업은 단 48시간 만에 끝났다. 영상 분량만으로 단순 환산해 보면 WCF의 전문가 100명이 약 1년에 걸쳐 복원 작업한 영화 한 편을 AI의 작업속도로는 단 6시간에 끝낼 수 있다는 얘기다. 윤준호 포바이포 대표는 “인간의 개입을 최소화하는 수준까지 AI가 고도화되면 영상 복원 및 화질 개선 작업 시간은 더 줄어들고 효율성도 비약적으로 높아질 것”이라고 설명했다.화질 개선 AI를 이용하면 영상을 전송하는 비용도 크게 줄일 수 있다. 인간의 뇌가 중요하게 느끼는 영상의 일부 정보만 선명하게 개선하고 나머지 부분은 화질을 오히려 낮춰도 인간의 감각과 뇌는 화질이 좋아졌다고 느낀다. 이런 인지적 화질 개선 기술을 활용하면 데이터 비용은 아끼면서도 고화질 영상을 서비스할 수 있다.

이 기술은 삼성전자의 2023년형 네오 QLED TV에 탑재되어 있는 ‘리얼 뎁스 인핸서’라는 AI 기술과 같다. 디바이스가 영상 구현을 편리하게 하는 기술이 영상 송출 비용은 줄이고 효율성을 높일 수 있는 대안이 될 수도 있는 셈이다.

AI 기술을 이용해 제작 비용도 줄일 수 있다. 현란한 특수효과(VFX)가 많이 사용되는 할리우드 블록버스터 영화들은 촬영 시간보다 후반 작업에 더 많은 시간이 걸리는데, 특수 효과 중에서도 가장 많은 시간을 필요로 하는 작업은 영상 속 사물에에 부피감, 질감, 음영, 투명성 등을 입히는 과정인 ‘렌더링’이다. 영화 ‘인터스텔라’에서 거대 블랙홀을 구현한 장면은 프레임 한 장을 렌더링 하는 데에 무려 100시간이 걸렸다고 전해진다. 특히 최근 많은 영화들이 촬영 단계에서부터 4K~8K 이상 초고화질 전용 카메라를 사용하는데, 이렇게 원본 영상 용량이 커질수록 렌더링해야 할 데이터가 기하급수적으로 늘어난다.

하지만 화질 개선 AI는 이런 초고화질 영상 렌더링 작업 시간을 획기적으로 줄일 수 있다. 영화를 일반 화질로 촬영하고 렌더링 작업을 한 뒤에 화질을 초고화질로 개선하면 된다. 예전엔 일반 영상을 개선하는 AI 기술이 없어, 고화질 영화를 제작하려면 초고화질 영상 전용 카메라를 사용했지만 지금은 다르다. 화질 개선 AI가 영상 제작부터 송출에 이르는 전 과정의 산업을 변화시킬 수 있는 가능성을 가진 셈이다.