딥러닝 기반 초해상도 복원 기술 정리

서론

영상 생성 과정에서 연속적인 장면의 정보는 이산화(discretization)와 샘플링(sampling) 등의 과정을 거쳐 디지털 정보로 표현됨.

이 과정에서 생성된 화질 문제를 개선하고자 함.

초해상도 영상복원: 저해상도의 입력 영상에서 고해상도의 영상정보 추정.

본 지에서는 영상의 화질을 개선하는 방법으로 단일 영상의 초해상도 영상복원 기법을 설명하고, 최신 연구동향에 대해 소개하고자 한다.

​

초해상도 영상복원의 기술 정의

$저해상도\ 영상\ I_x,\ 고해상도\ 영상\ I_y,\ 잡음요소\ \delta $저해상도 영상 Ix​, 고해상도 영상 Iy​, 잡음요소 δ​

$I_x=D(I_y;\delta )$Ix​=D(Iy​;δ)​

$입력영상\ I_x,\ 고해상도\ 영상\ \hat{I}_y,\ 초해상도\ 기법\ 파라미터\ \theta ,$입력영상 Ix​, 고해상도 영상 ^Iy​, 초해상도 기법 파라미터 θ,​

$\hat{I}_y=F(I_x;\theta )$^Iy​=F(Ix​;θ)​

$\hat{\theta }=\arg \min _{\theta }^{ }L(\hat{I}_y,I_Y)+\lambda \Phi (\theta )$^θ=argminθL(^Iy​,IY​)+λΦ(θ)​

지도학습 기반의 초해상도 영상복원

대부분 저해상도-고해상도를 사용해 DNN으로 학습하는 지도학습 기반의 방법들.

최근 제안되고 있는 방법들은 영상 또는 특징맵의 업샘플링 방법, DNN의 구성밥법, 네트워크 학습을 위한 손실함수, 그리고 성능 개선을 위한 학습 방법적인 면에 차별성 가짐.

​

1. 업샘플링 레이어(upsampling layer)

초상도를 원하는 비율만큼 증가시키기 위해 공간도메인에서 크기를 확장시키는 업샘플링 레이어를 주로 사용.

고전적인 방법: 보간 기반 업샘플링, 웨이블렛 변환 기반 업샘플링

디테일 정보 표현에 한계가 있어 최근에는 학습 가능한 파라미터가 있는 업샘플링 레이어를 주로 사용.

디컨볼루션

공간도메인에서의 픽셀위치 사이에 0의 값들을 넣어서 해상도를 증가시킨 뒤 컨볼루션 하는 방법.

서브픽셀 컨볼루션

공간도메인 해상도를 확장하고 싶은 비율의 제곱만큼 뎁스를 가진 특징 맵을 생성하여 고해상도 영상을 생성하는 방법. (ESPCN)

​

2. 초해상도 영상복원을 위한 네트워크의 구조

업샘플링 타이밍에 따라 pre-upsampling, post-upsampling, prograssive upsampling으로 분류.

Pre-upsampling

입력영상의 공간해상도를 고전적인 업샘플링 방법으로 확장, 뒤에 이어오는 컨볼루션 레이어들의 연산으로 디테일 정보 보정.

연산량과 메모리 소모가 크다. (SRCNN)

Post-upsampling

pre-upsampling에서의 연산량과 메모리 소모를 줄이는 프레임워크

Progressive upsampling

4배 또는 8배와 같이 높은 고해상도 영상을 얻고자 할때에 한번에 업샘플링할 경우 잡음 등의 영향이 많고 학습과정의 어려움이 있어 활용되는 추세.

​

업샘플링 외에도 DNN 구조는 성능에 영향을 주는 중요한 요소.

residual learning 기법 (주로 사용)

영상에서 고주파 성분의 디테일 정보만 추론하는 것이 상대적으로 쉬운 문제이기에 학습이 용이.

recursive learning

레이어 수가 많으면 표현적이 높지만 파라미터 수가 많아 학습이 어려움 -> 동일한 파라미터를 공유하여 여러 레이어에서 활용. (DRCN, DRRN)

그 외에도 dense connection, attention 등의 개념을 반영한 구조도 활용되고 있다.

​

3. 손실함수의 구성

추정된 고해상도 영상이 실제 고해상도 영상과 얼마나 가까운지를 반영하는 손실함수

$L_{l1}(\hat{I},I)=\frac{1}{hwc}\sum _{\ }^{\ }\left|\combi{\hat{I}_{i,j,k}-I_{i,j,k}}\right|$Ll1​(^I,I)=1hwc​ ∑ |^Ii,j,k​−Ii,j,k​|​

$L_{l2}(\hat{I},I)=\frac{1}{hwc}\sum _{\ }^{\ }\left(\combi{\hat{I}_{i,j,k}-I_{i,j,k}}\right)^2$Ll2​(^I,I)=1hwc​ ∑ (^Ii,j,k​−Ii,j,k​)2​

$h:\ height,\ w:\ width,\ c:\ channels$h: height, w: width, c: channels​

개별 픽셀 비교는 영상의 질을 반영하기 어려움. 때문에 컨텐트 손실함수 또는 텍스쳐 손실함수 등의 손실함수를 부가적인 손실함수로 같이 사용

컨텐트 손실함수: 인지적인 관점에서의 질을 평가하기 위해 도입된 손실함수

텍스쳐 손실함수: 복원된 영상과 원본 영상을 비교해 특성 관점에서 얼마나 비슷한지 측정

​

4. 공개데이터

초해상도 영상복원 알고리즘 개발에 주로 활용되는 공개데이터

공개데이터	영상 수	평균 해상도
BSDS300	300	367x435
BSDS500	500	370x432
DIV2K	1000	1437x1972
PIPM	200	482x617

5. 알고리즘 평가방법

최대 신호 대 잡음비(peak signal-to-noise ratio, PSNR)

$PSNR=10\cdot \log _{10}(\frac{L^2}{\frac{1}{N}\sum _{i=1}^N(I(i)-\hat{I}(i))^2})$PSNR=10·log10​(L21N​N∑i=1(I(i)−^I(i))2​)​

구조적 유사성(structural similarity, SSIM)

휘도, 대비, 구조 관점에서 얼마나 유사한가

MOS(mean opinion score)

주관적인 척도. 심사자들의 1~5점 점수를 평균낸 값.

​

6. 초해상도 영상복원 기법의 활용

여러 가지 컴퓨터비전 및 영상처리 응용 분야에 활용.

해상도 향상, 객체 검출, 시멘틱 세그멘테이션 성능 향상 응용으로 구분 가능.

​

7. 전망과 결론

빅데이터의 중요성이 커짐 -> 공개데이터 증가 -> 연구가 활발하게 진행 될 것.

​

이상준 (2021). 딥러닝 기반의 초해상도 영상복원 기법. 전자공학회지, 48(2), 34-41.

https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE10531864