아날로그 화상의 디지털 복원

[시큐리티월드 요시다 히로미] 이번 연구에서는 2014년에 화상전자학회지에 게재된 ‘공간거리에 근거한 스크래치 결손 보완(문헌1)’을 보완 해설하고자 한다. 방식의 정량적 평가는 제안 논문을 따르고, 이번 연구에서는 방식을 보다 평이한 표현으로 바꾸고 이와 더불어 많은 응용한 예를 들어 설명한다.

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
아날로그 화상에 손상이 있을 경우 그것을 디지털 데이터화 후에 복구할 수 있다면 화상 본래의 가치를 되찾을 수 있다. 예를 들면 접히거나 긁힌 상처가 난 사진, 균열이 심한 그림, 주름이 진 종이문서 등이 그 구체적 예이다.

접히거나 긁힌 상처가 난 사진의 디지털 복구는 그 사진에 찍힌 배경이나 인물 본래의 모습을 볼 수 있다. 균열이 심한 그림의 디지털 복구는 가상 복구나 디지털 복원이라는 말로 바꿀 수 있다.

또, 이 기술은 그림 본래의 모습을 확인하는 것 이외에도 아날로그 그림을 복구할 때의 기준이나 그 검토 재료의 작성에 사용할 수 있다. 주름이 진 종이문서의 디지털 복구는 이제부터 보다 가까이에서 중요한 의미를 가진다.

먼저 종이문서의 디지털 데이터화는 전자서적의 보급, 사무서류의 전자화, 문헌의 데이터베이스화에서 볼 수 있듯이 일상생활에 깊이 침투해 있다. 또, 문서의 경우 데이터화에서 중요한 것이 문자정보가 정확하게 보존되는 것이다.

따라서 디지털 데이터화된 종이문서는 손상의 복구로 얻을 수 있는 혜택이 다른 예에 비해 명확하다. 쉬운 말로 하면 ‘읽을 수 없던 것이 읽을 수 있게 된다’는 혜택을 얻을 수 있다.

디지털 화상의 손상 복구방식
‘인페인팅’
디지털 화상의 손상 복구방식으로는 인페인팅을 들 수 있다. 인페인팅은 디지털 화상의 임의의 영역을 매뉴얼로 결손영역으로 지정하고, 지정한 영역을 그럴싸하게 보완하는 방식이다.

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
이 그럴싸함을 우도(尤度, Likelihood)라고 부르며, 인페인팅은 각 방식의 정해진 우도를 바탕으로 보완을 한다. 인페인팅은 엄밀히 말하면 손상 복구를 목적으로 한 방식은 아니다. 사진에 찍힌 특정 인물을 지우는 등 불필요한 영역의 소거가 목적이다.

또, 처음에 언급한 손상이 화상의 광범위에 고밀도로 분포되어 있으면 인페인팅은 적용할 수 없다. 구체적인 이유로서는 보완을 위한 우도를 계산할 수 없고 보완을 위한 화소를 준비할 수 없다는 2가지가 주된 이유이다.

이번 연구에서 소개하는 ‘공간거리에 근거한 스크래치 인페이팅(이하 스크래치 인페이팅)’은 이상을 배경으로 제안된 방식이다1). 이 방식은 보완 우도를 결손영역과 비결손영역의 공간거리로 해서 공간거리가 최소가 되는 화소를 보완한다.

상세한 성능평가는 문헌1)에 양보하기로 하고 여기에서는 방식의 특징에 대해 간단하게 기술한다. 스크래치 인페이팅은 종전의 인페인팅에 비해 다음에 나타내는 3가지의 특징이 있다.

첫 번째는 적용할 수 있는 화상의 범위가 대단히 넓다. 극단적으로 말하면 화상 중에 1점이라도 화소가 있으면 모든 결손영역을 보완할 수 있다.

두 번째는 보완 상황의 피드백을 필요로 하지 않는다. 종전의 인페인팅은 보완 우도를 계산할 때 그 시점에서의 보완상태를 고려할 필요가 있다. 그 때문에 보완의 처리와 우도 계산이 교대에 이루어진다.

한편, 스크래치 인페이팅은 화상의 초기 상태에서 모든 보완 화소를 결정할 수 있기 때문에 종전과 같은 피드백을 필요로 하지 않는다. 따라서 보완 속도가 대단히 고속이다.

세 번째는 ‘스크래치상의 결손(이하 스크래치 결손)’에 특화되어 있다. 스크래치 결손이란 본고 처음에 언급한 접히거나 긁힌 상처, 균열·주름과 같은 손상을 구성하는 가늘고 긴 결손이다.

스크래치 인페이팅은 결손이 스크래치 결손의 특징을 가지고 있으면 고속 고정밀도로 보완할 수 있다. 그러나 이 방식은 결손의 폭이 넓을 경우는 보완 정밀도가 현저하게 저하된다.


이번 연구에서는 먼저 인페인팅의 기초적인 개념을 설명한다. 이어 스크래치 인페이팅에 대해서 설명하고, 그 다음 스크래치 인페이팅의 적용 예를 소개한다. 마지막에서는 스크래치 인페이팅의 과제와 그 해결법에 대해서 소개한다.

인페인팅
인페인팅이란 원래 전문 기술자가 매뉴얼로 하는 것이다. 그리고 M.Bertalmio가 인페인팅을 고정밀도로 자동화했다2). 이 자동 인페인팅의 개념도를 그림 1에 나타낸다.

그림 1의 Ω이 화상의 결손영역, Φ가 비결손영역이다. 인페인팅은 Φ 혹은 Φ와 Ω에 걸쳐진 영역으로부터 우도를 계산하고, 그 우도가 최대화되도록 Ω을 보완하는 방식이다. 우도란 보완영역이 그럴싸해지도록 정하는 기준이다.

우도는 방식에 의해 다른데, 예를 들면 주요한 에지의 정합성, 밝기의 연속성 등이 대표적이다.

우도는 Ω을 보완할 때마다 계산한다. 보완은 경계영역에서 하는 것이 기본적이다. 그리고 Ω이 소실된 단계에서 인페인팅은 종료된다. 그림 2에 인페인팅 처리의 흐름을 나타낸다.

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n 화소 단위로 보완하는 방식
화소 단위로 보완을 하는 종전 인페인팅의 예를 들어본다3). 이 방식의 우도는 화소 값의 연속성이다. 그림 3에 그 개념도를 나타낸다.

그림 3의 L1∼ L3은 같은 화소 값을 가지는 영역이다. 지금 그림3에서 이것들이 결손영역 Ω에 의해 분단되어 있다. 이 Ω을 보완할 때 보완 결과는 L1∼ L3의 흐름을 유지하고 있는 것이 바람직하다. 이 방식은 그것을 우도로 해서 1점씩 보완해 간다.

패치 단위로 보완하는 방식
패치 단위로 보완을 하는 종전의 인페인팅 예를 들어본다. 이 방식은 보완을 패치(복수의 화소로 이루어진 뭉쳐진 영역) 단위로 하는 방식이다4). 보완 우도는 주요한 에지의 정합성이다. 그림 4에 그 개념도를 나타낸다. 그림 4에 파선으로 나타낸 구형 W2가 다음에 보완하는 영역이다. 그리고 구형 W1이 W2을 보완하는 패치로 생각되는 영역이다.

여기에서 우도로 참조하는 것은 W2의 비결손영역에 있는 검은색 선(에지)이다. 이 검은색 선은 W1을 W2에 포갰을 때 W1의 검은색 선과 일치한다. 따라서 에지의 정합성이 있기 때문에 우도가 높아 보완하는 패치로 생각할 수 있다.

스크래치 인페인팅
스크래치 인페이팅이 대상으로 하는 광범위·고밀도 스크래치 결손을 포함하는 화상의 개념도를 그림 5에 나타낸다. 그림 5의 흰색 선이 스크래치이며 인페인팅의 결손영역 Ω에 상당한다. 그림 5와 같이 결손영역이 광범위하고 동시에 고밀도로 분포되어 있을 경우, 종전의 인페인팅으로는 보완이 어렵다. 그 이유는 보완을 위한 패치를 확보할 수 없게 되고, 적절한 우도 계산을 할 수 없기 때문이다.

스크래치 인페이팅 처리의 흐름을 그림 6에 나타낸다. 그림 6의 Minimum Distance(최소 공간거리)가 이 방식의 우도이다. 여기에서 공간거리란 보완하는 화소와 비결손영역 화소와의 공간거리이다. 공간거리의 계산은 본고에서는 유클리드 거리를 사용한다. 스크래치 인페이팅은 이 공간거리가 최소가 되는 비결손영역의 화소를 보완하는 화소로 선택한다.

스크래치 인페이팅의 적용 예
이제부터 스크래치 인페이팅의 적용 예를 소개한다. 다루는 예는 회화화상, 정경화상, 문서화상 3종류이며, 각 화상에 있어서 2종류의 예를 제시한다. 하나는 스크래치 인페이팅의 성능한계를 나타내기 위한 결손이 광범위·고밀도이고 스크래치가 분포된 화상이다.

또 하나는 실제로 적용할 경우를 상정한 현실적으로 일어날 수 있는 스크래치를 포함하는 화상이다.

회화화상의 인페인팅
회화화상은 색이 만드는 저주파성분에 캔버스나 그림물감이 만드는 고주파성분을 포갠 화상이라고 생각할 수 있다. 따라서 회화화상이 저해상도이거나 결손 폭이 작으면 화소 단위로 보완을 하는 인페인팅이 효과적이다.

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
그러나 화상이 고해상도일 경우나 결손의 폭이 클 경우는 보완 후에 텍스처를 표현하는 처리 등을 도입하지 않으면 보완 결과에 위화감이 생긴다5). 그림 7, 그림 8에 스크래치 인페이팅에 의한 보완 결과를 나타낸다.

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
그림 7은 광범위·고밀도의 스크래치 결손을 포함하는 화상이며, 그림 8은 회화화상의 균열을 지정한 결손 화상이다. 그림 7의 보완 결과는 대체로 양호하지만 그림 8은 결손 폭이 크기 때문에 보완 결과가 단조로운 인상을 준다.

정경화상의 인페인팅
정경화상은 가장 보완이 어려운 화상 중 하나이다. 정경화상의 종류는 다방면에 걸쳐져 있기 때문에 특정한 화상 특징을 고려한 방식에서는 모든 화상을 양호하게 보완하기 어렵다.

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
그림 9, 그림 10에 스크래치 인페이팅에 의한 보완 결과를 나타낸다. 그림 9는 그림 7과 같이 광범위·고밀도의 스크래치 결손을 포함하는 화상이며, 그림 10은 촬영 대상 앞에 수목이 있어 그것을 불필요영역으로 지정한 결손 화상이다.

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
그림 9는 양호한 보완 결과가 나온 한편, 그림 10은 폭이 큰 결손영역에서 위화감을 주고 있다. 특히 복잡한 성 부분이 현저하다.

문서화상의 인페인팅
문서화상은 저주파영역(지면과 문자색)과 강한 에지(문자의 윤곽)의 조합으로 구성되는 화상이다. 따라서 보완 방식에 있어서는 에지의 정합성을 우도로 한 방식이 효과적이다. 그렇지만 이번 연구에서 다루는 것 같은 화상을 대상으로 할 경우는 우도 계산을 위한 Φ(비결손영역)를 확보할 수 없기 때문에 화소 단위로 보완하는 방식이 필요하다.

또, 문서화상은 보완 결과를 평가할 때 문자 읽기의 이해성이나 OCR소프트에 의한 인식률을 이용할 수 있다. 때문에 이번 연구에서는 읽기의 이해성을 확인한다.

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
그림 11, 그림 12에 스크래치 인페이팅에 의한 보완 결과를 나타낸다. 그림 11은 그림 7이나 그림 9와 같이 광범위·고밀도의 스크래치 결손을 포함하는 화상이며, 그림 12는 석비의 표면에 생긴 균열을 지정한 문서화상이다.

그림 11에 원래 기입되어 있던 문자는 ‘문서화상을 복원합니다. 복원 후 문서화상은 읽기 쉬워졌습니까? 복원 전 문서화상과 비교해 보십시오’이다. 스크래치 인페이팅에 의해 육안에 의한 읽기의 이해성이 어느 정도 회복되었는가는 독자에게 판단을 맡긴다.

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
그림 12는 폭이 큰 결손을 포함하기 때문에 보완 결과에 위화감은 있지만 읽기 이해성에는 문제가 없다는 결과가 나왔다.

맺음말
이번 연구에서는 ‘공간거리에 근거한 스크래치 결손 보완’에 대해서 소개했다. 또, 그 특성을 종전의 인페인팅에 대한 평가와 함께 나타냈다. 이 방식의 문제는 이전 연구에서 나타난 것과 같이, 결손 폭이 커졌을 때 보완 정밀도가 현저하게 저하된다는 점이다.

이 문제의 효과적인 해결책은 종전의 인페인팅과 조합시키는 것이다. 구체적으로는 결손 폭이 작은 영역을 스크래치 인페이팅으로 보완하고, 그 외 영역을 고정밀도 인페인팅으로 보완하는 것이다. 범용성을 중시한 방식으로는 예를 들어 문헌6)과 같은 방식을 들 수 있다.

그 외 과제로 결손영역의 지정이 있다. 스크래치 인페이팅이 유효한 화상은 광범위·고밀도에 스크래치가 분포된 것이며, 매뉴얼에 의한 결손영역의 지정은 곤란하다. 앞으로는 명확한 결손영역 지정을 필요로 하지 않는 인페인팅도 중요한 검토 과제가 될 것으로 생각된다.

이번 연구에서 소개한 스크래치 인페이팅은 종전의 인페인팅이라는 보완보다 업 샘플링에 사용되는 보간에 가깝다. 원리는 단순하고 기술적으로 유니크한 부분도 거의 없다.

이 연구에 있어서 새로운 것은 문제 제기, 즉 광범위·고밀도의 스크래치 결손을 포함하는 화상을 다룬 부분으로 있다고 할 수 있다.

이러한 결손을 포함하는 화상에서 인페인팅을 할 경우, 종전의 인페인팅을 적용할 수 없는 것은 문헌1)에 나타낸 것과 같으며, 또 그 사전처리로서 스크래치 인페이팅이 유효한 것은 문헌5), 6)에 적혀 있는 바와 같다.

앞으로 위와 같은 문제를 대상으로 한 방식이 등장하여 인페인팅의 성능한계를 끌어 올려 갈 수 있게 된다면 본 영역에 종사하는 사람으로서 더할 나위가 없을 것 같다.

참고문헌
1) H.Yoshida and Y.Iiguni : “Scratch Inpainting Method Based on Space Distance”, IIEEJ, Vol. 43, No.3, pp.374-382(Jul. 2014)
2) M.Bertalmio, G.Sapiro, V.Caselles, C.Balleste : “Image Inpainting”, Proc. ACM SIGGRAPH 2000, pp. 417-424(2000)
3) S. Masnou, J.M.Morel : “Level Lines Based Disocclusion”, Proc. IEEE Int. Conf. on Image Processing, Vol.3, pp.259-263(1998)
4) A.Criminisi, P.Perze, K.Toyama : “Region Filling and Object Removal by Exemplar-Based Image Inpainting”, IEEE Trans. on Image Processing, Vol.13, No.9, pp.1200-1212(2004)
5) Hiromi Yoshida : “Image Inpainting Method Based on Painting Texture”, IIEEJ, Vol.44, No.1, pp.77-84, (Jan.2015)
6) 시바타 히로키, 요시다 히로미, 이구니 요지 : “공간거리와 유사도 에너지에 근거한 2단계 영역 보간”, 2014전자정보통신학회 종합대회 강연논문집, D-11-56(March. 2014)

[글 시큐리티월드 요시다 히로미 / 오사카대학(sw@infothe.com)]

[월간 시큐리티월드 통권 228호(sw@infothe.com)]

<저작권자 : 시큐리티월드(http://www.securityworldmag.co.kr) 무단전재-재배포금지>