\r\n\r\n\r\n |
\r\n
\r\n
\r\n
초해상도 기술은 해상도가 낮은 이미지(저해상도 이미지)로부터 선명하고 해상도가 높은 이미지(고해상도 이미지)를 복원하는 방법이며 카메라로 촬영된 영상 등을 고정밀화하기 위해서 널리 이용되고 있다. 고해상도 이미지를 바르게 복원하기 위해서는 저해상도 이미지에서는 상실되어 있는 고주파 성분을 어떠한 수단으로 추정할 필요가 있다. 그 수단은 2종류로 나눌 수 있으며 복수의 저해상도 이미지를 이용하는 것을 복수매 초해상도, 피사체에 관한 정보를 미리 학습해 두는 것을 학습형 초해상도라고 부른다(그림1).
\r\n
복수매 초해상도1)은 같은 피사체가 다른 샘플링 위치에서 여러 번 촬영한 것을 전제로 그 샘플링 위치의 차이에서 생기는 영상의 차이로 고주파 성분을 추정하는 방법이다. 그 때문에 카메라나 피사체 둘 중 하나를 움직여야 할 필요가 있다. 하지만 카메라나 피사체 모두 움직이지 않았을 경우는 초해상도의 효과가 없다. 또, 피사체의 고정밀도 위치 맞춤이 필수고, 그 정밀도는 최저 고해상도 이미지의 1화소이하여만 하기 때문에 확대율(저해상도 이미지와 고해상도 이미지 크기의 비율)이 큰 초해상도에는 적합하지 않다.
\r\n
한편, 학습형 초해상도2)는 대량의 샘플 이미지를 사용해 저해상도 이미지와 고해상도 이미지의 관계를 미리 학습해 두는 방법이다. 학습방법으로는 모델 함수의 파라미터를 구하는 회귀 베이스의 방법과 샘플을 그대로 모델로 하는 사례 베이스의 방법이 있다. 회귀 베이스 방법은 일반성이 높아 여러 가지 피사체에 대응할 수 있지만 복잡한 모델은 취급할 수 없기 때문에 초해상도의 확대율을 크게 할 수 없다. 그것에 대해 사례 베이스 방법은 대량의 학습용 이미지를 패치라고 불리는 소영역으로 분할해서 그대로 이용하기 때문에 적용분야를 잘 한정하면 확대율이 대단히 큰 초해상도를 실현할 수 있다3).
\r\n
여기에서는 문자나 인간의 얼굴 등 특정한 피사체에 대해 고배율 고해상도 이미지가 복원 가능한 사례 베이스의 학습형 초해상도 방식을 제시한다. 이 방법은 미세한 위치 차이·흐림 상태의 차이에는 섭동학습으로, 미세한 변형에는 무게감을 준 거리·합성으로 각각 대처하기 때문에 효율과 성능의 밸런스가 좋아 피사체를 한정할 수 있는 경우에는 큰 효과를 발휘하는 것이 특징이다. 제안방법에 따라 감시 카메라에 비친 저해상도도의 자동차 번호판이 판독 가능해지는 등 기존의 초해상도 처리에서는 어려웠던 고배율 고정밀한 이미지의 복원이 가능해진다.
\r\n
\r\n\r\n
\r\n\r\n\r\n |
\r\n\r\n
\r\n\r\n\r\n |
\r\n제안방법 \r\n
제안방법은 고해상도 이미지와 저해상도 이미지로부터 잘라 낸 패치의 페어를 학습 데이터로 사전에 보관하는 사전 작성단계와 사전으로부터 입력 이미지에 적합한 패치를 탐색해 고해상도 이미지를 합성하는 초해상도단계로 이뤄진다. 방법에 대한 상세한 내용은 참고문헌4)을 통해 살펴볼 수 있다.
\r\n
\r\n
사전 작성단계
\r\n
사전 작성단계에서는 대량으로 있는 학습용 고해상도 이미지로부터 섭동(미세한 변형)에 의해 복수 종류의 저해상도 이미지를 생성하고 각각으로부터 잘라낸 고해상도 패치와 저해상도 패치의 페어를 사전에 보관한다(그림2).
\r\n
고해상도 이미지로부터 저해상도 이미지를 생성하기 위해서는 고해상도 이미지를 일정량만 흐리게 한 후에 일정한 간격으로 화소를 꺼낸다. 예를 들면 3배의 초해상도를 할 경우 표준편차 1.5화소의 가우스 보카시(흐릿하게)를 한 후 3화소 간격으로 화소를 꺼내면 1/3배의 저해상도 이미지를 생성한다. 흐릿하게 하는 양은 카메라의 설정 등에 따라 다르기 때문에 1.5화소, 1.875화소, 2.25화소 등으로 섭동시켜 여러 가지 입력 이미지에 대응할 수 있도록 한다. 또, 3화소 간격으로 화소를 꺼낼 때에도 어느 위치를 기준으로 하는가에 따라 미세한 위치 차이가 발생하기 때문에 예를 들면 종횡 2종류로 총 4종류의 미세하게 다른 위치에서 꺼내는 등의 섭동을 추가로 한다. 이 섭동을 조합시키기 때문에 흐림량 3종류, 차이량 4종류의 예에서는 1장의 고해상도 이미지로부터 총 12장의 저해상도 이미지가 생성된다.
\r\n
패치 페어는 저해상도 이미지로부터 잘라 낸 저해상도 패치(예를 들면 5×5화소)와 거기에 대응하는 위치에 있는 고해상도 패치(3배 확대한 경우는 15×15화소)를 페어로 한 것이며 이것을 그대로 사전에 보관한다. 모든 패치 페어를 보관하고자 하면 그 수는 몇 백만조 이상으로 방대해지기 때문에 유사한 패치를 삭제해 사전 사이즈의 비대화를 억제하고 있다.
\r\n
\r\n
\r\n
초해상도 단계
\r\n
초해상도 단계에서는 입력 이미지로부터 저해상도 패치를 잘라내고 거기에 가장 유사한 패치를 사전으로부터 탐색해 탐색된 고해상도 패치를 사용해서 고해상도 이미지를 합성한다 (그림3).
\r\n
저해상도 패치의 탐색에서는 밝기에 의한 영향을 회피하기 위해서 패치를 밝기 값의 벡터로 간주해 그 기준을 나누는 것으로 정규화한다. 또, 미세한 변형에 강건한 비교로 하기 위해서 패치 중심에서 멀어질수록 무게가 작아지도록 무게감을 준 유클리드 거리에 의해 패치간의 거리를 계산해 최소거리인 것을 유사 패치로 한다. 탐색한 패치 페어의 고해상도 패치를 서로 맞춰 붙여 고해상도 이미지를 합성한다. 이 경우도 저해상도 패치와 마찬가지로 패치 중심에서 멀어질수록 무게가 작아지도록 무게감을 줌과 동시에 입력 이미지의 저해상도 패치 평균값에 맞춘 밝기 보정을 한다. 이러한 저해상도 패치의 탐색과 고해상도 패치의 합성을 화소 단위로 독립적으로 실시하고 모든 결과를 무게감을 주어 합성하면 초해상도 결과인 고해상도 이미지를 얻을 수 있다.
\r\n
한편, 사전에 보관해 둔 패치의 수가 매우 많기 때문에 패치 탐색은 시간이 걸린다. 그래서 미리 기준을 정규화해서 무게감을 준 저해상도 패치를 K-Means Tree라고 불리는 나무구조에 보관해 둠으로써 고속의 근사 최근방 탐색5)을 실시하고 있다.
\r\n
\r\n
\r\n\r\n\r\n\r\n |
\r\n
실험결과
\r\n
방법의 유효성을 나타내기 위해서 실제 카메라로 촬영한 저해상도의 문서이미지, 번호판 이미지, 얼굴 이미지에 이 학습형 초해상도 방법을 적용한 결과를 제시한다.
\r\n
\r\n
\r\n
문서 이미지
\r\n
학습용 고해상도 이미지로서 포맷이 통일된 영문 예고집 50페이지 분을 사용해 PDF형식의 전자 데이터를 150dpi 이미지로 변환한 것을 사용했다. 실험에 사용한 저해상도 이미지는 동일한 예고집의 학습에 사용하지 않은 페이지를 인쇄하고 Web 카메라로 50dpi 상당이 되도록 정면에서 촬영했다. 제안방법에 의해 3배 초해상도를 실시간 결과를 그림4에 나타냈다. 카메라에 의한 노이즈나 흐린 상태의 양을 정확하게는 모르는 이미지인데도 불구하고 정밀하고 정확한 복원이 실현됐다. 이렇게 폰트나 문자 종류의 한정이 강한 상황에서는 제안방법이 대단히 유효하다.
\r\n
\r\n
\r\n
번호판 이미지
\r\n
다음으로 자동차 번호판에 적용한 결과를 볼 수 있다. 학습용의 고해상도 이미지로서 2,000장의 번호판 이미지(크기 통일)를 사용했으며 실험에 사용한 저해상도 이미지는 디지털카메라로 원거리에서 촬영한 것이다. 제안방법에 의해 8배 초해상도를 실시한 결과를 그림 5에 나타냈다. 원래 이미지는 13×7화소밖에 안 되지만 자동차 번호판이라는 지식을 사전으로 활용함으로써 4자리 숫자부분에 대해서는 정확하게 복원됐다.
\r\n
\r\n
\r\n
얼굴 이미지
\r\n
마지막으로 얼굴 이미지에 적용한 결과를 살펴본다. 학습용 고해상도 이미지로서 450명분의 얼굴 이미지(크기 통일)를 사용했으며 실험에 사용한 저해상도 이미지는 디지털카메라로 원거리에서 촬영한 것이다. 제안방법에 의해 4배 초해상도를 실시한 결과를 그림 6에 나타냈다. 사람의 얼굴을 패치로 이용함으로써 눈이나 입 등이 미세한 부분이 복원되어 있는 것을 알 수 있다.
\r\n
이번 원고에서는 피사체를 한정함으로써 고배율 고해상도 이미지가 복원 가능한 사례 베이스의 학습형 초해상도 방식을 살펴봤다. 제안방법은 섭동 학습과 무게감을 준 검색·합성에 특징이 있으며 문자나 얼굴과 같은 피사체에 대해서는 효율적으로 고배율·고정밀도의 초해상도 처리를 실시할 수 있다. 문서 이미지, 번호판 이미지, 얼굴 이미지의 각각에 적용한 결과로부터 제안방법의 유효성이 제시됐다. 앞으로의 과제로서 미학습 데이터에의 대응과 처리에 대한 효율 향상 등을 들 수 있다.
\r\n
\r\n
참고문헌
\r\n
1) 다나카, 오쿠토미: “화소수의 벽을 타파하는 복수 이미지로부터의 초해상도 기술”, 영상정보미디어 학회지, Vol. 62, No. 3, pp.337-342(2008)
\r\n
2) 다구치, 오노, 미타, 이다: “이미지 초해상도를 위한 폐루프 학습에 의한 대표 사례 학습 방법”, 전자정보통신학회 논문지 D, Vol. J92-D, No. 6, pp.831-842(2009)
\r\n
3) S. Baker and T. Kanade. “Limits on super-resolution and how to break them, IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 24, No. 9, pp. 1167-1183(2002)
\r\n
4) 시바타, 이케타니, 센다: “서브 픽셀 시프트 섭동에 의한 학습형 초해상도”, 이미지의 인식·이해 심포지엄(MIRU2012)
\r\n
5) M. Muja and D. G. Lowe, “Fast Approximate Nearest Neighbors with Automatic Algorithm Configuration, Int. Conf. Computer Vision Theory and Applications, pp. 331-340(2009)
\r\n
\r\n
<글 : 시큐리티월드 편집부>
\r\n
\r\n
[월간 시큐리티월드 통권 제195호(sw@infothe.com)]
\r\n
\r\n
<저작권자 : 시큐리티월드(www.securityworldmag.co.kr) 무단전재-재배포금지>
