Applications of Aerial Videos for Security Systems

[시큐리티월드 이와시타 유미] 이번 기고는 위성·항공 이미지를 이용한 보안 시스템에 대해서 소개하려고 한다. 먼저 위성 이미지의 응용 예시와 문제점에 대해서 이야기하고, 다음은 항공 이미지를 보안 시스템에서 활용하는 방안에 대해서 설명한다.

특히 항공 이미지에서는 촬영 이미지의 공간해상도 차이에 의한 취득 가능한 정보의 차이에 대해서 초점을 맞추고, 영상감시 시스템을 목적으로 한 물체 추적·인물인증을 위한 항공 이미지 처리에 대해서 설명한다. 또한, 보안 시스템 이외의 분야에 있어 항공 이미지의 향후 활용법에 대해서도 기술한다.

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
현재 없어서는 안 될 보안 시스템 중 하나인 영상감시 시스템은 지금까지 범죄 예방이나 교통 모니터링 등의 다양한 목적에 있어서 그 유용성이 확인되었다.

최근 영상 감시 시스템은 지상에 있는 CCTV 카메라를 이용한 시스템뿐만 아니라 위성 이미지나 항공 이미지를 이용한 시스템도 연구 개발이 진행되고 있다. 이번 기고에서는 먼저 위성 이미지의 응용과 그 문제점에 대해서 소개하고, 다음에 항공 이미지에 대해서는 응용 예시에 더해 보안 시스템에 관한 연구 개발에 대해서 소개한다.

위성 이미지와 항공 이미지
지구의 위성 이미지를 취득하는 대표적인 위성 중 하나로 1972년에 처음으로 쏘아 올려진 Landsat1)이 있다. 2013년에 8호기가 발사 됐으며, 위성에서 얻은 위성 이미지는 농업, 도시계획, 환경계측 등의 다양한 분야에서 사용되고 있다.

또, 위성 이미지는 경찰이나 군사관계에도 필수가 됐는데, 예를 들면 국제 수배된 오사마 빈 라덴의 거주지 범위를 좁힐 때 위성 이미지가 이용됐다고 알려졌다.

오사마 빈 라덴은 파키스탄의 남성 평균 신장과 비교해서 특출 나게 큰 193cm의 장신이었다. 그가 옥외에 있었을 때 촬영된 위성 이미지를 이용해서 그의 그림자로 신장을 추정했다고 알려졌다.

2005년 Google이 Google Earth를 발표한 이래, 위성 이미지는 일반 사람들에게도 친숙해 졌다. 그러나 위성 이미지를 간단히 손에 넣을 수 있게 된 한편으로, 문제점도 지적되고 있다.

2007년에는 이라크의 영국군 기지가 테러리스트에 의해 공격을 당했는데, 테러리스트들이 영국군 기지의 위치를 위성 이미지에서 입수한 것으로 알려졌다. 또, 위성 이미지에 핵연료시설 등의 중요한 시설까지도 고해상도로 찍혀 있어 테러리스트에 의한 악용의 위험성이 지적되었다. 현재는 저해상도로 낮춘 부분도 있지만, 범죄 등에서 악용되지 않도록 하기 위해서는 충분한 대책과 주의가 필요하다.

일반적인 위성 이미지는 고도 2,000km이상에서 촬영되고 있어 초광역 영역을 한 번에 촬영할 수는 있지만 공간해상도가 낮다는 문제가 있다. 한편, 비행기나 헬리콥터와 같은 위성과 비교해서 보다 저고도에서 촬영 가능한 기체를 이용함으로써 더 높은 공간해상도를 가진 항공 이미지가 촬영 가능해진다.

최근에는 멀티콥터로 대표되는 무인 저고도 비행체(Unmanned Aerial Vehicle, UAV)의 가격이 낮아지면서 일반인도 부담 없이 항공 이미지를 촬영할 수 있게 되었다. 예를 들면 DJI Innovations에서 대략 7만 엔이라는 저렴한 가격으로 초보자도 이용 가능한 UAV를 판매하고 있으며, 전문가용 역시 비용을 더 들이면 쉽게 구할 수 있다.

Google의 Project Tango에서는 Ascending Technologies의 UAV에 설치된 카메라를 이용해서 UAV가 이동할 때에 GPS로 위치 정보를 얻을 수 없는 경우에도 실시간으로 UAV의 3차원 위치 자세를 추정 가능한 시스템이 개발되었다.

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n

	그림 1. 항공 이미지

항공 이미지의 공간해상도를 활용한 보안 시스템에 관한 연구 개발도 활발히 이루어지고 있는데 그 중 하나로 안심할 수 있고 안전한 사회를 실현하기 위한 상공으로부터의 감시 시스템3)을 들 수 있다. 이 감시 시스템으로는 예를 들면 교통량 조사1) 2)나 옥외에 존재하는 인물의 추적·인증3) 등 시시각각 변화하는 장면을 대상으로 하기 때문에 비디오카메라를 이용해서 촬영된 시계열 이미지를 사용해서 처리가 이루어진다.

이 때 비디오카메라가 설치되어 있는 기체 자체가 이동하기 때문에 영상 속에서 촬영되는 영역도 시시각각으로 변화하게 된다. 그림 1. (a)에 그 예를 나타냈다. 특히 이미지 오른쪽 위의 건물에 주목하면 기체 자체의 위치 자세 변동을 잘 알 수 있다. 일반적으로 촬영된 연속 항공 이미지에서 차나 인물 등의 대상 물체를 추출하거나 추적 등의 처리를 적용하기 위한 전처리로서 시계열 이미지에 대해 위치 맞추기 처리가 적용된다.

그림 1. (a)는 그림 1. (b)에 나타내는 것과 같은 시계열 이미지로 변환된다. 다음에 위치가 맞춰진 시계열 이미지에 대해서 대상 물체의 검출·추적 등의 처리가 적용된다. 이 때 촬영 이미지의 공간해상도에 의해 대상으로 하는 물체의 검출·추적 성능이 크게 변화된다. 예를 들면 그림 2. (a)에 나타내는 것과 같이 해상도를 충분히 얻을 수 있는 경우에는 차와 인물을 사람의 눈으로도 확실하게 인식할 수 있다.

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n

	그림 2. 고해상도와 저해상도 항공 이미지

이 때문에 해상도가 높은 이미지를 얻을 수 있는 경우에는 대상 물체 추적뿐만 아니라 대상 인물의 ‘모습’에서 특정 인물을 발견하기 위한 인물 인증도 할 수 있게 된다4). 그러나 그림 2. (b)에 나타내는 것과 같이 해상도가 낮은 이미지의 경우 차는 육안으로 인식할 수 있지만 인물 영역은 인식이 어렵다. 실제로 이 그림 2. (b)에서 노란색 영역은 인물인 것에 대해, 빨간색 영역은 암석인데 형태로 양쪽을 분별하기는 어렵다.

이상의 예에서도 알 수 있듯이 이미지의 해상도에 따라 적절한 처리방법이 다르다. 다음 장에서는 최초의 처리로 소개한 항공 이미지의 위치 맞추기, 또 해상도에 따른 항공 이미지 처리에 대해서 소개한다.

항공 이미지 처리

항공 이미지의 위치 맞추기 처리
\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n

	그림 3. 위치 맞추기가 된 이미지 사이에서 건조물 영역에서 발생한 오차(시차)

먼저 촬영된 항공 이미지의 위치 맞추기를 하기 위해서는 대표적인 방법으로 호모그래피 행렬을 이용한 방법을 들 수 있다5). 이 방법은 구체적으로는 먼저 촬영 이미지에서 SIFT나 SURF 등의 특징을 추출한다. 다음에 촬영된 대상 영역은 주로 지면 등의 단일 평면으로 구성되어 있다고 가정하고 추출된 특징을 이용해서 이미지간의 위치 맞추기를 실시한다.

그림 3에 나타내는 것과 같이 촬영 이미지 내에 건조물 등 평면상에 없는 영역이 존재할 경우 위치 맞추기 전후에 지상면은 위치 맞추기가 되어 있는 것을 확인할 수 있는데, 건조물의 위치는 변동되어 있는 것을 알 수 있다. 이것은 시차(Parallax)라고 하며 시차에 의해 대상 물체의 오검출이 증가하는 문제가 지적되고 있다.

저해상도 항공 이미지 처리
다음에 위치 맞추기가 된 이미지를 이용한 이미지 해상도 차이에 따른 항공 이미지 처리에 대해서 이야기 해보자.

먼저 저해상도의 경우 앞에 기술한 것과 같이 대상 물체로부터 형태 정보를 얻기가 어렵다. 때문에 항공 이미지에 더해 지도정보를 사용함으로써 고속도로 등 차가 왕래하는 장소를 좁혀 도로 교통량 조사 등의 어플리케이션에 응용된다1). 그러나 예를 들면 GPS나 IMU 등의 센서가 탑재되어 있지 않는 경우에는 지도정보를 자동으로 부가할 수 없다. 또, 주차장 등의 장소에서는 차도 사람도 같은 장소를 왕래하기 때문에 지도 등의 사전 정보만으로는 사람과 차를 구별할 수 없다. 이에 대하여 사람, 차 및 그 이외의 물체를 식별하는 연구가 최근 활발히 이루어지고 있다?3)6).

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n

	그림 4. 촬영 이미지와 인물궤적

예를 들면, 저자들은 대상 물체의 동작 정보를 이용해서 인물만을 추출하는 수법에 관한 연구를 하고 있다. 제안 방법은 구체적으로는 먼저 칼만필터를 이용한 물체 추적을 실시했으며, 그림 4. (b)에 추적 결과의 일례와 각각의 참값 라벨을 나타낸다. 여기에서 사람이나 차 이외의 오검출이 많은 것을 알 수 있다. 이것은 앞에 기술한 시차에 의한 영향과 위치 맞추기 오차의 영향으로 인해 발생한다.

이 추적 결과로부터 사람만을 추출하기 위해서 제안 수법에서는 다음 3가지 성질에 주목했다. 첫 번째는 사람과 차는 매끄럽게 이동하는데 대해 노이즈 등과 같은 오검출된 물체는 랜덤하게 이동하는 성질이다. 두 번째는 사람과 비교했을 때 차는 고속으로 이동한다는 것이다.

마지막은 차의 영역 크기가 사람 영역의 크기와 비교해서 크기 때문에 차에 대한 형태 정보도 유효할 가능성이 있다는 점이다. 이 3가지 성질을 표현하는 특징을 이용해서 인물의 식별 실험을 실시했다. 그림 4. (d)에 식별 결과를 나타냈다. 이것으로 그림 4. (c)의 참값 라벨과 비교해 높은 성능으로 인물이 추출할 수 있다는 것을 알 수 있다.

고해상도 항공 이미지 처리
\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n

	그림 5. VIRAT 이미지의 일례(오른쪽 위에서부터 순서대로 파는 동작, 차의 보닛 개폐, 공중회전, 보행.)

다음에 항공 이미지의 해상도가 높을 경우 그 해상도를 활용해서 예를 들면 인물의 동작 인식이나 인물인증 등에 응용된다. 2011년에 Kitware 사로부터 ‘VIRAT’?7) 이라는 데이터베이스가 공개되었다.

이 데이터베이스는 지상의 거리 카메라로 촬영된 영상과 항공기에서 촬영된 영상을 포함한다. 특히 항공 이미지에서 동작 인식을 목적으로 한 데이터세트에는 달리거나 걷거나 공중회전 등의 동작 외에도 그림 5에 나타내는 것과 같이 지면을 파거나 차 보닛이나 도어를 여닫는 등의 복수 물체가 관계된 동작도 포함하고 있어 도전적인 데이터 세트가 되고 있다.

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n

	그림 6. 그림자 바이오정보

또, 항공 이미지에서 인물인증을 하기 위해 저자들은 세계 최초로 그림자 바이오정보를 제안했다4). 항공 이미지 속에서 인물이 그림 6. (a)와 같이 촬영된 경우 인물의 몸 영역으로부터는 바이오정보를 충분히 추출할 수 없다. 이에 대해 지면에 투영된 그림자를 사용함으로써 개인인증에 필요한 바이오정보가 추출 가능해진다.

제안 수법에서는 바이오정보 중 하나인 걸음걸이를 추출하여 개인인증을 실시했다. 또, 그림 6. (b)에 나타내는 것과 같이 인물의 몸 영역과 그림자 영역의 양쪽을 얻을 수 있는 경우에는 양쪽 영역으로부터 바이오정보를 얻을 수 있다.

여기에서 인물의 몸 영역은 카메라의 시점에서 촬영된 영역인 것에 대해, 그림자 영역은 태양을 시점으로서 촬영된 영역이라고 간주할 수 있다. 따라서 카메라가 1대라도 유사적으로 2시점에서 이미지가 촬영되었다고 생각할 수 있고, 인물의 몸 영역과 그림자 영역의 두 영역을 이용함으로써 인증 성능이 향상된다.

앞으로의 기대

항공 이미지의 다른 응용 예로서 재해 발생 전의 영상과 일정 기간이 경과한 뒤의 영상을 비교해 피해상황을 조사하는 것을 들 수 있다. 앞으로는 재해 발생 시에 실시간으로 사용할 수 있는 연구개발도 진행될 것으로 생각된다?8).

지상에 설치되어 있는 CCTV카메라 등은 재해 시에는 고장이나 단선에 의해 사용할 수 없을 가능성이 높다. 이에 대하여 예를 들면 UAV 등에 설치된 카메라를 사용해서 모든 장소의 정보를 실시간으로 취득할 수 있다면 상황 분석과 함께 예측도 가능해진다.

이 분석·예측정보를 바탕으로 피난하는 사람들에게 피난경로의 제시 등과 같은 지원을 즉시 제공할 수 있는 시스템이 구축된다면 재해 시에 매우 유용할 것이다.

참고문헌
1) K.Kanistras，G.Martins, M.J.Rutherford，K.P.Valavanis : “Survey of Unmanned Aerial Vehicles（CAVs） for Traffic Monitoring”，Handbook of Unmanned Aerial Vehicles, pp 2643-2666（2014）
2) V.Reilly，H.Idrees，M.Shah : “Detection and tracking of large number of targets in wide area surveillance”，European Conference on Computer Vision，pp.186-199（2010）
3) Y.Iwashita，M.Ryoo， T.Fuchs，C.Padgett : “Recognizing Humans in Motion : Trajectory-based Aerial Video Analysis”，British Machine Vision Conference（2013）
4) Y.Iwashita，A.Stoica，R.Kurazume : “Gait identification using shadow biometrics”， Pattern Recognition Letters, Vol.33，pp.2148-2155（2012）
5) M.Brown，D.G.Lowe : “Automatic panoramic image stitching using invariant features”， International Journal of Computer Vision，Vol. 74，pp.59-73（2007）
6) J.Zhu, O.Javed, J.Liu, Q.Yu, H.Cheng, H.Sawhney : “Pedestrian Detection in Low-Resolution Imagery by Learning Multi-scale Intrinsic Motion Structures（MIMS）”，IEEE Conference on Computer Vision and Pattern Recognition（CVPR）, pp.3510-3517（2014）
7) S.Oh, et al. : “A Large-scale Benchmark Dataset for Event Recognition in Surveillance Video”， IEEE Conference on Computer Vision and Pattern Recognition（CVPR）（2011）
8) A.Stoica, Y.Iwashita : “Self-deploying aerial observation network for real-time disaster and emergency monitoring”，International Conference on Emerging Security Technologies（2014）
[글 이와시타 유미 규슈대학 교수]

[월간 시큐리티월드 2016년 7월호 통권 234호(sw@infothe.com)]

<저작권자 : 시큐리티월드(http://www.securityworldmag.co.kr) 무단전재-재배포금지>