복수 방향에서 촬영된 인물의 수화물 소지 판정에 관한 검토

[시큐리티월드 가와니시 야스토모·아사이 야스히로·니시보리 겐토·데구치 다이스케·이데 이치로·무라세 히로시·다카하시 도모카즈] 경찰 수사에서는 대량의 CCTV 영상 속에서 대상 인물을 찾는 것에 방대한 인적 비용을 들여 사람 손으로 일일이 하고 있다.

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
화상처리를 이용해 CCTV 영상을 추려내는 것으로 이것을 지원하는 기술이 요구되고 있다. 그래서 우리는 CCTV 영상에서 검출한 인물이미지로부터 수화물 소지의 유무를 판정하는 것으로 인물 압축을 지원하는 것을 목적으로 연구를 하고 있다.

인물 압축은 누락을 얼마나 줄일 수 있는가가 중요한데, 1장의 이미지로 수화물 소지의 유무를 판정할 경우, 신체에 의해 수하물이 가려져 정확하게 판정할 수 없는 경우가 있다. 그래서 이번 원고에서는 우리가 제안한 복수 방향에서 촬영된 인물 이미지를 이용한 수화물 소지 판정 수법에 대해서 설명한다.

일본 경시청에서는 번화가에서의 방범대책으로서 ‘길거리 방범카메라 시스템’을 도입했다. 2013년 중에 경시청 본부에서 녹화한 415건의 영상 데이터 가운데 320건이 검거 활동·사안의 입건·해결 등에 활용됐다.

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n 사건이 발생했을 경우, 그 주변의 CCTV 영상에서 목격 정보 등을 바탕으로 수사 대상 인물을 찾을 필요가 있다. 사건이 발생한 장소 주변의 CCTV 영상으로부터 수사 대상 인물을 찾는 일은 CCTV의 수가 늘어날수록 거기에 찍히는 인물의 수가 늘어나기 때문에 방대한 인력과 시간이 필요하다. 그 때문에 이러한 인물의 검색을 화상처리로 지원하는 기술이 요구되고 있다.

성별이나 연령 등과 함께 수화물 정보는 목격 정보 등에 자주 사용되는 속성이며, 인물을 검색할 때 중요한 단서가 된다. 실제로 2013년 보스턴 마라톤 폭발사건에서는 CCTV 영상과 수화물 정보가 사건의 조기 해결 단서가 됐다. CCTV 영상에 찍힌 많은 인물 가운데 백팩이나 캐리어백 등 특정한 종류의 수화물을 소지하고 있는 인물만을 추려낼 수 있다면 인물 검색 비용을 대폭으로 절감할 수 있을 것이다.

수화물 종류에 의한 인물 압축이 실현되었을 때의 효과를 검증하기 위해서 수화물에 관한 간단한 통계정보 조사를 실시했다. 주부국제공항에서 15분간 총 198명의 수화물에 대해서 육안으로 조사한 결과, 그림 1과 같은 결과가 얻어졌다. 이 그래프에서 알 수 있듯이 수화물의 종류를 한정하는 것만으로 인물의 압축에 필요한 비용의 대폭적인 절감을 기대할 수 있다. 예를 들면 수사 대상 인물이 백팩을 가지고 있다는 것을 알았을 경우, 86%의 후보자를 제외할 수 있다.

수화물 소지 판정은 일반적으로 어떠한 물체를 소지하고 있는가 아닌가 하는 판정을 하는 수법과 백팩 등 특정한 물체를 소지하고 있는가 아닌가를 판정하는 수법으로 나눌 수 있다. 전자는 특정한 물체검출기를 이용하는 것이 아니라 실루엣이나 소지물과 사람의 위치관계 등에 착안한다.

Damen팀은 보행자의 실루엣을 축적해 소지품을 가지고 있지 않을 경우의 실루엣과의 차분을 구하는 것으로 어떠한 물체를 소지하 있는가 아닌가를 판정하는 수법을 제안했다. 한편, 후자는 백팩이나 가방 등 소지품별로 학습한 검출기를 이용하여 보행자 이미지를 스캔해서 소지품이 검출되면 소지, 검출되지 않으면 비소지로 판단하는 경우가 많다.

Chua팀은 Sling Bag과 Backpack을 대상으로 소지품 검출을 하는 수법을 제안했다. 소지품의 종류와 인물이미지의 방향별로 특화한 모델화를 하는 것으로 정밀도 높은 소지품 검출을 하고 있다.

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
우리는 지금까지 그림 2와 같이 수화물의 종류나 촬영방향의 차이에 의한 위치나 크기의 차이에 착목하는 것으로 1장의 인물 이미지로부터 종류 판별을 포함한 수화물의 소지 판정에 힘써 왔다. 인물 검색의 압축에서는 대상 수화물을 소지하고 있는데도 소지하고 있지 않다고 오판정하는 소지 검출 누락을 어떻게 줄일 것인가가 중요하다.

그러나 신체에 의해 수화물이 가려져 소지의 유무를 판정할 수 없는 경우가 있다. 그 때문에 복수 방향에서 촬영된 인물이미지를 이용해서 판정을 한 경우의 정밀도를 조사하고 고찰했다. 이번 원고는 그 수법과 조사 결과 및 고찰에 대해서 설명한다.

이후 그림 2 (d)와 같은 대각선으로 멘 숄더백을 숄더백(대각선), 그림 2 (e)와 같이 한쪽 어깨에 수직으로 메는 것을 숄더백(수직)이라고 표기한다.

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
수화물 소지 판정 수법
우리가 제안하고 있는 수화물 소지 판정 방법6)에 대해서 기술한다. 그림 2에 처리의 흐름을 나타낸다. 이번 방법은 ①판정 대상영역의 설정, ②식별기의 학습, ③수화물의 소지 판정으로 나누어진다. 이 중 ①, ②는 사전처리이다. 각 처리의 구체적인 처리는 아래와 같다.

판정 대상영역의 설정방법
수화물을 소지한 인물이미지를 다수 수집해, 수화물의 종류별, 촬영방향별로 소지 판정 대상의 영역을 설정한다. 판정 대상영역은 각 이미지 속 인물영역과 수화물영역의 상대적인 위치와 크기로 표현한다. 구체적으로는 먼저 수화물을 소지한 인물이미지를 다수 준비한다. 그 다음에 이 이미지 중 인물의 크기를 정규화 한다. 마지막으로 정규화한 인물영역을 기준으로 해서 전체 이미지 중 수화물영역을 포함하는 영역을 구하고 이것을 판정 대상영역으로 한다.

판정 대상영역은 수화물의 종류별, 촬영방향별로 독립해서 설정한다. 또, 수화물영역은 그림 2의 파선으로 나타낸 것과 같은 영역으로 한다. 숄더백에 대해서는 어깨에 메는 끈이 본체 부분의 형상에 관계없이 가장 숄더백의 특징을 나타낸다고 생각되기 때문에 끈 부분만을 판정 대상영역으로 했다.

식별기의 구축
학습용 영상을 이용해서 수화물의 종류별, 촬영방향별 식별기를 학습한다. 즉, 수화물의 종류 수×촬영방향 수개의 식별기를 구축한다.

학습용 영상으로서 정사례(판정 대상이 되는 수하물을 소지하고 있는 인물이미지) 집합과 부사례(판정 대상이 되는 수화물을 소지하고 있지 않은 인물이미지) 집합을 준비한다. 이 이미지에 대해 판정 대상이 되는 수화물의 종류와 촬영방향에 따른 판정 대상영역으로부터 이미지 특징량을 추출하고, 그것들을 이용해서 식별기를 구축한다.

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
수화물의 소지 판정
학습한 식별기를 이용하여, 다른 방향에서 촬영된 2장의 입력 이미지 속 인물이 판정 대상 수하물을 소지하고 있는가 아닌가를 판정한다. 여기에서 각 입력 이미지의 인물 촬영방향은 이미 알고 있는 것으로 한다.

먼저 학습과 동일하게 판정 대상영역에서 특징량을 추출한다. 그 다음에 이미지에 찍힌 인물의 방향에 대응하는 식별기에 그 특징량을 입력해 수화물 소지 유무를 판정 결과로 얻는다. 이것을 2장의 입력 이미지 각각에 대하여 적용해 그것들의 결과를 통합한다.

실제로 범죄 수사에서 이용하는 것을 생각하면 얼마나 재현율을 높일 수 있는가, 즉, 대상의 수화물을 소지하고 있는데도 소지하고 있지 않다고 오판정하는 소지 검출 누락을 줄일 수 있는가가 중요하기 때문에 이번 방법에서는 각 방향 판정 결과의 논리합을 그 인물의 수화물 소지 유무 결과로 채용한다.

이미지 특징 량과 식별기
이번 수법에서는 그림 1에 나타내는 집계결과를 바탕으로 수화물 가운데 대다수를 차지하는 캐리어백, 백팩, 숄더백(대각선), 숄더백(수직)의 4종류를 판정 대상으로 한다.

수화물의 종류에 따라 유효한 이미지 특징량이 다를 것으로 생각되나 어느 수화물에 대해서도 인물 및 수화물의 윤곽에 가장 특징이 나타나기 쉽다고 생각되기 때문에 에지에 착안한 특징인 HOG(Histograms of Oriented Gradients)7)를 이용한다.

한편, 캐리어백과 백팩에 대해서는 소지하는 사람이나 수화물의 크기 차이에 따라 위치의 편차가 클 것이다. 그래서 위치 차이에 강건한 특징량으로 특히 HOG를 이용한 BoF(Bag of Features)8)를 특징량으로 채용한다. BoF는 벡터 양자화된 국소특징을 이용하는 것으로 이미지를 국소특징의 집합으로서 생각하는 것이다.

식별기로는 일반적으로 2클래스 식별문제에 대해서 높은 성능을 가진다고 여겨지는 SVM(Support Vector Machine) 식별기를 이용한다.

수화물의 소지 판정 실험
2 방향에서 촬영된 인물이미지를 이용한 수하물 소지 판정의 유효성을 확인하기 위해서 실험을 실시했다.

실험 조건
실험을 하는데 있어서 먼저 데이터셋(Dataset)을 작성했다. 역 등에 있는 일반적인 CCTV는 3∼4m 높이의 장소에 30∼40도 부각으로 설치되어 있다. 이번 실험에서는 실제의 CCTV 영상을 이용하는 것을 상정하여 같은 조건이 되도록 카메라를 설치해서 촬영했다.

수화물로서 캐리어백, 백팩, 숄더백(대각선), 숄더백(수직) 4종류를 준비하고, 이 수화물의 소지 유무, 인물, 촬영방향을 바꾸어 총 2,112장의 이미지를 촬영했다. 그림 4에 데이터셋 중의 이미지 예를 제시한다.

위에서 순서대로 캐리어백, 백팩, 숄더백(대각선), 숄더백(수직)이다. 이들 이미지에 대하여 사람 손으로 일일이 수화물 소지 유무, 인물영역과 수화물영역의 위치, 인물 ID, 촬영방향 정보를 부여했다.

2 방향에서 촬영된 인물이미지로부터 수화물의 소지 유무를 판정하는 실험을 실시했다. 비교 수법으로서 1방향 이미지로부터 수화물 소지 유무를 판정하는 수법을 이용했다. 평가에는 재현율과 적합율 및 그 종합적인 평가인 F값을 이용했다.

\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
\n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n \n
실험 결과 및 고찰
표 1에 수화물 소지 판정의 정답율을 나타낸다. 비교 수법은 8방향의 결과를, 제안 수법은 2방향 모두의 조합 결과를 평균한 것이다.

제안 수법에 의한 결과가 모든 지표에 있어서 가장 높아 그 유효성이 확인되었다. 특히 재현율은 1방향만 사용하는 비교 수법의 경우 0.827인데 대해 2방향을 사용하는 제안 수법은 0.965로 크게 향상되었다. 이것에 의해 압축을 할 때 중요한 소지 검출 누락의 감소를 실현할 수 있다는 것이 확인되었다.

그림 5는 인물이미지 2장의 각도차이별 정밀도 차이를 나타낸다. 각도차 0도는 1 방향만의 이미지로부터 소지 유무를 판정하는 것과 등가이다. 이 그래프로부터 2방향에서의 인물이미지를 이용하는 것이 어느 각도차에서도 1방향만을 채용할 경우보다 높은 정밀도를 얻을 수 있다는 것을 알 수 있다.

그림 6에 백팩 식별기에서 동일 인물의 2방향 결과를 통합하는 것으로 판정에 성공한 예를 제시한다. 1 방향만으로 판정했을 경우, 오른쪽 예에서는 백팩이 옷에 파묻혀 정확한 판정을 할 수 없었지만, 왼쪽 예와 같은 비교적 판정이 간단한 다른 방향에서의 결과를 채용하는 것으로 최종적인 결과로는 맞은 판정을 할 수 있었다. 단, 이 수법에서는 검출 누락은 크게 줄일 수 있지만, 과검출이 증가할 것으로 생각된다. 그 때문에 각 방향에 있어 판정 정밀도를 고려하여 2방향의 결과를 통합하는 것이 가능하면 정밀도 향상으로 이어질 가능성이 있다.

맺음말
이번 연구에서는 CCTV 영상 중의 인물 검색을 지원하는 것을 목적으로 해서 화상처리에 의해 인물 이미지로부터 특정의 수화물 소지 유무를 판정하는 방법6)에 대해서 설명했다. 앞으로의 과제로서 인물의 촬영방향을 추정하는 수법의 도입과 수화물의 색 정보 등 더욱 상세한 정보에 의한 검색 등을 들 수 있다.

감사의 말씀
본 연구의 일부는 문부과학성 선도적 창조과학기술개발비 보조금 및 과학연구비 보조금으로 이루어졌다.

참고문헌
1) 경시청, “길거리 방범카메라 시스템”
http://www.keishicho.metro.tokyo.jp/seian/gaitoukamera/gaitoukamera.htm, referred on 10
(Jan.2016)
2) M.Arsenault, B.Bender, M.J.Valencia, and M.Cramer, “Edging toward Normal with Healing Still to Do; FBI Was Warned 2 Years Ago of Alleged Bomber”s Radical Shift”, The Boston Globe, 21(Apr.2013)
3) D.Damen and D.Hogg, “Detecting Carried Objects in Short Video Sequences”, Proc. of 10th European Conf. on Computer Vision (ECCV 2008), Part III, Lecture Notes in Computer Science, Vol.5304, pp.154-167(Oct.2008)
4) T.W.Chua, K.Leman, H.L.Wang, N.T.Pham, R.Chang, D.D.Nguyen, and J.Zhang, “Sling Bag and Backpack Detection for Human Appearance Semantic in Vision System”, Proc. of 2013 IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems, pp.2130-2135.3 (Nov.2013)
5) 아사이 야스히로, 데구치 다이스케, 다카하시 도모카즈, 이데 이치로, 무라세 히로시,”수화물의 종류와 방향을 고려한 인물이미지로부터의 수화물 소지 판정에 관한 검토”, 신학기보, PRMU2013-87 (Dec.2013)
6) 아사이 야스히로, 니시보리 겐토, 데구치 다이스케, 다카하시 도모카즈, 이데 이치로, 무라세 히로시, “복수 방향에서 촬영된 인물의 수화물 소지 판정에 관한 검토”, 신학기보, PRMU2013-114, (Jan.2014)
7) N.Dalal and W.Triggs, “Histograms of Oriented Gradients for Human Detection”, Proc.of 2005 IEEE Computer Society Conf. on Computer Vision and Pattern Recognition, Vol.1, pp.886-893(June 2005)
8) G.Csurka, C.Bray, C.Dance, and L.Fan, “Visual Categorization with Bags of Keypoints”, Proc. of ECCV 2004 Workshop on Statistical Learning in Computer Vision, pp.59-74(May 2004)
[글 가와니시 야스토모·아사이 야스히로·니시보리 겐토·데구치 다이스케·이데 이치로·무라세 히로시/나고야 대학, 다카하시 도모카즈/기후쇼토쿠가쿠엔 대학]

[월간 시큐리티월드 통권 237호(sw@infothe.com)]

<저작권자 : 시큐리티월드(http://www.securityworldmag.co.kr) 무단전재-재배포금지>