지능형 CCTV 시스템 성능평가를 위한 영상 DB와 영상 주석도구 개발

\r\n

\r\n

[시큐리티월드=박장식 경성대학교 전자공학과 교수·이승재 한국인터넷진흥원 수석연구원] 이번 시큐리티월드에서 소개하는 ‘보안기술 설명서’에서는 지능형 CCTV 시스템 성능평가를 위한 영상취득, 영상 DB 구축, 평가방안을 제시한다. 영상취득은 각 시나리오에 대해 원거리, 중거리, 근거리 영역을 설정해 취득했다.

\r\n

\r\n\r\n\r\n

\r\n

영상 DB에는 영상녹화정보, 검출영역, 실측경보를 XML형식으로 기록한다. 이번 기사에서는 영상 DB 제작을 위해 효율적으로 실측정보를 기록할 수 있는 영상 주석도구를 제안하고자 한다. 영상 주석도구는 특정 영상에 대해 실측정보를 기록하고 지능형 CCTV 시스템의 출력경보와 비교해 검출성능을 평가하는 기능을 포함한다.

\r\n

\r\n

CCTV 관제 시스템(CCTV Surveillance System)은 시설관리 및 재난 대응, 방범, 교통관리 등의 목적으로 다양한 분야에 적용되고 있다[1][2]. 공공기관을 중심으로 설치된 CCTV카메라는 2013년 기준으로 약 65,000여 대며, 지속적으로 증가하고 있다. 이처럼 CCTV 카메라가 증가함에 따라 한정된 공간에서 관제사 1명이 감시해야 하는 영상 역시 많아지고 있다. 일반적으로 1인당 감시 가능한 카메라 수는 약 20∼50대다.

일반적으로 관제사들의 감시능력은 약 12분이 지나면 약 45% 정도가 떨어지고, 22분이 지나면 약 95% 정도가 감소한다. 따라서 효율적인 CCTV 관제 시스템 운영을 위해서는 영상 이해 및 인식기술을 기반으로 한 지능형 CCTV 시스템 도입이 필요하다.

\r\n

지능형 CCTV 시스템(Smart CCTV System)은 객체검출(Object Detection), 추적(Tracking), 상황인식(Event Detection) 등의 복합적인 영상처리기술(Video Processing)이 요구된다. 객체검출은 주로 보행자나 차량 검출에 필요하며, 상황에 따라 화염 또는 연기 검출 기법이 요구된다. 객체검출을 위해서는 객체의 특징점(Reature) 선택이 필요하며, 주로 Haar-like, HoG(Histogram of Gradient), LBP(local binary pattern) 등의 특징점이 활용된다.

객체 검출 알고리즘으로는 Adaboost 알고리즘, SVM(Support Vector Machine), Random Forest 등이 있다. 객체추적을 위해서는 전통적인 광학적 흐름(Optical Flow), Kalman 필터, Particle 필터, 객체의 특징에 따른 변형된 알고리즘들이 개발됐다. 상황인식은 인식하고자 하는 상황에 따라 경험적인 기법이 적용되고 있다. 예를 들면, 무단 침입의 경우 담 또는 철책을 경계영역으로 설정해 검출된 객체가 경계를 넘어갈 때 무단 침입으로 인지한다.

지능형 CCTV 시스템은 목표 객체 주변의 움직이는 객체에 의한 동적배경, 시간 및 계절, 일기 변화에 따른 조명 변화 등에 의해 정확히 상황을 인식하기 어렵다. 이에 동적배경과 실내 조명변화에 대응하기 위해 RGB-Depth 카메라 등을 적용해 상황을 감지하는 연구가 진행되고 있다[3-6].

동적배경과 조명 변화에 상황인식 성능이 높고 오검출률이 낮은 지능형 CCTV 시스템 구현을 위해서는 충분한 영상 DB 확보가 필요하다. 그리고 효율적인 영상관제 시스템 운영을 위해서는 지능형 CCTV 시스템과 이에 대한 공정한 성능평가가 필요하다. 이번 기사에서는 공정한 지능형 CCTV 시스템의 성능평가를 위해 실측정보 설정을 통한 영상 DB 구축 방안과 시나리오를 포함한 테스트베드 구축 방안을 제시한다. 이번 기사에서는 시설관리, 방범 및 재난 시나리오를 수립하고, 시나리오에 대응하는 영상 취득 및 DB 구축, 인증방안을 제시한다.

\r\n

\r\n

영상 DB 및 비디오 주석도구

\r\n

지능형 CCTV 시스템 성능평가를 위해 영국 내무부 산하의 HOSDB(Home Office Scientific Development Branch)와 CPNI(Centre for the Protection of National Infrastructure)는 i-LIDS(Imagery Library for Intelligent Detection System)를 개발했다. i-LIDS는 VBD(Vision Based Detection) 시스템의 성능을 평가하고 영상기반의 알고리즘과 미래 시스템 개발을 지원하는 목적으로 구축됐다.

현재까지 i-LIDS에는 이벤트 검출 시나리오 5종류와 다중 카메라 추적 시나리오 1종류에 대한 영상 DB가 구축돼 있다. 이벤트 검출 시나리오 5종류는 가방 방치(Abandoned baggage), 출입(Doorway), 자동차 주차(Parked Vehicles), Sterile zone, 적외선 영상을 포함한 신기술(New Technologies)이다.

\r\n

\r\n\r\n\r\n

\r\n

이벤트 검출용 영상은 시간, 기후, 배경활동 정도 등의 조건을 다르게 적용해 녹화한 약 24시간 분량의 시퀀스로, 신기술에 대해서는 약 48시간 분량이다. 각 시퀀스는 그림 1과 같이 영상분석 시스템의 훈련 시스템이 제공한 영상에 대해 적응할 수 있도록 3분 정도의 적응시간을 포함시켰다.

\r\n

\r\n

지능형 CCTV 시스템 성능평가 방안

\r\n

검출성능이 뛰어나고 오검출률이 낮은 지능형 CCTV 시스템을 개발·구현하기 위해서는 충분한 영상 DB를 확보해 동적배경과 조명변화에 강건한 검출 및 추적 알고리즘이 필요하다.

\r\n

\r\n

\r\n\r\n\r\n

\r\n

\r\n

시나리오 및 영상 DB 제작

\r\n

시나리오에 따른 영상 취득은 기본적으로 근거리, 중거리, 원거리 카메라를 설치해 동시에 영상을 취득했다. 이번 기사에서는 취득한 영상을 효과적으로 실측정보로 기록함으로써 영상 DB를 구축하기 위한 영상주석도구를 개발했다. 그림 2는 폭행 시나리오에 대한 실측정보를 기록하는 과정을 나타낸 것이다. 특정장소에서 폭행상황 발생 시점과 종료 시점을 나타낸 것이다. 그림 2의 (a)는 상황 발생 시작 시각을 기록하는 과정이며, (b) 폭력 상황이 종료된 시각을 기록한다.

\r\n

\r\n

\r\n\r\n\r\n

\r\n

그림 3은 특정 영상에 대한 실측정보를 기록한 결과다. 실측정보는 XML 형식으로 저장되고 크게 영상녹화정보, 검출영역, 실측경보로 구성된다. 영상녹화정보에는 해당 동영상 명칭, 녹화 카메라 위치, 동영상의 길이, 실측경보 발생 횟수, 촬영장소를 기록한다. 실외인 경우 이벤트 검출에 영향을 줄 수 있는 기상정보를 표시하고, 검출을 어렵게 할 수 있는 요소들을 기록한다. 검출영역에는 이벤트의 발생 영역을 표시하는 점들을 기록한다. 실측경보는 이벤트 발생시각, 경보의 종류, 경보 발생기간을 초 단위로 기록한다.

\r\n

\r\n

\r\n\r\n\r\n

\r\n

\r\n

성능평가 방안

\r\n

지능형 CCTV 시스템의 성능평가 시스템 구성도는 그림 4와 같다. 비디오 스트리밍 서버에서는 불규칙한 순서로 설정된 영상을 영상분석(Video analysis) 시스템에 전송한다. 성능평가 대상인 영상분석 시스템은 전송되는 영상에 대한 시스템 출력 로그를 실측정보와 같은 XML 형식으로 기록한다. 성능평가는 영상분석 시스템의 출력 로그와 실측정보를 비교해 진행한다.

\r\n

\r\n

\r\n

\r\n\r\n\r\n

\r\n

\r\n

\r\n

\r\n\r\n\r\n

\r\n

\r\n

표 1은 XML 형식으로 기록된 전송영상 리스트다. 그림 5와 같이 이 리스트에 기록된 순서대로 스트리밍 서버는 영상을 전송한다. 그림 5와 같이 영상 스트리밍 서버에 저장돼 있는 영상 클립을 순서대로 전송한다. 영상 클립의 전송 순서는 불규칙한 순서로 결정돼 있다.

\r\n

그림 5와 같이 영상 스트리밍 서버에서 순차적으로 전송한 영상에 대해 개발사의 지능형 CCTV 시스템은 이벤트 검출을 처리해 시스템 경보를 기록한다. 성능평가는 이벤트 검출 시각을 기준으로 평가된다. 따라서 지능형 CCTV 시스템에서 기록하는 이벤트 검출시각 기준 설정은 매우 중요하다. 각 영상 클립이 다시 연결되고 영상 시작 시각이 0 초일 때로 기준시각을 설정하고 이벤트 검출시각은 각 영상 클립의 영상 시작 시각을 0초로 기준해 이벤트 검출시각을 기록한다.

그림 5의 상황을 예를 들면, video1.mp4 파일이 전송되면 개발사의 지능형 CCTV 시스템에서 RTSP 세션이 종료된다. 스트리밍 서버에서 다음 영상을 연결해 전송하면, 지능형 CCTV 시스템은 영상 수신을 대기하고 영상 수신시점을 영상의 시작 시각, 즉 0초로 기준을 설정한다.

\r\n\r\n\r\n\r\n

\r\n

\r\n

이번 기사에서 기본적인 이벤트 검출 성능평가 기준은 영국의 i-LIDS와 유사한 기준으로 실시된다. 다만 i-LIDS에는 없는 화재검출 시나리오에 대해서는 화재의 특성을 반영해 그림 6과 같이 새로운 평가기준을 제시한다. 그림에서 상단은 실측정보고 하단은 시스템 출력 경보를 기록한 것이다.

사선으로 표시된 것은 화염이며 사각형은 연기경보다. 연기와 화염은 주기적으로 밝기와 농도가 변하기 때문에 일반적인 평가기준과 달리 이벤트 시작 시각과 이벤트 주기를 함께 적용해 검출 성능을 평가했다. 그림 6에서 연기의 경우, 이벤트 발생 10초 이내에 검출한 시스템 출력 경보에 대해 정상검출로 인정하고, 실측정보 기간 동안 발생하는 시스템 출력 정보는 무시한다.

\r\n

\r\n

성능평가 알고리즘

\r\n

성능평가는 실측정보와 시스템 출력 로그를 비교해 표 2와 같은 순서로 성능을 평가한다. 표 2에서 TP, FP, FN, IG는 각각 정상검출(True Positive), 오검출(False Positive), 미검출(False Negative), 경보무시(Ignore)를 의미한다.

i 단계에서는 전체 시스템 출력 경보에 대해 오검출로 기록하고 ii 단계에서는 초기 3 분이내의 경보를 무시한다. iii 단계에서는 시스템 출력 경보 중 이벤트 시작 시각을 기준으로 그림 1 또는 그림 6의 기준으로 실측 정보와 비교해 정상검출인지 미검출인지를 기록한다. iv 단계에서는 정상검출 10초 이내의 시스템 출력 경보에 대해, v 단계에서는 오검출 이후 5초 이내의 시스템 출력 경보에 대해 경보무시 처리한다.

\r\n

\r\n

\r\n\r\n\r\n

\r\n \r\n

표 3은 표 2의 성능평가 알고리즘에 대해 그림 1 상황에 대한 성능평가 알고리즘을 적용한 결과다. ii 단계에서는 3분 이내 경보를 무시했으며, iii 단계에서는 각각 5분 23초, 5분 39초, 6분 3초의 이벤트 검출 결과를 표시한 것이다. iv 단계는 정상검출 이후 5초 이내 재경보를 무시한 결과며, v 단계에서는 5분 54초에 발생한 재경보 즉, 오검출 이후 5초 이내에 발생한 오검출을 무시한 결과다.

\r\n

이번 기사에서는 지능형 CCTV 시스템 성능평가를 위한 영상 DB와 테스트베드를 구축하고 성능평가 체계를 제안했다. 영상 DB와 평가기준을 제시함으로써 효율적인 지능형 CCTV 시스템 개발을 지원할 수 있을 것으로 기대된다.

\r\n

\r\n

[참고문헌]

\r\n

[1] H.-M. Moon and S.-B. Pan, The Human Identification Method in Video Surveillance System, The Korean Institute of Information Technology, vol. 8, no. 5, May 2010, pp. 199-206.

\r\n

[2] H.-M. Moon and S.-B. Pan, The Analysis of De-identification for Privacy Protection in Intelligent Video Surveillance System, The Korean Institute of Information Technology, vol. 9, no. 7, July 2011, pp. 189-200.

\r\n

[3] C.-S. Won, S.-M. Kim, J.-S. Park, B.-W. Yoon and J.-K. Song, Hand Shape Recognition Based on Kinect and Analysis of the Performance, J. of the Korean Institute of Electronic Communication Sciences, vol. 7, no. 2, Nov. 2013, pp. 144-147.

\r\n

[4] B.-J. Choi, J.-K. Song, B.-W. Yoon and J.-S. Park, Smoke Detection using Kinect in the Indoor, Workshop on Image Processing and Image Understanding, Jeju, Korea, Feb. 2014.

\r\n

[5] H.-T. Kim, G.-Y. Kim, J.-K. Do and J.-S. Park, A Vehicle Detection and Tracking Algorithm Using Local Feature of the Vehicle in Tunnel, The Korean Institute of Information Technology, vol. 8, no. 8, Aug. 2013, pp. 1179-1186.

\r\n

[6] G.-Y. KIm, G.-H. Lee, J.-H. Kim and J.-S. Park Vehicle Detection Using Optimal Feature of Adaboost, The Korean Institute of Information Technology, vol. 8, no. 8, Aug., 2013, pp. 1129-1135.

\r\n

[글_박장식 경성대학교 전자공학과 교수·이승재 한국인터넷진흥원 수석연구원]

\r\n

[월간 시큐리티월드 통권 219호 (sw@infothe.com)]

\r\n

\r\n

<저작권자 : (www.securityworldmag.co.kr) 무단전재-재배포금지>