멀티 카메라 시스템은 보안 분야에서 뿐만 아니라 운동경기 내용 분석과 같은 다른 분야로 응용범위를 확대해가고 있다. 예를 들어, 축구 경기장을 8대의 카메라가 촬영한다. 이웃 카메라 간에는 촬영범위가 조금씩 겹치게 하여 놓치는 영역이 없도록 하고 있다.

각 카메라에서 개별 선수들의 움직이는 궤적을 추적하여 이웃 카메라에 정보를 제공한다. 한 경기 동안 연속해서 경기내용을 촬영하여 모든 선수들의 개별적 움직임 궤적을 파악해 낸다. 이렇게 함으로써 각 선수들의 운동량과 운동의 효율을 분석할 수 있다. 그림 1은 운동장에 여러 대의 카메라가 설치되어 있는 것을 보여주고 있다. 그림 2는 각 카메라에서의 선수 추적 및 종합적 결과를 보여주고 있다. 그림 3은 움직이는 객체의 검출 및 추적 후 종합결과를 나타내고 있다.

멀티 카메라 시스템의 핵심기술 요소

멀티 카메라 시스템은 사람의 동작을 여러 각도에서 분석하여 다양한 응용이 가능하다. 이때에도 카메라가 다양한 각도에 배치되어 행동분석을 하여 하나의 독립된 합성영상을 구성하고 이를 바탕으로 행동을 해석한다. 이와 같이 카메라 네트워크에 의한 움직이는 객체의 이해는 보안 분야뿐만 아니라 예술, 운동분석, 엔터테인먼트 분야로 확장되고 있다.

멀티 카메라 시스템은 카메라뿐만 아니라 각종 센서(화재, 압력, 먼지, 습도, 진동)도 네트워크에 연결되어 정보를 주변 카메라 등에 제공함으로써 각 카메라에서의 인식 성능을 높이고 있다. 한 예로 USN 환경에서 감지 센서와 PTZ 카메라의 결합을 통해 각종 제어 및 감시 시스템을 구성할 수 있다.

카메라 협업을 위한 구조 설계의 기본적인 형태는 2개의 카메라중 하나는 고정형이고 해상도가 높으며 다른 하나는 PTZ 카메라로서 주변을 자세히 관찰하는 것이다. 교통흐름을 분석하는 카메라 협업으로는 전방향(omni-directional) 카메라와 PTZ 카메라 연동이다.

멀티 카메라 협업에 있어서의 핵심기술 요소는 하나의 카메라에서 다른 카메라에 추적하는 목표물의 정보를 넘겨주는 핸드오프, 지속적인 객체에 대한 일관된 식별 정보값 유지, 동적인 자원할당 방안 등이다.

멀티 카메라 네트워크에서 동작제어 방법은 크게 3가지로 나눌 수 있다.

첫째는  Agent-Based Approach로서 각각의 카메라나 센서는 소프트웨어 에이전트로서 간주된다. 센서간의 역할 조정은 에이전트 통신에 의해서 이루어진다. 둘째는 게임이론 접근방법이며, 센서 역할 조정은 게임 지불방법에 기초한 상호작용에 의해서 이루어진다. 각각의 센서가 게임 참여자가 되어 지불하는 식이다. 셋째는 제어 이론 접근방법인데, 센서간의 역할조정은 제어 시스템에 의해 모델링된다. 센서의 행동은 과거와 현재의 상태를 고려하면서 제어된다.

멀티 카메라 시스템에서 카메라와 센서들 간의 조정과 제어 이슈가 중요한 문제이다. Mohan S Kankanhalli 교수가 AVS2011 학술대회에서 발표한 내용을 보면 조정과 제어에 관한 기술요소를 그림 3과 같이 분류하고 있다.

멀티 카메라 시스템 구성 시 유의사항

멀티 카메라 시스템에서 가능하면 각 카메라나 센서에서 입력 데이터를 해석하고 가공하여 네트워크의 부하를 줄이는 것이 좋다. 카메라로 입력된 영상의 분산된 처리는 영상전송의 필요성을 줄여 네트워크의 동작을 수월하게 한다. 카메라 외부로 영상이 전송되지 않게 함으로써 네트워크 이용자의 개인 사생활 보호를 유지하는 목적과 부합할 뿐만 아니라 카메라 사이에서의 상호협동도 가능하다.

따라서 네트워크 설계시 중앙 관제센터로 원 영상을 보내야 하는 시스템과 보낼 필요가 없는 시스템으로 나누어 설계를 할 필요가 있다. 원 영상을 보내는 경우는 무선망의 데이터 처리 부담이 크므로 유선망이 필요하다. 이 경우도 설치의 편리성과 응용에 따른 제약사항 때문에 무선 매시망의 구성이 동시에 이루어져야 한다. 무선망으로만 구성할 때는 비실시간으로 특이한 상황이 없는 시간대에 저속으로 영상을 보내도록 스케줄을 만들어야 한다.

또한 실시간 상황인지를 했을 때는 동영상이 아닌 몇 장의 정지영상을 보내는 방식을 사용해야 한다. 특히, 무선망으로 구성할 때는 각 카메라의 상황인지 정확도가 대단히 높아야 하고 처리결과 값들만 전송할 수 있어야 한다. 각 카메라에서 지능형 처리를 한 후 데이터 량을 최소로 줄여 전송속도가 높지 않으나 적당한 거리전송 능력을 가진 Zigbee로 전송하는 무선망을 구축하는 방안이 한 예가 될 수 있다. 데이터 전송속도가 높으며, 주파수 활용에 불편함이 없는 새로운 무선전송 방식도 고려할 수 있다.

멀티 카메라 시스템의 발전방향

멀티 카메라 시스템 구조에 있어서 처리의 효율성, 확장성 등을 고려할 때 개별적인 상황의 인식율을 높이는 세부기술의 향상과 더불어 미들웨어가 발전할 것으로 기대된다. 에이전트 기반 상황처리 개념의 도입도 점차 늘어날 것으로 예상된다.

시스템 레벨에서는 상황 처리가 메시지 게이트웨이와 중계기의 융합을 이끌 것이고 미들웨어 레벨에서는 프로그래머블 상황처리 엔진이 필요하다. 새로운 상황처리 언어도 기존의 상황처리 언어를 확장하는 의미에서 필요할 것으로 기대된다. 운용 소프트웨어의 중요성도 더욱 높아지고 있다. 시스템은 객체와 업무 중심(Object an Task Oriented)인 분산된 센서 네트워크로 구성될 것이다.

[글 : 박 구 만 | 서울과학기술대학교 매체공학과 교수(gmpark@seoultech.ac.kr)]

<저작권자: 보안뉴스(http://www.boannews.com/) 무단전재-재배포금지>