| 광역감시를 위한 양안 감시 카메라 시스템 | 2010.10.27 |
이 연구는 광역감시를 위한 고도의 양안 액티브 카메라 시스템에 관한 내용이다. 제안 시스템은 고분해능 엑츄에이터와 망원 렌즈 카메라를 이용하여 원거리에서도 원활하게 보행자를 추적하고 보행자의 상세한 영상을 연속적으로 촬영할 수 있다. 이 시스템은 양안 스테레오시를 사용하여 추적 대상의 거리와 배경물의 거리의 차이에서 추적 대상과 배경물을 구별할 수 있다. 복잡한 장면에서도 확실한 추적을 하기 위해 양안시차를 이용한 3차원 추적 화상 처리 알고리즘을 제안하여 추적 대상의 방향이 바뀌어도 배경에서 시작할 수 있도록 실현했다. 또한 이 시스템은 짧은 양안 기선 거리를 사용함으로써 스테레오 화상 간의 상관 대응 문제를 대폭 간략화 할 수 있다. 또한, 짧은 기선 거리에 의한 양안 폭주 운동 제어에서의 안정성 문제를 해결하기 위하여 이 시스템은 인간의 양안운동 신경 경로에 바탕을 둔 제어 모델을 사용하여 안정적인 양안 추적을 실현했다.
머리말 최근 안심할 수 있고 안전한 사회 인프라 구축에 대한 관심이 높아지고 있다. 그것을 위한 수단의 하나로써 공공의 안전을 확보하기 위한 감시 카메라 시스템 설치가 효과적이라고 인식되고 있으며, 거리에 설치된 감시 카메라의 수는 날마다 늘어나고 있다. 그러나 현재 실용화되고 있는 광역감시 카메라 시스템의 대부분은 화각(Angle of view)이 넓은 고정식 카메라를 사용하고 있으며, 감시범위가 넓은 반면 감시대상인 인물이나 사건의 자세한 영상 정보를 얻을 수 없다는 문제점이 있다. 그런 까닭으로 이러한 문제점을 극복하기 위해 PTZ(Pan/Tilt/Zoom) 카메라를 이용하는 감시 카메라 시스템이 개발되고 있다. PTZ 카메라 감시 시스템에서는 감시영역 안에 자세하게 보고 싶은 대상물에 카메라의 시선을 향하여 줌인하여 상세한 영상을 얻을 수 있다. 그러나 현재 PTZ 카메라 감시 시스템에서는 전제 조건으로 대상물이 거의 정지되어 있어야 한다. 왜냐하면 줌인 함으로써 카메라의 화각이 매우 좁아지기 때문에 대상물의 움직임에 따라 격렬한 영상의 흔들림이 발생하거나 대상물이 카메라 시야 밖에 이동해 버린다는 우려도 있다. 그렇기 때문에 PTZ 카메라 감시 시스템에서는 대상물의 움직임에 맞추어 PTZ 카메라의 방향을 항상 조정할 필요가 있다. 선행연구로 몇 가지의 자동 추적 PTZ 카메라 감시 시스템이 연구되고 있지만1)~3), 그것들은 감시영역을 옥내로 한정하고 있으며 옥외에서의 광역 감시에는 부적합한 시스템이다. 옥외에서의 감시에서는 배경이나 차폐물의 문제, 추적 대상물의 이동이나 회전 등 움직임에 대한 강건성 등이 필요하게 되며, 대상을 추적 감시하기 위한 화상 처리가 매우 어렵다는 문제가 있다. 이들 문제점 때문에 필자들이 알고 있는 한에서는 광역감시 연구에서 완성된 자동 추적 PTZ 카메라 시스템은 눈에 띄지 않는다. 여기에서는 광역 감시에서의 양안 감시 카메라 시스템을 제안한다. 제안하는 시스템에서 두 개의 카메라를 사람의 양 눈처럼 인접하여 배치한다. 이 시스템으로는 양안 스테레오시에 의해 거리 계측을 할 수 있기 때문에 거리의 차이에서 추적 대상물과 배경, 차폐물을 구별할 수 있다는 특징이 있다. 또한 양 카메라를 인접 배치함으로써 양안으로의 취득 화상에서 화상간의 차이가 미미해지며, 양안 스테레오 화상간의 대응이 매우 용이해지기 때문에 3차원 정보를 쉽게 계측할 수 있다는 특징이 있다. 그러나 이와 같은 카메라 배치로는 카메라 간의 기선거리가 짧아지며, 길이계측의 정밀도가 떨어진다는 단점도 있다. 그런 까닭으로 충분한 정밀도를 유지하기 위해서는 시야각이 좁은 고배율 카메라 렌즈를 사용하는 것이 불가피하다. 그렇기 때문에 시야각이 좁은 좌우의 카메라에서의 공통 시야를 유지하기 위해 좌우 카메라에서의 폭주각(輻輳角)을 협조적으로 제어할 필요가 있다. 필자들은 옥외 사용을 고려하여 감시거리를 3m~70m로 정하고, 옥외 사용이 가능한 양안 감시 카메라 시스템을 개발했다. 이번 연구에서 그 성능과 효과를 검증했다. 시스템의 구성과 동적 구조 그림 1은 제안하는 양안 감시 카메라 시스템의 구성도이다. 사람의 안구 운동에서 양안의 안구는 공역 운동(좌우의 연동된 움직임)과 폭주 운동(모이는 눈 방향의 움직임)을 하고, 항상 동일대상을 주시할 수 있다. 이 구조를 감시 카메라에 응용하기 위해 그림 1과 같은 카메라 시스템을 구성했다. Motor 1과 Motor 2에 의해 좌우 카메라에서 Pan 방향의 공역 운동 및 폭주 운동을 할 수 있다.
Camera 1과 Camera 3은 망원 렌즈 카메라이며, Camera 2와 Camera 4는 광각 렌즈 카메라이다. 이 시스템에서는 망원 렌즈 카메라와 광각 렌즈 카메라를 하나의 세트로 제어하고 있다. 이 망원 렌즈 카메라와 광각 렌즈 카메라를 조합함으로써 근거리에서 원거리까지의 폭넓은 감시거리를 실현할 수 있다, 거리가 먼 대상을 감시하는 경우에는 망원 렌즈 카메라에서의 화상을 이용하고, 거리가 가까운 대상인 경우에는 광각 렌즈 카메라에서의 화상을 이용하여 감시한다. Camera 5는 기반 부분에 고정하여 움직이지 않는 시야각 180도의 초광각 렌즈 카메라이며, 영역 전체를 감시할 수 있다. 그림 2는 폭주 평면에서의 좌표계이다. 이 시스템에서의 기선거리 1은 0.2m이다. 감시거리는 3m~70m을 상정하고 있기 때문에 카메라를 폭주시켜 감시대상을 촬영하는 경우, 좌우 카메라의 폭주각의 변화 범위는 약 0.16~3.82°이며, 화상의 회전 변환이 적기 때문에 스테레오 화상을 구축하기 위한 대응점의 대응이 매우 용이하다. 이 시스템에서의 카메라 해상도와 렌즈의 시야각을 표 1에 나타낸다. 사람의 두부를 직경 0.25m의 구체로 상정하면, 이 시스템에서 70m 앞의 사람의 두부는 망원 카메라의 화상상의 직경 57픽셀의 원형에 상당한다. 이것은 얼굴인식에 있어서 충분한 화소수이다.
본 시스템에서는 l=0.2m, ZT∈(3m, 70m)가 되며, 안길이 거리 ZT는 기선거리 l보다 훨씬 길기 때문에 øl-ør은 충분하게 작고, 식(1)은 식(2)에 근사할 수 있다.
여기에서 안길이 거리의 계측 오차에 대하여 생각하면, 안길이 거리 ZT의 미분은 식(3)으로 구할 수 있다.
이 시스템은 3단계의 움직임으로 구성된다. 우선 제1단계에서는 초광각 렌즈 카메라 Camera 5에 의해 감시범위 내의 이동물체를 검출한다. 이동물체가 존재하는 경우, 각 모터를 구동하여 그 이동물체에 도약운동(도약성 안구 회전 운동)에 의해 대략적으로 양안 카메라의 시선을 이동물체로 향하게 한다. 다음으로 제2단계로 양안 카메라 Camera 1~Camera 4를 이동 물체로 향하게 한 후, 양안 카메라에서 걷어 들인 영상에서 얼굴 검출을 한다. 얼굴을 검출하는 경우, 그 얼굴을 시표로 하여 양안 카메라는 그 얼굴에 향하게 하여 다시 도약운동을 한다. 마지막으로 제 3단계로 양안 카메라에서 시표를 원활하게 추적하면서 촬영함으로써 흔들림이 적은 선명한 얼굴 영상을 촬영함과 동시에 시표의 3차원 위치를 계측한다. 추적 화상 처리 알고리즘에 대해서는 ‘화상처리 알고리즘’ 부분에서 상세하게 해설한다. 이 연구에서는 시스템의 추적 성능을 평가하는 것을 목적으로 하고 있다. 그렇기 때문에 시선의 복수 감시 대상 간의 변환 타이밍, 흔히 말하는 멀티 타겟 감시 스트레티지(strategy)를 고려하지 않는다. 전술 제1단계와 제2단계에서 복수의 대상을 검출한 경우, 카메라 시축에 가장 가까운 대상을 추적 목표로 했다. 이 시스템에서 화상 처리와 모터 제어는 1대의 PC(Intel Xeon 3.16GHz, 4Core X2)에 의해 실현했다. 이 시스템의 화상처리 속도는 약 30fps이다. 화상처리 알고리즘
양안시차란 왼쪽 눈과 오른쪽 눈의 시점의 차이에 의한 양안상의 어긋남을 말한다. 그림 4에 주시점과 시차의 관계를 나타낸다. 좌우 카메라에서 렌즈 광학 중심과 주시점의 3점을 통과하는 원은 호롭터(horopter) 원으로 불리고 있으며, 호롭터 원 상에 존재하는 물체의 양안시차는 논리상 없다고 할 수 있다. 즉, 호롭터 원에 가까운 물체의 양안시차는 작고, 호롭터 원에서의 거리가 멀어질수록 물체의 양안시차는 커지는 특징이 있다.
이 시스템에서는 우선 추적대상이 되는 얼굴을 정한 후, 그 얼굴의 SIFT 특징점과 특징량을 추출하여 템플릿으로 등록한다. 추적할 때는 프레임마다 SIFT 특징점과 특징량을 추출하여 미리 등록해 둔 템플릿과 매칭하여4) 추적 대상의 위치를 검출하는 추적방법이다. 그러나 추적대상 자체의 회전이나 부분 차폐 등에 따라 매칭에 실패해 버리는 경우가 있다. 그런 까닭으로 템플릿을 갱신 또는 추가 등록을 할 필요가 있다. 그럴 때에는 배경이나 차폐물 등의 추적 대상에 속하지 않는 SIFT 특징점을 제외하여 등록하지 않으면 안 된다. 추적대상 이외의 SIFT 특징점의 제거방법에 대하여 해설한다. 이 시스템에서 좌우 카메라 시선은 항상 추적대상을 주시하도록 제어하기 때문에 템플릿 갱신이 필요한 경우에도 추적 대상은 반드시 주시점 가까이에 존재한다고 할 수 있다. 그렇기 때문에 추적 대상과 배경이나 차폐물 시스템에서의 거리차이를 고려하면 추적 대상의 양안시차는 배경이나 차폐물의 양안 시차보다 작다고 할 수 있다. 이 특징에 의해 SIFT 특징점에서의 양안시차의 크기에 따라 추적대상에 속하는 특징점인지의 여부를 판별할 수 있다.
양안 카메라의 협조 제어 이 시스템에서는 좌우 카메라 간의 기선거리가 짧기 때문에 폭주각의 오차가 시표거리 계측치의 정밀도에 큰 영향을 준다. 좌우의 카메라가 각각 독립적인 PID 제어 루프로 제어되고 있는 경우에는 폭주각을 안정시키기 위해서 각각의 모터 회전 운동에서의 전달 함수가 큰 시정수를 가질 필요가 있다. 그러나 시정수를 크게 하면 카메라의 시축을 가로지르는 방향으로 이동하는 물체의 추적이 어려워진다. 그래서 이 시스템에서는 인간의 좌안 안구 운동의 신경 경로에 의거한 양안 협조 제어 모델7)을 사용하여 폭주각의 안정화와 뛰어난 추적 성능 양쪽을 동시에 구현했다. 그림 6은 인간의 수평 양안 안구운동 신경경로의 수학 모델이다. σ, ν, κ, n, ρ1, ρ2는 안구 운동 모델의 게인이다. 이 안구 운동 모델을 해석하면, 이하의 식(4) 을 얻을 수 있다.
상기의 식(4)에서 알 수 있듯이 좌우 시축의 회전각 E1과 E2은 좌우 각각의 눈에서 시표 회전각 øl과ør의 합과 차의 결합이다. 즉, 모델에는 공역 운동항과 폭주 운동항 2개의 다른 1차계의 전달 함수가 존재하며, 공역 운동 시정수 Tc는 식(5), 폭주 운동 시정수 Tv는 식(6)으로 나타낼 수 있다.
시스템이 안정적인 계(系)가 되기 위해서는 σ>κ, ν>n, ρ1>ρ2를 만족할 필요가 있다.7) 본 연구에서는 다음과 같이 게인의 설정을 간단화한다.
이 시스템에서는 그림 6에서 나타낸 모델의 게인을 σ=50, ν=0.1, κ=0, n=0, ρ1=0.51, ρ2=0.49로 설정했다. 따라서 공역 운동 시정수 Tc는 0.022s가 되며, 폭주 운동 시정수 Tv=1s로 정했다. 양안 협조 제어 모델은 이 시스템에서 두 개의 중요한 역할을 한다. 거리 계측 노이즈를 큰 폭으로 저감하는 역할과 폭주각을 안정적으로 제어할 수 있다는 역할이다. 안정된 폭주각 제어에 의해 전장에서 기술한 양안시차에 의한 템플릿 갱신이 가능해진다. 왜냐하면 불안정한 폭주각 제어에 의해 시스템의 주시점의 위치가 전후 크게 흔들리게 되어 추적대상이 호롭터 원에서 멀어지기 쉬워진다. 그 결과 전장에서 기술한 방법으로의 템플릿 갱신은 할 수 없게 될 확률이 높고 결과적으로 시표 추적 성능이 저하되게 된다. 평가 실험 종래 방법에서는 원거리 추적에서의 문제점으로서 추적 대상의 회전이 문제가 되어 왔다. 종래의 방법에서는 추적 대상의 회전에 의해 추적 대상을 추적할 수 없게 된다는 문제가 있었다. 그래서 여기에서는 최초로 추적 대상의 회전에 대한 추적의 견뢰성(robustness)에 대한 평가 실험을 시행했다. 우선 양안시차를 이용하여 회전하는 추적 대상의 두부를 검출하는 실험을 했다. 약 3.3m 떨어진 위치에 있는 회전의자에 앉은 피험자를 이 시스템으로 주시했다. 광각 렌즈 카메라 Camera 2와 Camera 4를 이용하면, 피험자의 얼굴의 화상 사이즈는 약 100×100 픽셀이다. 피험자는 얼굴의 정면(0°)에서 10°씩 90°까지 회전했다. ‘화상처리 알고리즘’ 부분에서 설명한 방법에 의해 검출한 피험자의 두부에 속하는 SIFT 특징점의 수를 기록했다. 그림 7은 이 실험으로 얻어진 두부의 회전 각도에 대한 검출된 SIFT 특징점 중에서 두부에 속하는 특징점의 수를 나타낸 그래프이다.
이하의 표 2는 두부의 검출 방법에 관한 표이다. 이 표는 제안 시스템의 두부 검출 방법과 기존의 몇 가지의 두부 검출 방법의 비교를 나타내고 있다. 우리들의 제안 방법에서는 두부가 ±90° 회전해도 검출할 수 있다. 단, 두부는 배경물에서 조금 떨어질 필요가 있다. 종래의 SIFT 방법에서는 두부가 정면에서 ±20° 이상 회전하면 템플릿과의 매칭을 할 수 없게 되며, 두부 검출을 할 수 없게 된다. 또한 CAMShift법, Multi-level Affine Image Registration법 및 Shape Based Tracking법에서는 배경 노이즈의 영향을 받기 쉽고, 추적 대상 검출의 견뢰성에 결여된다.
그림 8(a)에는 프레임 시퀀스 안의 3쌍의 화상을 예로 나타냈다.
이 때 양안시차가 작은 SIFT 특징점(그림 안의 녹색점, 노란색 테두리선의 안에 둘러싸임)을 새로운 템플릿으로 등록하고, 이후의 추적에 이용한다. 마찬가지로 271, 352, 366, 386, 415, 651, 800 프레임에서도 템플릿과의 조합에 실패했기 때문에 양안시차가 작은 SIFT 특징점을 새로운 템플릿으로서 추가 등록하고, 이후의 추적에 이용했다.
다음으로, 제안 시스템의 3차원 추적 성능의 평가 실험을 했다. 그림 9는 이 시스템에서의 좌표계이다. 제안 시스템에 대하여 z축 상에 무한원의 시표를 주시하는 카메라의 방향을 카메라의 초기 위치로 하고, 공간상의 점 T의 좌표를 (XT, YT, ZT), 카메라 간의 기선 거리를 l로 한다. 좌표 원점은 좌우의 카메라 회전 중심의 한 가운데로 정했다. 2개의 카메라 회전 중심을 이루는 직선 방향을 X축, 시스템의 목 부분 모터의 회전축을 Y축, 시스템의 안길이 방향을 Z축으로 정한다. El(Er)은 왼쪽(오른쪽) 카메라의 회전 초기 위치에서 점 T까지의 Pan 방향의 회전각이다. Θ은 초기 위치에서 점 T까지의 tilt 방향의 회전각이다. ω는 목의 회전 각도이다. 점 T의 좌표는 하기 식 (7)~(9)로 구할 수 있다.
상기의 식(7)~(9)에서 알 수 있듯이 시표의 거리가 멀어질수록 El과 Er의 오차가 미치는 3차원 계측 오차는 커진다. 이번 제안 시스템에서 El과 Er의 오차에는 기어 감속기의 각도 전달 오차도 있기 때문에 원거리의 3차원 추적 정밀도는 충분하다고는 할 수 없다. 그런 까닭으로 3차원 추적의 정밀도 평가 실험은 근거리(3m~5m)만으로 했다(그림 10).
3차원 추적의 정밀도 평가 실험은 지면의 평평한 연구실 안에서 진행했다. 카메라의 Tilt 방향 회전축은 지면에서 약 1.23m의 위치에 설치되어 있다. 피험자가 사전에 결정한 직사각형 루트에 따라 걷고, 이 시스템에 의해 계측한 3차원 위치의 궤적과 피험자에게 걷게 한 궤적을 비교했다. 그림 10은 피험자에게 걷게 한 궤적과 이 시스템에 의해 측정된 궤적을 나타내는 그래프이다. 가는 선은 피험자에게 걷게 한 궤적, 굵은 선은 측정된 궤적이다. 측정된 궤적이 피험자에게 걷게 한 궤적과 대략 겹쳐 있음을 확인할 수 있다. 실험 결과에서 피험자에게 걷게 한 위치와 계측한 피험자의 위치와의 시간적인 동기를 취하는 것이 불가능하기 때문에 수치 평가로서 이 시스템이 계측한 위치와 피험자에게 걷게 한 궤적과의 직교 거리의 평균치, 표준편차, 최대 오차를 구하였다. 표 3에 그 결과를 나타낸다. 원거리에서의 추적 실험을 했다. 실험 조건과 결과를 그림 11에 나타낸다. 우선 그림 11(a)에 이 시스템 설치상황의 개관을 나타낸다. 이 시스템을 지면에서 약 26m의 높이인 건물에 설치하고, 건물에서 약 70m 떨어진 통로를 약 1.2m/s로 걷는 보행자를 추적시켰다. 결과로 얻은 수평 방향에서의 시표의 좌우 망원 카메라 화상 중심에서의 어긋남을 그림 11(b)에 그래프로 나타내고, 좌우의 망원 카메라에 의한 양안시차를 그림 11(c)에 그래프로 나타냈다.
맺음말 이번 논문에서는 양안이 인접하게 배치되는 감시 카메라 시스템을 개발했다. 이 시스템의 특징으로 크게 3가지를 들 수 있다. (1) 좌우 카메라를 인접시켜 배치하여 제어함으로써 양안이 동일 시표에 주시하고 있는 경우, 시표에 대한 양안의 시차가 작아지며, 양안 스테레오 화상의 대응이 용이해진다. 이에 따라 시표의 3차원 공간 위치 정보의 취득은 간단해졌다. (2) 추적대상의 거리와 배경의 거리를 구별할 수 있기 때문에 그 거리 정보를 이용하여 추적 대상을 배경과 나눌 수 있어 종래의 감시 시스템에서 회전하는 대상을 추종할 수 없다는 문제점을 극복할 수 있었다. (3) 사람의 양안 운동 제어 모델을 이용함으로써 양안의 공역 운동과 폭주 운동을 구별하여 제어할 수 있었다. 즉, 재빠른 공역 운동에 의한 대상의 추적을 실현할 수 있으며, 한층 더 안정된 폭주 운동도 가능해졌다. 그 결과, 짧은 기선거리에 의한 안길이 계측에서의 오차를 대폭적으로 줄일 수 있음과 동시에 안정적인 양안 추적이 가능해졌다. 앞으로는 이 시스템을 중심으로 네트워크형의 감시 카메라 시스템으로 확장하여 광역 감시에 적합한 고도의 감시 시스템으로 발전시켜 나가고 싶다. <글 : 곡우장(Gu Yuzhang), 사토 마코토(Sato Makoto), 장효림(ZHANG Xiaolin) 도쿄공업대학>
[월간 시큐리티월드 통권 제165호(info@boannews.com)] <저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지> |
|
|
|