인물 행동을 해석하기 위해 카메라가 관측하는 시야 내에 있어서 인물의 움직임을 계측하는 인물추적 기술은 필수 불가결하다. 특히 아침저녁의 혼잡한 역 구내, 이벤트장 등의 혼잡한 환경 속에서는 빈번히 발생하는 가림, 근접해 있는 복수 인물 구별 등 여러 가지 문제에 대처할 필요가 있다.

이번 연구에서는, 인물의 개인 특성 중 하나인 보용(步容) 특징과 인물의 국소적인 외관을 단서로 이용함으로써 혼잡한 환경 속에 있어서의 인물 추적을 실현한다. 보용 특징이란, 보폭이나 보행 주기에 따라 특징지어지는 인물 고유의 성질로 바이오 인증의 분야에서 이용되고 있는 지표이다.

또한 국소 영역에 있어서 인물 외관의 이용은 인물의 움직임이 주위와 유사한 경향에 있는 혼잡한 환경 속에 있어서 개개의 인물을 구별하기 위한 효과적인 지표가 된다. 여기에서는 이러한 지표를 이용한 추적 수법과 실제 혼잡 환경 속에서의 실험결과를 소개한다.

스기무라 다이스케(Sugimura Daisuke) / (주)후지츠 연구소, 오카베 타카히로(Okabe Takahiro)·사토 요우이치(Sato Youichi) / 도쿄대학, 키타니 크리스 마미(Kitani Kris Mami) / 카네기멜론 대학,  스기모토 아키히로(Sugimoto Akihiro) / 국립정보학연구소

머리말

컴퓨터의 고속화와 CCTV 카메라의 소형화, 저가격화에 따라 카메라 영상을 이용한 응용 기술이 주목 받고 있다. 그 중에서도 카메라의 관측 시야 내에 있어서 인물의 움직임을 계측하는 인물추적 기술은 인물의 행동을 해석하기 위해서 필수불가결한 기술이다.  

지금까지 제안된 인물추적 수법은 편의점이나 슈퍼마켓 등 주로 시야 내에 몇 명 정도가 존재하는 상황을 상정하고 있는 경우가 많다. 한편, 최근 아침저녁의 혼잡한 역 구내나 이벤트장 등의 혼잡한 환경 속에 있어서의 인물추적 기술에 대한 관심이 높아지고 있다. 혼잡 환경에 기인하는 사고, 사건의 미연 방지라고 하는 시큐리티 분야를 비롯해 시야 내의 사람수 자동 계측, 혼잡 해소를 위한 정보원으로써의 이용 등 여러 가지 분야에의 응용이 기대된다.

그렇지만 실제 혼잡 환경에 있어서 정밀한 추적을 실현하기 위해서는 빈번히 발생하는 가림, 근접한 복수 인물의 구별이라고 하는 여러 가지 문제에 대처할 필요가 있다. 이 때문에 지금까지 인물추적에 사용되었던 배경 차분을 이용한 검출 수법이나 외관을 단서로 한 시계열 필터링 수법은 혼잡 환경에 있어서의 인물추적에 적합하지 않다고 볼 수 있다.

최근 이러한 형상이나 외관을 이용한 추적 수법과는 다른 화상 안의 특징점의 움직임을 이용한 수법이 제안되고 있다1) 2) 4). 이러한 수법은 동일 인물에 속해 있는 특징점은 유사하게 움직인다고 하는 가정에 근거하여 특징점 궤적군을 움직임의 유사성과 위치관계를 단서로 클러스터링 함으로써 인물추적을 실현한다. 이러한 수법은 대상의 일부가 관측되어 있으면 추적이 가능하기 때문에 일반적으로 부분 가림에 강하다고 할 수 있다.

그럼에도 불구하고 혼잡한 상황 속에서는 군집 전체에 의해 형성되는 큰 움직임의 흐름에 따라 인물 개개의 움직임은 제한되기 쉽다. 이에 따라 인접하는 인물과 움직임이 유사한 경향에 있기 때문에 궤적 움직임의 유사성과 위치관계에 근거한 수법에서는 개개의 인물을 구별하기 어렵다.

이러한 문제에 대처하기 위해서 여기에서는 ①주파수 영역에 있어서의 보용 특징, ②국소적인 외관의 시간 변동이라고 하는 두 가지 다른 종류의 지표를 도입한다. 이것들을 특징점 궤적의 클러스터링 수법에 근거한 추적의 구조에 사용함으로써 혼잡 환경에 있어서 보다 정밀한 인물추적을 실현한다.

특징점 궤적의 클러스터링에 의한 인물 추적

이 방법은 영상으로부터 얻을 수 있는 특징점 움직임의 궤적군을 이용해 그래프를 형성하고 그것을 클러스터링 함으로써 인물추적을 실현한다. 그림 1에 이 방법의 개요를 나타낸다. 구축되는 그래프에 있어서 각 노드는 특징점 궤적을 나타내며, 또 각 노드 사이에 붙여지는 엣지의 무게는 특징점 궤적 간의 상위도를 나타낸다. 이것은 만약 엣지를 만드는 두 개의 특징점 궤적이 동일인물에 속하고 있다면 그 상위도는 작은 값을 취한다는 것을 의미한다.

처음에는 KLT 특징점 추적법5)에 의해 화상 안의 각 특징점 움직임의 궤적을 획득한다. 가림 등의 여러 가지 요인에 의해 특징점 궤적의 수가 감소되는 것이 염려되기 때문에 이 방법에서는, 선행연구4)에 있어서 실시되었던 것처럼, 매 프레임 새로운 특징점 검출을 실시해 특징점 궤적 수의 감소를 막는다. 신뢰도가 높은 특징점 궤적을 획득하기 위해서 얻어진 특징점 궤적군 가운데 ①거의 움직이지 않는 것(배경으로부터 추출된 특징점) ②연속적으로 변화하고 있지 않는(다음 프레임에 있어서의 특징점 위치가 잘못돼 먼 위치에 추정된) 것, ③궤적의 생존 시간이 짧은 것을 제거한다.

이상의 처리에 의해 얻어진 특징점 궤적군을 이용해 드로네 삼각형 분할 알고리즘에 의해 초기 그래프를 구축한다(그림1(a)).

궤적간 상위도(엣지의 무게)는 선행연구1) 2) 4)에 있어서 이용되었던 궤적간의 공간적인 관계, 움직임의 유사성에 근거하는 지표와 더불어 ①보용 특징, ②국소 영역 외관의 시간 변화의 두 가지 새로운 지표를 이용해 계산된다. 이 방법에서 각각의 성질은 독립되게 관측할 수 있는 것으로 가정해 최종적인 2개의 궤적 p, q간의 상위도 ep,q는 각 지표에 근거하는 상위도를 누적함으로써 계산된다. 각 지표에 근거하는 상위도의 대수를 취하면 상위도 ep,q는 다음 식에 의해 주어진다.

여기서 식(1)의 우변은 각각 보용 특징에 근거하는 상위도  , 국소적인 외관의 변화에 근거하는 상위도 , 공간 관계에 근거하는 상위도  , 그리고 움직임의 유사성에 근거하는 상위도 를 의미한다. 또한, 각각의 지표에 근거하는 상위도는 각 지표에 있어서 상위도의 최대치에 의해 정규화되고 있으며, 0에서 1의 값을 취한다. 이러한 지표의 자세한 내용은 다음 절에서 자세하게 설명한다.

만약 하나의 지표에 근거하는 상위도가 0이 되었을 경우, 다른 지표에 근거하는 상위도의 크기에 구애 받지 않고 최종적인 상위도는 항상 0이 되어 버리는 문제를 생각할 수 있다. 이러한 상황을 피하기 위해 이 방법에서는 몇 개의 지표에 의한 상위도가 0이 되었을 경우, 사전에 정한 정수 로 치환한다.

이상과 같은 지표를 이용해 계산된

(a) 그래프의 구축. 시간창T 내에 있어서의 특징점 궤적군을 노드로써 이용해 드로네 삼각형 분할 알고리즘을 적용함으로써 구성된다. 특징점 궤적(노드)을 연결하는 엣지가 가진 무게는 궤적간 상위도 ep,q를 나타낸다.

(b) 클러스터링 결과. 계산된 특징점 궤적간 상위도에 근거해 엣지를 제거함으로써 실현된다.

상위도를 바탕으로 구축된 초기 그래프는 몇 개의 부분 그래프로 클러스터링 된다(그림1(b)). 이 방법에 있어서의 클러스터링 처리는 궤적간 상위도가 어떤 역치 thp보다 큰 것을 제거함으로써 실현된다.

또한 클러스터링에 의해 얻어지는 부분 그래프 가운데, 속하는 노드의 수가 어떤 역치 ths 이하의 소부분 그래프는 제외하고, 나머지의 부분 그래프가 각 추적대상이라고 간주한다. 또 이 방법에서는 시간창 τ을 고려해 이 창 내에 있어서의 특징점 궤적군만을 고려한다. 시간창은 τ/4씩 두 개로 시프트 된다. 즉 τ/4시간마다 클러스터링 처리를 실시한다.

특징점 궤적 간의 상위도 계산

두 개의 노드(특징점 궤적) 간 엣지의 무게(상위도)는 보용 특징, 국소적인 외관 변동의 일관성, 그리고 선행연구에서도 이용되고 있는 공간관계, 움직임 유사성의 4개의 지표에 근거해 계산된다. 다음에서는 각각의 지표에 근거하는 상위도의 계산방법에 대해 자세하게 설명한다.

주파수 영역에 있어서의 보용 특징

주파수 영역에 있어서의 보용 특징은 개인 인증을 위한 단서로써 바이오 인식 분야에서 널리 이용되고 있는 것에서도 알 수 있듯이3) 개개의 인물의 식별에 매우 유효하다고 생각할 수 있다. 서로 근접한 복수의 인물이 같은 방향으로 같은 속도로 걷고 있는 경우에서도 각 인물의 보폭이나 보행주기는 다르기 때문에 그 주파수 특징에서는 각자 고유의 성질이 나타난다. 이것은 혼잡한 환경 하에 있어서 개개의 인물을 구별하기 위한 유효한 지표가 된다는 것을 시사하고 있다.

이 방법에서 보용 특징은 인물이 걸을 때 관측되는 수직 방향의 주기적인 움직임의 주파수 특징으로 나타난다고 가정한다. 이 가정에 근거해 우선 특징점 궤적의 움직임의 수직 방향 성분으로부터 보용 특징에 해당하는 주기적인 움직임을 추출한다. 구체적으로는 특징점 궤적에 대해 직선 적용을 실시해 추정된 선형 성분을 특징점 궤적으로부터 없앤다. 이것에 의해 수직 방향의 주기적인 움직임 yp(t)를 얻을 수 있다. 그림 2에 이 처리과정의 개략을 나타낸다. 이와 같이 하여 얻어진 주기적인 움직임 yp(t)에 대해 고속 푸리에 변환을 실시함으로써 보용 특징에 해당하는 진폭, 위상 스펙트럼을 획득한다.

보용 특징에 근거하는 두 개의 특징점 궤적간의 상위도  는, 진폭 스펙트럼과 진폭 성분이 가장 많이 포함되어 있는 주파수에 있어서의 위상 성분의 2개의 지표를 이용하는 것으로 계산된다. 진폭 스펙트럼 간 상위도는 각각의 궤적 진폭 스펙트럼 간의 유클리드 거리를 계산함으로써 구할 수 있다. 또 위상에 관한 상위도에 대해서는 위상차의 절대치를 이용한다. 이것으로부터 보용 특징에 근거하는 궤적간의 상위도는 다음과 같이 계산된다.

여기에서 은 p번째의 특징점 궤적의 k번째의 주파수대의 진폭 성분을 의미하고, 는 진폭 성분이 가장 많이 포함되는 주파수대에 있어서의 위상 성분을 의미한다.

국소 영역에 있어서의 외관의 일관성

국소 영역에 있어서의 외관의 시간적인 변화를 이용하는 것은 움직임의 주파수 특징이 유사한 경우에 있어서 효과적으로 활용할 수 있을 것으로 기대된다. 또 국소 영역에만 주목하고 있기 때문에 추적대상 전체의 외관을 필요로 하지 않는다. 그 때문에 부분 가림에 대해 강하다.

이 방법에서는 국소 영역이 연결된 3개의 특징점 궤적에 의해서 만들어지는 삼각 패치로 표현해 그 패치 내 외관의 시간 변동을 고려한다. 동일인물에 속하는 특징점 궤적에 의해 만들어지는 삼각 패치 내의 외관은 시간적으로 거의 변화하지 않는 것이 기대되지만 이것에 비해 다른 인물과의 사이에 만들어지는 삼각 패치는 배경이나 다른 인물을 포함하기 때문에 그 시간 변동은 커진다고 생각할 수 있다. 이러한 삼각 패치의 외관 변동의 차이를 계측함으로써 움직임이 유사한 경향에 있는 혼잡 환경에 있어서도 개개의 인물을 식별하는 것이 가능해진다.

외관에 관한 척도는 색 히스토그램을 비롯해 텍스쳐나 기울기 히스토그램 등 다양한 것을 생각할 수 있지만, 이 방법에서는 간단하기 때문에 HS(Hue-Saturation) 색 히스토그램을 이용한다. 구체적으로는, 시간창 τ내의 각 시각의 색 히스토그램h(t)과 그 평균색 히스토그램 h(_)의 Bhattacharyya 거리의 RMS(Root Mean Square)를 계산해 이것을 외관에 근거하는 상위도로 한다, 즉,

으로 나타낼 수 있다. 여기서 ts는 시간창의 최초의 프레임을 의미하고, d hist(,)는 Bhattacharyya 거리를 의미한다.

얻어진 상위도 는 삼각 패치를 구성하는 모든 엣지에 할당된다. 또 엣지는 서로 이웃하는 2개의 삼각 패치에 의해 공유될 가능성이 있지만 이 경우는 2개의 삼각 패치 중 상위도가 큰 쪽을 할당하는 것으로 한다.

공간관계와 움직임의 유사성

선행연구 1) 2) 4)에서 이용되고 있듯이, 이 방법에 있어서도 같은 식으로 특징점 궤적 간의 공간관계, 움직임의 유사성에 근거한 상위도를 평가한다.

만약 2개의 특징점 궤적이 동일인물에 속하고 있다면, 그것들은 공간적으로 가까운 거리에 있고(공간관계), 시간창 내에 있어서 같은 거리관계를 유지하기 쉽다(움직임의 유사성)고 생각할 수 있다.

그래서 이 방법에서는 시간창 내에 있어서 2개의 궤적간이 최대가 되는 거리를 공간 관계에 근거하는 상위도로써 이용한다. 또한, 시간창 내에 있어서 두 궤적간 거리관계의 표준 편차를, 움직임의 유사성에 근거하는 상위도로써 이용한다.

실험

이 방법의 유용성을 확인하기 위해서, 실제 군집의 영상을 이용해 각각 실험을 실시했다. 실험에 이용한 환경은, OS：Windows XP, CPU：Intel Core2 Quad 2.66 GHz, RAM：3.00GB이다. 효과를 비교하기 위해서 궤적 간의 상위도 계산에 있어서 보용 특징과 국소적 외관의 변화에 근거하는 지표를 제외한 것을 기준 시스템으로 이용했다. 이것은 즉 궤적간 상위도를 공간관계와 움직임의 유사성 지표만을 이용해 계산하는 것을 의미한다.

뒤에 나타내는 추적결과의 그림 안에 그려져 있는 추적대상의 외접 구형은 부분 그래프에 포함되는 특징점 궤적의 현 프레임에 있어서의 위치를 포괄하는 구형 영역에 대응한다. 또 같은 식으로 그림 안에 그려지는 굵은 선 궤적은 부분 그래프의 중심 위치의 궤적, 즉 추적대상의 동선을 의미한다.

CG 데이터를 이용한 추적 실험

여기에서 제안하는 보용 특징, 국소적 외관의 시간 변화의 두 지표의 유효성을 확인하기 위해서 근접한 2개의 타깃이 같은 방향으로 같은 속도로 움직이는 CG 데이터에 대해 실험을 실시했다. 또 보용 특징은 인물의 보행에 있어서의 수직 방향의 주기적인 움직임에서 나타난다고 가정하고 있기 때문에 타깃의 움직임에 수직 방향의 주기적인 움직임을 부가했다.

보용 특징의 이용 효과

이번 실험에서는 우선 보용 특징의 효과를 확인했다. 인접한 2개의 타깃은 같은 방향, 같은 속도로 움직이지만, 수직 방향의 주기적인 움직임의 주파수, 위상은 서로 다른 것으로 했다. 또 보용 특징의 성능 향상에의 기여 여부를 확인하기 위해서 이번 실험에서는 국소 영역에 있어서의 외관 변화 지표는 이용하지 않는 것으로 했다.

사진 1에 비교 결과의 일부를 나타낸다. 기준으로 한 시스템(사진 1(a))에서는, 근접하는 2개의 타깃을 하나의 큰 타깃으로 간주해 오추적하고 있는 것을 알 수 있다. 그에 비해 본 수법(사진 1(b))에서는 2개의 타깃을 올바르게 추적하고 있다는 것을 알 수 있다. 이것으로부터 보용 특징의 이용이 추적 성능의 향상에 기여하고 있다는 것을 알 수 있다.

국소 영역에 있어서의 외관 일관성의 이용 효과

움직임의 주파수 특징도 주위의 인물과 동조하는 개개의 인물 식별이 가장 어려운 케이스를 상정해 두 타깃의 움직임이 완전히 같은 순서에 대해 실험했다. 이러한 케이스를 실험함으로써 국소 영역에 있어서의 외관 이용 효과를 확인할 수 있다. 그 때문에 이번 실험에 있어서 기준으로 하는 시스템은 공간 관계, 움직임의 유사성, 그리고 보용 특징의 지표를 이용해 궤적간 상위도를 계산했다.실험 결과, 기준으로 한 시스템에서는, 앞 절의 실험과 같이 하나의 큰 타깃으로써 오추적했다. 그에 비해 국소적인 외관의 시간 변화를 이용한 것은 2개의 타깃을 올바르게 식별할 수 있다는 것을 확인할 수 있었다.

그림 3에 삼각 패치 내의 히스토그램 거리 의 변동 결과 예를 나타낸다. 십자점으로 플롯된 점군은, 하나의 타깃에 속한 어떤 하나의 삼각 패치의 히스토그램 거리의 시간 변동 결과를 의미하고, x점의 점군은 2개의 타깃 사이에 만들어진 것, 즉 배경을 포함한 하나의 삼각 패치의 결과를 의미한다. 이 결과로부터 알 수 있듯이, 배경을 포함한 삼각 패치와 비교해 하나의 타깃에 속한 삼각 패치 내의 히스토그램 거리는 시간적으로 격차가 작은 것을 파악할 수 있다. 이것으로부터 외관의 시간 변동에 근거하는 지표는 2개의 타깃을 식별하기 위한 유효한 지표이라고 할 수 있다.

실환경 하에서의 추적실험

이번 실험에서는, 각각 다른 장소로부터 촬영한 세 개의 시퀀스 (A), (B), (C)와 UCSD의 데이터 세트4)를 이용했다. 이 실험에서 이용한 파라미터를 표 1에 나타낸다. 엣지의 제거를 위한 역치 thp는 미리 획득한 상위도의 집합으로부터 결정했다. 구체적으로는 대상으로 하는 시퀀스로부터 파라미터 설정용의 짧은 스퀀스를 준비해 그것들에 대해 특징점 궤적군의 생성, 그래프 구축, 궤적간 상위도의 계산을 실시한다. 이와 같이 해서 얻어진 상위도의 집합으로부터 미디언치를 계산하고, 이것을 클러스터링의 역치 thp로써 이용했다.

또한 시간창 τ은, 일반적인 인물의 보행 주기(대략 1초)를 확보하도록 영상의 프레임 레이트에 따라서 결정했다.

사진 2, 사진 3에, 스퀀스(A)와 UCSD 데이터 세트에 있어서의 비교 결과를 나타낸다. 어느 씬에 있어서도 기준으로 한 시스템에 대해서 제안 수법이 보다 많은 인물을 올바르게 추적하고 있다는 것을 확인할 수 있다.

추적 성능을 정량적으로 평가하기 위해서 이번 실험에서는 재현율과 적합률을 이용했다. 또 이번 실험에서는 위양성(僞陽性)을, ①한 명의 인물에 복수의 클러스터가 생성되는 경우, ②복수의 인물이 한 명의 인물로서 추적되는 경우의 2종류로 했다. 표 2, 그림 4에 각 스퀀스에 있어서의 추적 결과를 나타낸다.

어떤 스퀀스에 있어서도 제안수법 쪽이 추적성능이 우수하다는 것을 알 수 있다. 특히, 재현율 측면에서 그 차이가 현저하고, 기준으로 한 시스템과 이 방법에서는 대략 2배 정도의 성능 차이를 볼 수 있다. 이것으로부터 보용 특징과 국소 영역에 있어서의 외관 시간 변동의 이용이 추적성능 향상에 크게 기여하고 있다고 견론내릴 수 있다.

마지막으로

여기에서는 인물의 보용 특징과 국소적인 외관의 일관성을 이용한 혼잡환경 하에 있어서의 인물추적 수법을 소개했다. 이러한 지표를 특징점 궤적의 클러스터링에 근거한 추적의 구조에 넣음으로써 정확성 높은 인물추적이 가능해진다.

인공 데이터, 실제의 군집 영상을 이용한 실험을 통해서 보용 특징은 혼잡환경에 있어서 개개의 인물 식별에 유효하다는 것을 확인했다. 더욱이 국소적인 외관의 시간 변동을 계측해 이용함으로써 국소 영역의 외관은 움직임이 유사한 경향에 있는 혼잡상황에 있어서 유효한 지표가 되는 것을 확인했다.

[권준 기자(sw@boannews.com)]

<저작권자: 보안뉴스(http://www.boannews.com/) 무단전재-재배포금지>