실제환경에서 인물추적 시에는 조명변화나 주변 사물 등과 같은 환경 변동이나 체형·복장·자세 등과 같은 추적 대상의 다양성에 대응할 필요가 있다. 이번 원고에서는 인물을 머리·몸통 등을 각 부위로 분할해 자세 변동에 따른 대상의 바깥 윤곽 형상이나 각 부위의 외관 변화를 통계적으로 모델화함으로써 색 히스토그램이나 휘도 구배 등과 같은 간단한 특징으로도 정밀도 높은 추적이 가능해지는 방법을 소개한다. 또한, 부위별 우도 평가나 자세 변동을 고려한 모델을 사용함으로써 차폐나 자세 변화 등과 같은 실제 환경 아래에서의 다양한 과제에 대해서도 확실한 추적을 실현했다.

\r\n

\r\n

하시모토 기요시·가가야 도모유키·가타오카 히로카쓰·아오키 요시미쓰┃게이오기주쿠대학

\r\n

후지타 미쓰코· 다나비키 마사모토┃파나소닉

\r\n

\r\n

공공의 공간이나 상업시설 등과 같은 실제 환경 아래에 있어 인물의 행동 인식, 이해는 방범이나 마케팅, 휴먼 인터페이스 등의 다양한 응용을 기대할 수 있는 컴퓨터 비전의 중요한 과제다. 이러한 행동 인식은 이미지 속 인물을 검출해 추적하면서 그 인물의 상태를 시계열로 분석하는 것으로 이뤄진다. 그러나 시간의 경과와 함께 변화하는 대상을 추적하는 것은 간단하지 않았으며 이를 해결하기 위한 다양한 방법들이 제안돼 왔으며, 조명 변화나 외관의 변화에 대응하기 위해서 색 히스토그램으로 대상을 모델링하는 방법 1), 2) 이나 운동 모델에 의한 대상의 움직임 예측과 우도를 평가하면서 샘플링 하는 파티클 필터에 의해 차폐에 대응하는 방법 3), 4) 등이 대표적이다. 이들 방법을 사용하면5) 감시카메라 영상 속 복수의 인물이 오가는 장면에서도 비교적 정밀도 높은 추적이 가능하다.

\r\n

\r\n

그러나 이러한 방법은 모두 보행자를 추적 대상으로 하고 있으며, 보행 중 혹은 직립 중인 상태의 인물만 고려하고 있는 경우가 대부분이다. 따라서 쭈그리고 앉은 자세, 앞으로 기울인 자세와 같은 대상의 자세 변동 시에 추적 정밀도가 크게 저하된다. 또, 기존의 추적 방법에서는 인물영역을 직사각형으로 파악하고 있어 추적 결과에서 대상의 크기나 위치 정보밖에 취득할 수 없다. 때문에 보다 상세한 행동을 인식하기 위해서는 인물의 위치 정보뿐만 아니라 앞으로 기울인 자세, 쭈그리고 앉은 자세 등과 같은 대략적인 자세 정보를 추출할 수 있는 추적방법이 바람직하다.

\r\n

\r\n

이번에 소개하는 방안은 자세 변동에 따른 신체적 특징 변화에 주목했다. 여기서 말하는 신체적 특징 변화란 대상의 바깥 윤곽 형상이나 각 부위의 외관 변화를 말한다. 이 방법에서는 여러 가지 자세에 대한 신체적 특징 변화를 통계적으로 분석함으로써 저차원 인체 형상 모델을 생성한다. 또, 이렇게 만들어진 모델은 인간다운 형상만을 표현하는 공간이 돼 있으며 색이나 에지 등과 같은 간단한 특징량으로 탐색해도 정밀도 높은 인물 추적이 가능해진다.

\r\n

이번 원고에서는 이러한 신체 특징 변화를 통계적으로 분석한 모델을 이용한 자세 변동이나 차폐에 강한 인물 추적 방법을 제안한다. 본 방법에서는 추적에 의해 추정된 신체적 특징 변화로부터 대상의 자세를 추정하는 것이 가능하기 때문에 행동 인식에 적합한 인물 추적이 되고 있다.

\r\n

\r\n

제안 방법

\r\n

제안 방법에서는 신체적 특징 변화를 분석한 저차원 인체형상 모델을 사용해 인물을 검출·추적한다. 그림 1이 제안 방법의 처리 흐름이다. 여기에서는 2개의 모델을 사전에 생성했다. 첫 번째는 각 부위(머리, 몸통, 다리)의 위치나 형상의 관계성을 표현한 기간 링크 모델이다. 기간 링크 모델은 인간다운 형상 변화를 표현하고 있기 때문에 자세 변동 시에도 유연하게 인물을 포착할 수 있다. 또, 추적에 의해 추정된 부위 형상에서 대상의 대략적인 자세도 추출 가능하다. 두 번째는 머리부분 바깥 윤곽 형상과 어깨 관절 위치의 관계성을 표현한 ActiveΩModel(이하 AOM)이다. 머리의 바깥 윤곽 형상은 다른 부위에 비해 개인차나 자세 변동에 의한 외관 변화가 적기 때문에 AOM을 이용함으로써 이미지상의 머리인 듯한 물체를 효율적으로 검출, 추적할 수 있다. 또, 실제 카메라 영상에 대한 온라인 처리에서는 입력 이미지에 대해서 배경 추정을 하고 전경 영역에 대해 맞는 AOM을 탐색해서 머리 부분을 검출한다.

\r\n

인물 추적에서는 검출 결과를 바탕으로 대상의 색 히스토그램을 취득하고 머리·몸통·다리와 같은 기간 부위의 위치나 머리 바깥 윤곽 형상의 우도를 평가해 추적한다. 이와 같이 본 방법은 인간다운 형상을 모델링하고 부위별로 우도를 평가함으로써 차폐나 자세 변동에 강한 추적이 된다고 생각한다. 또, 제안 방법의 추적 결과는 대상 각 부위의 형상 정보를 포함하고 있기 때문에 그것을 분석하는 것으로 대략적인 자세를 추정한다.

\r\n

\r\n

\r\n

\r\n\r\n\r\n
저차원 인체 형상 모델

\r\n

우리의 인물 추적에서는 부분적인 차폐나 자세 변동에 대응하기 위해서 대상 인물을 5개의 기간 부위 영역(머리, 상반신×2, 하반신×2)으로 분할해 추적한다. 그래서 부위간의 「인간적인 연계」를 고려한 기간 링크 모델을 사용한다. 그림 2와 같이 인간이 다양한 자세를 취했을 때 기간 부위 위치는 골격이나 중심의 밸런스 등 구속 조건에 따라 변위되고 동시에 부위의 겉모습도 변화된다. 그 상관관계를 저차원으로 표현하기 위해 실제 이미지에서 수동으로 추출한 인물 형상 데이터에 대해 주성분 분석을 적용해 저차원 형상 모델을 생성했다. 기간 링크 모델에서는 그림 2(a)와 같이 각 부위를 표현하는 파라미터로서 위치·폭·높이·각도의 5차원을 사용한다. 따라서 1개의 자세 데이터는 5부위×5차원의 25차원 데이터로 표현된다.

\r\n

이번 원고에서는 다양한 자세 변동을 포함한 265개의 자세 데이터에 대해 주성분 분석 결과의 누적 기여율이 95%을 넘는 3차원으로 압축한 기간 링크 모델을 생성했다. 그림 5의 왼쪽은 기간 링크 모델이 표현하는 주성분 분석의 부분 공간이다. 각 축이 새롭게 합성된 주성분으로 돼 있으며 각 주성분 값이 변화됐을 때 원래 공간에서 각 기간 부위의 형상 변화를 나타내고 있다. 제1주성분 축 값을 변화시킴으로써 각 기간 부위가 옆쪽으로 앞으로 기울어지는 자세가 되는 변화를 하고 있다. 이와 같이 기간 링크 모델은 다양한 자세에 대한 각 기간 부위의 대략적인 형상 변화를 저차원으로 표현하는 공간이 되고 있음을 알 수 있다.

\r\n

\r\n

ActiveΩModel이란 머리 부분의 바깥 윤곽 형상 변동과 그 내부에 포함되는 어깨 관절 위치를 가지는 저차원 모델이다. 우선 그림 3과 같은 복수의 다른 인물 머리 부분 이미지에 대해서 얼굴 위치를 중심으로 머리에서 어깨에 걸쳐 머리 부분의 바깥 윤곽 형상과 양쪽 어깨의 관절 위치를 총 22개의 점으로 표현한다. 22개 점의 x, y좌표에서 얻을 수 있는 44차원의 머리 부분 바깥 윤곽 형상 데이터를 기간 링크 모델과 마찬가지로 주성분 분석한다. 이것에 의해 저차원으로 신체의 방향이나 자세에 의한 머리 부분 바깥 윤곽 형상의 변화를 표현할 수 있고 그것에 대응해서 어깨 관절 위치가 변위하는 모델이 된다.

\r\n

\r\n

이번 원고에서는 354개의 머리 부분 바깥 윤곽 형상 데이터에 대해 주성분을 분석해 누적 기여율이 95%을 넘는 4차원으로 압축했다. 이 부분 공간의 각 축을 파라미터로 하는 모델이 AOM이다. 그림 5(b)는 AOM이 표현하는 주성분 분석의 부분 공간이다. 실제 이미지에서 추출한 복수의 Ω형상 데이터를 주성분 분석함으로써 머리인 듯 한 형상을 유지하면서 다양한 Ω형상을 저차원으로 표현할 수 있다.

\r\n

\r\n

\r\n

\r\n\r\n\r\n

\r\n

\r\n

인물 검출

\r\n

여기에서는 AOM을 사용한 머리 부분 검출 처리에 대해서 설명한다. 일반적으로 인물 검출은 특징 추출과 기계 학습에 의해 검출된다. 우선 학습용으로 준비한 검출 대상이 되는 이미지와 그렇지 않은 배경 이미지에서 휘도 값의 차이나 휘도 구배 등의 정보를 특징량으로 해서 추출한다. 이어서 기계 학습으로 정답과 오답 라벨이 붙은 이 특징량을 특징 공간 내에서 잘 식별할 수 있는 식별기를 생성한다. 이 식별기를 검출하고 싶은 이미지 위에서 주사(走査)하면 인물을 검출할 수 있다. 그러나 다양한 외관의 배리에이션이 있는 대상을 충분히 학습하기 위해서는 대량의 학습 이미지가 필요하게 된다. 또, 보다 상세하게 대상의 형상을 표현하려고 하면 할수록 보다 고차원적인 특징량이 필요하게 되기 때문에 정밀도가 높은 식별기를 생성하기 위한 기계 학습에는 상당한 비용이 든다.

\r\n

\r\n

그래서 이번 원고에서는 추적에 사용하는 AOM을 이용해서 인체의 머리 부분을 고속, 그리고 고정밀도로 검출한다. AOM은 상반신의 자세 변동과 머리 부분 바깥 윤곽 형상 변형의 관계성을 표현하는 모델이다. 기존의 검출 처리로 머리 부분의 대략적인 위치를 알고 있다면 다양한 형상의 AOM과의 우도 평가에 의해 거기에 있는 머리 부분 바깥 윤곽 형상을 추정할 수 있다. 따라서 AOM을 이용하면 이미지 상의 탐색 위치 범위를 좁혀 그 속에 머리 부분이 있는가 없는가를 판정할 수 있다. 실제로는 그림 4와 같은 흐름이 된다. 우선 처음에 이미지를 가로와 세로로 블록 분할해서 탐색 영역을 한정한다. 이 각 블록 내에서 랜덤으로 생성된 다양한 AOM과 매칭시킨다. 블록 내에 머리의 중심이 들어가면 우도가 높은 모델이 발견되고 이것을 검출한다. 그림 4(b)에서는 어떤 블록에 주목했을 때 내부에서 탐색하고 있는 AOM을 나타낸 것이다. 그 후 그림 4(c)와 같이 블록 내에 머리가 들어오면 최적 AOM이 검출되고 있는 것을 알 수 있다.

\r\n

\r\n

인물 추적

\r\n

여기서는 저차원 형상 모델을 사용한 인물 추적 방법에 대해서 설명한다. 각 모델의 파라미터에 이미지상에서의 위치나 스케일 등의 파라미터를 추가한 공간을 생각하면 이 공간 내에서의 이동은 이미지에서의 위치나 각 모델의 형상이 변화하는 것에 대응한다. 따라서 이 공간 내에서 최적인 위치를 파티클 필터로 탐색함으로써 이미지 상에서 각 기간 부위를 추적 피팅시키는 것이 가능해진다.

\r\n

\r\n

우선 탐색하는 상태 공간은 이미지상의 위치(x,y), 속도(u,V), 스케일(s), 2개의 모델이 표현하는 파라미터(m1,m7)의 총 12차원으로 했다. 리샘플링에 사용하는 시스템 모델에서는 보행 중인 인물과 같은 이동 물체에는 간단한 운동 모델의 적용이 가능하지만 자세 변화와 같이 복잡한 고차원 공간을 이동할 경우에는 운동 모델의 설정이 어렵다. 그래서 이미지상의 인물은 등속으로 이동한다고 가정하고 위치를 표현하는 차원에 대해서는 등속 직선운동 모델을 적용했다. 또, 그 이외의 부위 형상을 표현하는 차원에 대해서는 이전 프레임의 추정 위치 주변을 랜덤 샘플링하는 랜덤워크를 적용해서 상태를 추정했다. 우도 계산에 기간 부위 영역은 초기화 시에 취득한 모델 이미지와의 색 히스토그램 유사도를, 머리 부분 바깥 윤곽 형상은 배경 차분의 실루엣과 휘도 구배 방향의 일치도를 이용해서 평가했다(식(1), 식(2), 식(3)).

\r\n

\r\n

\r\n\r\n\r\n여기에서 L(xt)는 상태 벡터xt의 우도, Ω는 AOM상에 있는 점의 집합, s(x,y)는 AOM상이 있는 점, dI(x,y)는 입력 이미지I의 점(x,y)에 있어 구배 방향, dAOM(x,y)는 AOM상의 점(x,y)에 있어 법선 방향, D(x,y)는 점(x,y)에 있어 거리 변환 이미지의 화소값, C1·C2·C3는 정규화를 위한 계수, n은 히스토그램의 빈수, m은 기간 부위수, pm(n)은 모델 이미지의 색 히스토그램, qm(n)은 어느 샘플의 색 히스토그램이며 각 히스토그램의 크기는 정규화돼 있다.

\r\n

\r\n

식(1)의 Sedge와 Ssil은 각각 머리의 휘도 구배와 배경 차분 이미지의 실루엣으로부터 구한 평가 값이다. 에지에 의한 평가에서는 평가하고 싶은 AOM상의 각 픽셀에 있어 AOM의 법선 방향과 이미지의 휘도 구배 방향 차이를 누적해서 평가 값으로 한다. 이것에 의해 AOM의 형상이 머리 부분 바깥 윤곽 형상과 일치하고 있을수록 평가 값은 작아진다. 실루엣에 의한 평가에서는 우선 배경 차분 이미지에 있어서 그대로 거리 변환한 것과 배경과 전경을 반전시킨 후 거리 변환한 것을 조합해 얻을 수 있는 그림 5의 오른쪽과 같은 이미지를 생성한다. 이 이미지는 배경 차분 이미지에 있어 전경영역과 배경영역의 경계선에서부터의 거리를 화소 값으로 한 것으로 돼 있다. 따라서 평가하고 싶은 AOM상의 화소 값을 적분함으로써 얻을 수 있는 평가 값은 그 AOM이 실루엣에 일치하고 있을수록 작은 값이 된다. 에지와 실루엣 각각으로부터 구한 평가 값의 합을 AOM의 우도로 함으로써 배경 에지의 영향을 받지 않고 안정된 머리 부분 바깥 윤곽 형상의 우도 평가가 가능해진다.

\r\n

\r\n

Scolor는 색 히스토그램에 의한 우도 평가이다. 히스토그램 생성에는 HSV 변환한 이미지의 색상을 이용하고 있으며 조명 변동의 영향을 잘 받지 않는다. 또, 자세 변동에 의해 각 부위가 형상 변화됐을 경우에도 모델 직사각형이 그 부위를 유연하게 포착하고 있으면 직사각형 내의 색 히스토그램 변화는 적다. 또, 기간 링크 모델에서는 모델 이미지로부터 각 부위별로 색 히스토그램을 취득하고 각 부위의 우도를 독립적으로 계산하기 때문에 부분적인 차폐에 대해 전체의 우도가 저하되지 않고 안정된 평가가 가능해진다.

\r\n

\r\n

\r\n

\r\n\r\n\r\n
자세 추정

\r\n

기간 링크 모델의 작성으로 사용한 자세 데이터에는 주로 쭈그리고 앉은 자세, 앞으로 기울인 자세의 자세 변동이 포함돼 있다. 그림 5 왼쪽의 각 주성분 축을 보면 주성분 값의 변화가 그대로 자세 변동을 잘 나타내고 있다. 그래서 본 방법에서는 기간 링크 모델이 가지는 3파라미터를 역치(한계 값) 처리함으로써 대상의 상태를 직립, 앞으로 기울인 자세, 쭈그리고 앉은 자세의 3가지 상태로 클러스터링 했다. 그림 7의 각 프레임 왼쪽 위를 보면 기간 부위 추적 결과로부터 추정된 자세와 추적 대상의 자세가 일치하고 있어 대략적인 자세가 잘 추정돼 있음을 알 수 있다.

\r\n

\r\n

\r\n

\r\n\r\n\r\n

\r\n

\r\n

정밀도 평가 실험과 고찰

\r\n

제안 방법의 우위성을 나타내기 위해서 검출과 추적에서 기존 방법과 비교해 정밀도 검증 실험을 실시했다. 검출 처리 비교 실험에서는 기존 방법으로서 CoHOG 특징량을 SVM으로 학습해 식별기를 생성하는 방법6)을 이용했다. 인물이 화면 내에 들어오는 동영상에 대해 검출 처리를 하고 프레임 단위에서 검출돼 있는지를 육안으로 판정했다. 또, 추적 처리 비교 실험에서는 기존 방법으로서 대상을 전체와 상반신으로 나눠 색 히스토그램으로 모델링 하고 파티클 필터로 추적함으로써 부분적인 차폐에 대응하고 있는 방법4)으로 했다. 차폐나 자세 변동이 발생하는 장면마다 그 전후에 실패 없이 정확하게 추적돼 있는지를 육안으로 판정했다. 본 실험에서는 12차원의 공간에 대해 1,500개의 파티클로 샘플링 했다. 처리 시간은 700msec/frame정도였다.

\r\n

\r\n

표 1은 검출 정밀도와 처리 속도를 비교한 것으로 기존 방법에 비해 제안 방법에서는 검출 정밀도가 조금 저하됐지만 처리 속도가 대폭 단축된 것을 알 수 있다. 기존 식별기를 사용하는 방법에서는 1회 검출 처리에 있어서 고차원의 특징량을 추출하고 식별기에 입력해서 판정한다고 하는 작업이 필요하다. 이 처리를 이미지 평면에서 주사하면서 해 가는 것인데 검출 대상의 스케일도 알 수 없기 때문에 복수의 스케일로 주사 할 필요가 있다. 이것에는 충분한 탐색을 위해서 수 천회라는 식별을 해야 한다.

\r\n

\r\n

한편, 제안 방법에서는 분할한 블록 내에서는 위치가 어느 정도 한정돼 있기 때문에 다양한 스케일, 머리 부분 바깥 윤곽 형상의 AOM을 탐색하기만 하면 된다. AOM의 우도 평가는 에지와 실루엣에 의한 단순한 것이기 때문에 고속 검출 처리가 가능해진다. 또, AOM에 의한 검출에서는 추적 처리로 이행하기 쉽다는 이점도 있다.

\r\n

그림 6은 왼쪽에 기존 방법, 오른쪽에 제안 방법의 검출 결과를 나타내고 있다. 기존의 검출 방법에서는 학습 이미지를 블록 분할해서 다소의 위치 어긋남이나 스케일의 변화를 흡수해서 히스토그램화한 특징량을 사용하기 때문에 고정밀도로 검출할 수 있는 한편 검출 결과의 위치나 스케일에 애매한 점이 남는다. 이래서는 추적 처리를 위한 초기화 시에 추적 대상 전체의 스케일이나 색 히스토그램을 정확하게 취득할 수 없다. 제안 방법에서는 처음부터 추적에 사용하는 AOM으로 검출을 하기 때문에 정확한 위치나 스케일로 머리 부분의 정보를 취득할 수 있다.

\r\n

\r\n

\r\n

\r\n\r\n\r\n
표 2는 추적 정밀도 검증 실험의 결과를 나타낸다. 기존의 추적 방법에서는 자세 변동이 발생했을 때 추적 정밀도가 크게 저하되고 있다. 이것은 기존 방법에서는 대상을 1개의 직사각형으로서 포착하려고 하고 있기 때문에 큰 형상 변화에 대해서 추적 대상의 색 히스토그램을 유연하게 취득할 수 없는 점을 원인으로 들 수 있다. 한편, 제안 방법에서는 ‘쭈그리고 앉았을 때 부위의 폭이 늘어난다’ 등의 자세 변동 시 형상 변화를 사전에 모델링함으로써 유연하게 대상을 포착할 수 있게 돼 있다. 그림 7의 추적 처리 결과를 보면 다양한 자세 변동에 대해서 개선된 표현력 높은 기간 링크 모델을 사용함으로써 정확하게 기간 부위 위치나 형상을 추정할 수 있다.

\r\n

\r\n

이렇게 제안 방법의 인물 추적에서는 차폐나 자세 변동에 대해서 확실하게 추적을 하는 것뿐만 아니라 자세 변동에 의한 신체적 특징 변화를 통계적으로 모델링함으로써 머리 부분 바깥 윤곽 형상 추정에서는 그 형상에 대응하는 어깨 위치, 기간 부위 추적에서는 각 부위의 위치 관계성으로부터 대략적인 자세 등 모델 쪽에 내재하는 정보도 동시에 취득할 수 있다. 이 정보는 자세 추정이나 행동 인식을 하는데 대단히 유익한 것이다.

\r\n

\r\n

이번 원고에서는 저차원 인체 형상 모델을 이용한 행동 인식에 적합한 인물 추적 방법을 제안했다. 독립적으로 생성된 2개의 모델을 특성이 다른 복수의 특징량으로 동시에 우도를 평가함으로써 서로 약한 장면을 보완할 수 있게 됐다. 이것에 의해 대상의 대략적인 자세나 어깨 위치 정보를 추출하면서 차폐나 자세 변동에 강한 인물 추적 방법이 됐다. 앞으로는 각각의 처리를 고속, 고정밀도화 해 실제 환경 아래에서 실시간으로 확실한 행동 인식을 할 수 있는 방법을 실현해 가고 싶다.

\r\n

\r\n

참고문헌

\r\n

1) K.Nummiaro，E.Koller-Meier，L.Van Gool：“An Adaptive Color-Based Particle Filter，Image and Vision Computing，Vol.21，No.1，pp.99-110 (2003)

\r\n

2) C.Yang，R.Duraiswami，D.Larry ：“Efficient mean-shift tracking via a new similarity measure，IEEE Conference on Computer Vision and Pattern Recognision，pp.176-183 (2005)

\r\n

3) K.Okuma，A.Taleghani，N.De Freitas，et al：“A boosted particle filter：Multitarget detection and tracking，COMPUTER VISION -ECCV2004，Vol.3021，pp.28-39 (2004)

\r\n

4) H.Palaio, J.Bastista：“Multi-Object Tracking Using an Adaptive Transition Model Particle Filter with Region Covariance Data Association,International Conference on Pattern Recognition 2008, pp.1-4 (2008)

\r\n

5) S.Kong, M.K.Bhuyan, C.Sanderson, Brian C.Lovell：“Tracking of Persons for Video Surveillance of Unattended Environments、 International Conference on Pattern Recognition 2008, pp. 1-4 (2008)

\r\n

6) Tomoki Watanabe，Satoshi Ito, Kentaro Yokoi ：Cooccurrence Histograms of Oriented Gradients for Human Detection, IPSJ Transactions on Computer Vision and Applications, Vol.2，pp.39-47 (2010)

\r\n

\r\n

[월간 시큐리티월드 통권 제199호(sw@infothe.com)]

\r\n

\r\n

<저작권자 : 시큐리티월드(www.securityworldmag.co.kr) 무단전재-재배포금지>