웹 센싱에 대한 센서정보 구조화

웹 센싱 프로젝트는 다양한 센서를 네트워크로 연결한 유비쿼터스 센서 네트워크에서 얻을 수 있는 센서 정보를 웹과 같이 누구나 자유롭게 이용할 수 있는 형태로 구축하는 프로젝트이다. 웹 센싱에서는 각종 센서가 공간적으로 다수 배치되어 있어 각각의 센서로부터 실세계의 정보를 획득한다. 각각의 센서를 통하여 획득한 실세계 정보는 단편적인 것으로, 물론 그 정보 자체도 중요한 것이지만 웹 센싱으로써 의미가 있는 정보를 사회에 제공하기 위해서는 복수의 센서로부터 얻을 수 있는 정보를 통합하여 새로운 정보를 창출할 필요가 있다. 이에 여기에서는 관측된 영역 중 인간과 자동차 등의 대상물 추적문제를 들어 복수의 카메라에서 얻은 정보를 통합하여 광역 트래킹을 실현하는 수법에 대하여 소개한다.

복수시점 정보의 통합

기본적인 사고방식

일반적으로 시스템의 구축·운용관리 비용을 줄이기 위하여 카메라는 관측대상에 대하여 드문드문 배치되는 경우가 많다. 그림 1에서는 각 카메라의 시야가 서로 겹치지 않도록 배치되어 있는 상황을 보여준다. 여기서 말하는 수법은 이와 같은 상황을 상정하여 동일한 대상을 다른 카메라로 추적하는 것이다.

우선, 카메라 Ci로 촬영된 영상에서 인물과 자동차 등 추적대상이 되는 물체를 추출한다. Ci에 추적대상이 출현했을 때 다음의 두 가지 경우를 생각할 수 있다.

(1)Ci에서 추적대상으로서 인식되기 전에 다른 카메라 Cj에서 추적되고 있을 경우

(2)다른 어떤 카메라에 의해서도 추적당하지 않고 Ci의 시야에 처음으로 출현했을 경우

Ci에 새롭게 추적대상이 출현했을 경우에는 어느 쪽인지 판단해야 한다. 또 (1)의 경우에는 Cj에 의하여 추적당했을 경우의 물체와 대응시킬 필요가 있다. 이것을 시야의 연결 관계에 근거하여 행한다. 구체적인 처리 흐름은 다음과 같다.

(1) 배경차분에 의한 추적대상 물체의 추출

(2) 파티클 필터에 의한 대상 추적

(3) 카메라 연결 관계의 추정결과에 근거한 동일대상의 대응

시야의 연결 관계

시야의 연결 관계는 카메라 Ci의 촬영화상에서 좌표(Xi , Yi) 로부터 추적대상물체가 소실된 후 시간t가 경과하여 카메라 Cj의 좌표(xj, yj)에 출현할 때(i ≠ j), 그 소실점과 출현점을 엮는 것이다. 시야의 연결 관계에는 2점 사이를 통과할 때 필요한 시간이 포함되어 있다. 소실점을 연결 관계의 시점이라고 부르며, 출현점을 종점이라고 부른다.

 

또 그 사이를 통과하는데 걸리는 시간을 통과시간이라고 부른다. 여기에서는 인간과 자동차 등 각 종류의 물체가 있는 2점 사이를 통과할 때에 필요한 시간은 거의 동일하다고 가정한다.

카메라의 시야에 추적대상 물체가 출현했을 경우의 위치·시각 정보를 IN정보라고 부르며, 카메라 시야에서 추적대상 물체가 소실된 때의 위치·시각 정보를 OUT정보라고 부른다. 예를 들어 그림 2의 경우를 생각해본다. 이 그림을 보면 테두리에는 카메라의 시야를, 화살표는 추적대상 물체의 궤적을 나타낸다. 이 경우 OUT1→IN1(5s)가 카메라 C1과 C2의 시야의 연결 관계이다.

연결관계 추정의 원리

동일대상물체 OUT/IN정보의 페어를 정(正)대응이라고 부르고 그 이상을 오(誤)대응이라고 부른다. 복수의 대상물체가 동시에 관측될 경우, 복수 물체의 OUT/IN정보가 뒤섞인다. 그 중에서 정대응이 되는 OUT/IN정보의 페어를 추출해야 한다. 하지만 연결 관계를 추정하는 시점에서는 어떤 것이 정대응인지 아닌지가 불분명하기 때문에 얻은 OUT/IN정보를 모두 임시로 매핑한 후에 정대응에 관한 이하 2개의 성질에 근거하여 정대응을 구하고 연결 관계를 추정한다.

• 공간적 균일성 : 각 연결 관계에 따른 시점과 종점의 위치주변에 다량의 OUT/IN정보가 관측된다.
• 시간적 균일성 : 인간과 자동차 등 각 종류의 추적대상 물체는 어느 2점 사이를 통과할 때 필요한 시간이 거의 동일하다.

그림 2의 상황에서 C1→C2의 연결 관계를 추정할 경우를 생각해 본다. 추정해야 할 연결 관계는 OUT1→IN1이다. 하지만 OUT/IN 정보를 모두 맞추어 보면, OUT2→IN1과 같이 맞춰지는 경우도 있다.

 

이와 같이, 동일추적대상의 OUT/IN정보의 조합인 정대응과 그 이외의 오대응이 혼재하는 그 속에서 정대응만을 추려내야 한다. 하지만 일반적으로는 통과시간 5s으로 OUT1→IN1의 가 대응이 다수 관측되리라는 것을 기대할 수 있다. 그 이외의 통과시간으로는 다른 가(假)대응이 관측되지만 OUT1→IN1(5s)정도로 빈도가 높지 않다. 따라서 가 대응의 통과 시간 빈도분포를 구하고, 거기에서 빈도가 높은 대응을 추출하는 것으로 시야의 연결 관계를 추정할 수 있다.

연결관계의 순차추정

앞서 설명한 수법에 의하여 연결 관계와 동일대상 대응의 추정을 행할 수 있다. 하지만 자동차 등이 빈번하게 통과하는 경우, 시점과 종점의 대응은 얻을 수 있어도 통과시간의 흔들림 등의 영향으로 정확한 대상의 대응을 얻을 수 있는 것은 아니다.

 

여기에서 보다 정확한 대응을 얻기 위하여 화상 상의 정보에서 동일한 대상인지 아닌지를 검증한다. 화상의 정보에 의하여 대응부가 얼마나 신뢰할 수 있는지를 구하고, 연결 관계의 추정에 사용하는 것으로 추적대상 관측수가 적은 시점에서 보다 정확한 연결 관계를 추정할 수 있다.

Ci의 시야 내의 시점으로 하고, Cj의 시야 내를 종점으로 하는 연결 관계를 추정할 경우 OUT/IN정보의 임시조합을 투표공간 Sij에 투표한다. 투표를 하는 것은 시점의 좌표(xin, yin), 종점의 좌표(xin, yin), 통과시간 t를 늘어놓은 5차원 벡터, Vij=(xout, yout, xin, yin, t)이다. 투표에는 무게 w를 붙여 이것이 클수록 가대응이 동일대상의 OUT/IN정보의 조합일 가능성이 높은 것을 나타낸다.

 

카메라 Ci의 시야에서 추적대상 물체가 소실했을 경우, 그 OUT정보를 카메라 Ci의 OUT정보로서 유지한다. 이 OUT정보에는 추적과정으로 얻은 대상의 색 히스토그램을 부가한다. 하나의 색 히스토그램만을 사용할 경우에는 대상의 방향 변화에 따른 관점의 변화에 대응할 수 없기 때문에 대상의 방향을 포함하여 색 히스토그램을 유지한다. 대상의 방향은 화상 내에서 속도의 방향으로 하고, 화상 내에서 각도를  D(D>0)방향에 양자화하여 사용한다. 추적 과정에서 얻을 수 있는 대상의 방향과 그 때의 색 히스토그램을 유지시켜 두고, 대상의 소실 시 각 방향에서의 색 히스토그램의 평균을 구하고 이것을 특징량으로 사용한다.

 

카메라 Ci의 시야에 추적대상 물체가 출현했을 때, 그 IN정보와 카메라C(i≠j)의 OUT정보를 임시로 대응을 취득한다. 이때 얻은 k개의 가대응을 취득하고 Vijk=(xout, yout, xin, yin , y)(k=1,…k) 각각에 무게를 더하고 투표공간 Sij에 추가적으로 투표하여 연결 관계의 추정을 따른다.

여기에서 대상이 출현했을 때의 방향에 대응하는 OUT정보의 색 히스토그램을 hout로 하고, 관측된 IN정보의 색 히스토그램을 hin으로 한다. 각각의 히스토그램이 정규화되어 있을 때,  wijk는 다음 식으로 나타내는 히스토그램 인터 섹션으로 구할 수 있다.

단, N은 히스토그램의 빈수이다. 이것을 추적대상 물체가 출현할 때마다 행하는 것으로 카메라의 연결 관계를 순차 추정한다. 구체적인 추정수순은 다음과 같다.

(1)카메라Ci의 IN 정보를 취득했을 때 카메라 Cj(i≠j)의 OUT정보와 가대응을 행한다. 이 때 Cj가 유지할 OUT정보의 개수 k개의 가대응 Vijk(k=1,…k)이 생성된다.

(2)가대응Vijk(k=1, …k)의 무게 w를 구하고, 투표공간 Sij에 투표한다.

(3)Nearest Neighbor법에 의하여 가대응의 클래스터 분석을 행한다. 그 결과 L개의 클래스로 나뉜다.

(4)투표공간 Sij내 클래스 c1(1=1,…L)에 속하는 가대응의 무게의 총합을 구하고 그것이 역치이상인 클래스를 정대응 클래스로 한다. 정대응 클래스에 속하는 가대응의 평균 벡터를 연결 관계의 추정결과로 한다.

연결 관계에 근거한 광역추적정보의 생성

앞서 설명한 카메라의 연결 관계를 이용하여 동일대상의 대응을 취득하고 광역추적 정보를 생성한다. 어떤 카메라에 있어서 추적대상의 출현을 관측했을 때 그 출현 위치가 연결 관계의 종점에 속하는가를 조사한다.

어느 쪽이든지 연결 관계의 종점에 속할 경우 그 대상은 출현 관측이전에 연결 관계의 시점에서 소실되어 있는 경우를 추측할 수 있기 때문에 그 위치에서 소실된 대상을 조사하는 것에 의하여 대응을 취득한다.

 

여기서 IN정보의 대상과 OUT정보의 대상과의 대응이 얼마나 그럴 듯한가를 아래의 공식에서 구한다. 단, μt, σt는 연결 관계에 속하는 가대응의 통과시간 t의 평균·분산이다. 대응의 수순을 다음에 나타낸다. 

(1)카메라 Ci의 IN정보 INnew를 취득했을 때 그 출현위치가 Ci를 종점으로 하는 어느 연결 관계에 속하는가를 조사한다. 어떤 것의 연결 관계에도 속하지 않는 경우에는 통상 연결 관계의 추정처리를 행한다.

(2)연결 관계의 종점에 속할 경우, IN정보를 취득했을 때 시각 이전에 연결 관계의 시점(Cj에 있는 한 점)에서 소실된 대상의 OUT정보 OUTm(m=1,… ,M)을 조사한다. L(IN,OUT)를 최대로 하는 OUTm의 대상과 INnew의 대상을 대응시킨다.

대응이 행해졌을 경우, 그 대응을 그럴듯하게 만들어 L(IN, OUT)×W(W:정수)의 무게를 더하여 연결관계 추정의 투표공간 Sij에 투표한다. 앞서 설명한 처리수순의 (3)에서 실행하여 연결 관계의 추정을 행한다.

카메라 설치와 철거가 행해진 경우 카메라의 연결 관계가 변화한다. 제안방법은 연결 관계의 추정을 일정하게 행하는 것으로 수시 갱신되기 때문에 연결 관계가 변화했을 경우에도 자동으로 대응할 수 있다.

실험

실제 촬영된 영상을 사용하여 카메라 연결 관계의 추정 및 동일물체 대응에 관한 실험을 시행했다. 그림 3에 촬영환경의 전경을 나타냈다. 이 그림에서 나타난 환경을 4대의 카메라로 촬영한다. 그림 3내의 틀은 각각의 카메라의 시야를 표현한 것이다.

연결관계의 추정

4대의 카메라에 의하여 촬영된 30분간의 영상을 사용하여 카메라의 연결 관계를 차례로 추정하는 실험을 했다. 제안수법에 의하여 추정결과를 그림 4에서 볼 수 있다. 이 그림에 의하여 선분이 추정된 연결결과를 표현하고 ●가 그 시점을 나타낸다. 지면의 도합 상 상세한 결과는 나타나지 않지만, 제안수법에 의하여 연결 관계의 추정은 관측시간이 짧고 대상의 관측수가 적은 경우에도 정확하게 잘 행해졌다는 것을 알 수 있다. 관측개시로부터 3분 경과 시점에 있어서 올바른 연결결과가 추정되기 시작했다.

8분이 경과했을 때에는 거의 정확하게 연결 관계가 추정되어 10분 경과시점에서 추정결과를 수렴했다. 이것은 추적대상의 색 정보를 사용하여 가대응의 신뢰도를 구하고 투표에 무게를 부가하고 있기 때문이다.

동일물체의 대응부

제안수법에 의하여 동일물체의 대응 실험을 시행했다. 그림 5는 제안수법에 의하여 물체의 대응을 행한 결과의 예를 보여준다. C2에 있어서 식별번호와 C1에 있어서 식별번호가 같은 것을 주의해야 한다. 실험은 관측개시와 동시에 연결결과의 추정과 대응을 개시했다.

추적대상의 관측수와 대응부 간의 성공률 관계를 조사하기 위하여 관측개시로부터 10분 간격으로 관측된 추적대상의 대응성공률을 측정했다. 추정결과를 시간별로 적합률(Precision)과 재현률(recall)로 평가한 것을 그림 6에 나타냈다. 여기서 적합률과 재현률은 아래의 공식으로 구했다. 

• 적합률 = 올바르게 대응한 수/대응 받은 수
• 재현률 = 올바르게 대응한 수/대응받아야 할 대상의 수

그림에 의하여 관측개시로부터 10분이 경과하기까지의 재현률이 낮아지고 있는 것을 알 수 있다. 이것은 관측개시 직후로 추적대상의 관측수가 적어 연결결과가 올바르게 추정되지 않는 시점에서는 대응이 행해지지 않기 때문이다.

또한, 관측개시로부터 10분 경과까지의 적합률은 높고, 연결 관계가 추정된 후는 대응부가 정확하게 행해지고 있는 것을 나타내고 있다. 관측 개시로부터 50분에서 60분까지의 대응 정도가 낮아진 것은 그 시각에 같은 색의 자동차 몇 대가 연속으로 통과했기 때문이다. 통과시간에 다른 색 정보를 사용하면서 대응부의 정도가 높아지고 있지만, 이와 같은 경우에는 대응의 취득에 실패할 경우도 있다.

 

웹 센싱의 틀은 다양한 센서를 이용하는 것을 상정하고 있다. 이와 같은 상황에서는 센서에 의하여 얻은 특징량이 다르기 때문에, 상술한 바와 같이 대상의 모습을 직접 이용하여 대응할 수는 없다.

하지만 대상의 소실과 출현의 정보만이라도 상당한 정도로 대응부가 가능하다.

맺음말

지금까지 센서 정보의 오픈화를 목표로 한 웹 센싱에 있어서 복수의 센서로 관 된 사람과 자동차 등의 이동하는 대상물의 궤적을 넓은 범위로 구하는 방법에 대하여 소개했다.

웹 센싱은 센서 정보를 공유하는 것을 전제로 하고, 각 센서로부터 얻을 수 있는 정보는 프라이버시 처리가 되어 있기 때문에 직접 영상 데이터를 얻을 수는 없다.

하지만 여기서 설명한 광역대상 추적수법은 프라이버시 처리된 센서로부터 얻을 수 있는 대상의 출현·소실 위치와 색 히스토그램이라고 하는 정보밖에 이용할 수 없기 때문에, 웹 센싱의 틀 속에서 실현 가능한 것이다. 광역의 궤적 정보를 안정하게 얻을 수 있다면 시가에 있어서 교통량 조사, 쇼핑몰 등 사람들의 흐름에 근거한 마케팅 등에 다양하게 응용할 수 있다.

하지만 얻은 정보의 정확도는 프라이버시 처리에 의하여 어느 정도의 정보가 보존되지만, 센서끼리 어느 정도 떨어져 있는지에 의존하기 때문에 이 점에 대해서는 향후 검증이 필요하다. 

참고문헌

1)특집 : 「웹 센싱」, 인공지능학회지, Vol.24, No.2, 2009.

2)다니구치 외 : 웹 센싱에 대한 센서정보의 구조화.  Vol.24, No.2, pp.208-213, 2009.

<글 : 규슈대학교 다니구치 린이치로(Taniguchi Rinichiro)·시마다 아츠시(Shimada Atsushi), (재)규슈첨단과학기술연구소 아리타 다이사쿠(Arita Daisaku)>

[월간 시큐리티월드 통권 제155호(info@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>