동영상 인물 추출 개선방안 \r\n
\r\n
동영상에서 이동 물체를 추출하는 문제에 있어서 배경 차분법이 널리 사용되고 있다. 그러나 배경 차분법에서는 환경이 변화된 경우에 정밀하게 이동 물체를 추출하는 것이 어렵다. 이 문제에 대해서 사례 데이터를 이용하여 결손부를 보완하고 안정되게 이동 물체영역을 얻는 방법을 사용할 수 있다. 이번 연구에서는 사례 데이터로서 인물영역에 결손을 포함한 패턴과 결손이 보완된 완전한 패턴을 세트로 한 것을 사용했으며 배경 차분에 의해 인물영역에 결손이 생겼을 경우에 사례 데이터베이스로부터 유사한 결손 패턴을 찾아내 그 결손 패턴과 세트를 이루고 있는 완전한 인물영역 패턴을 이용하여 인물영역을 보완했다.
\r\n
\r\n
야마모토 아야카/이시구로 히로시┃오사카대학
\r\n
호리 마이야/이와이 요시오┃돗토리 대학
\r\n
\r\n\r\n
\r\n\r\n\r\n |
\r\n
\r\n동영상에서 이동 물체를 검출하는 것은 인물의 추적이나 행동 인식 등 다양한 컴퓨터 비전 기술에 있어서 중요한 역할을 담당하고 있다. 그 때문에 보다 정확하고 고속으로 이동 물체영역을 추출하기 위한 연구가 활발하게 이루어지고 있다. 화상 중에서 사람 등의 영역을 추출하는 방법 중 하나로 배경 차분법이 있다. 배경 차분법은 배경이 변화되지 않는 정적일 경우에 안정되게 이동 물체영역을 추출할 수 있지만 옥외 환경에서는 조명이나 물체의 그림 자에 영향을 받아 물체영역을 과검출할 우려가 있다. 또, 배경의 색과 이동 물체의 색이 유사할 경우에 이동 물체를 검출할 수 없다는 문제가 있다.
\r\n
그래서 옥외 환경에서 안정되게 이동 물체영역을 검출하기 위해 동적 배경 모델을 이용해 영상의 배경부분을 추정하는 방법이 많이 보고되고 있다. 대부분의 연구에서는 화소의 시간적인 변화에 대해 혼합 정규분포 등의 분포 모델을 가정해 통계적으로 판단을 내리고 있다. 여기서 제시하고자 하는 것은 태양 직사광과 환경광을 조합시킨 2색 반사 모델을 밝기 가변 배경 모델로 제안해 옥외에 있어서 밝기 변동에 강한 인물영역 추출을 실현했다1). 이 방법은 태양 직사광과 환경광의 색 성분을 실시간으로 추정하면서 배경 화상을 생성할 수 있기 때문에 고속으로 인물영역을 추출할 수 있다. 그러나 카메라 영상의 배경이 움직이는 것을 가정하고 있지 않기 때문에 초목의 흔들림 등 미세한 변동이 생기면 이동 물체로 검출해 버리는 결점이 있다(그림 1).
\r\n
또, 배경 화상과 같은 색을 가지는 물체영역을 추출할 수 없다는 배경 차분법의 본질적 문제가 여전히 존재한다. 이 2가지 문제는 트레이드 오프 관계에 있어 초목의 흔들림 등에 대응하려고 안이하게 배경의 범위를 넓히면 배경색이 많아져 이동 물체의 검출율이 떨어지게 된다. 따라서 안정되게 물체영역을 추출하기 위해서는 물체영역에 관한 어떠한 사전 지식이 필요하다. 여기에서는 사전 지식으로 인물영역에 결손이 발생한 패턴과 결손이 보완된 완전한 인물영역 패턴을 세트로 한 것을 사용했다. 그리고 배경 차분에 의해 인물영역에 결손이 생겼을 경우에 사례 데이터베이스에서 유사한 결손 패턴을 찾아내 그 결손 패턴과 세트를 이루고 있는 완전한 인물영역 패턴을 이용하여 인물영역을 보완한다. 특히, 입력 화상상의 결손과 인물영역 패턴의 관계를 블록 단위로 정식화하고 최적화함으로써 화상 데이터베이스로부터 인물영역의 결손을 보완한 완전한 인물영역을 얻는다.
\r\n
\r\n
사례 데이터를 사용한 이동 물체영역의 추출
\r\n
동적 배경 모델을 사용한 배경 차분에 의해 생긴 인물영역의 결손에 대해 사례 데이터를 사용해서 보완하는 문제를 최소화 문제로서 정식화한다. 사용하는 사례 데이터베이스는 인물영역 결손 패턴(이하 결손 패턴)과 인물영역 완전 패턴(이하 완전 패턴)의 조합이 등록된다. 데이터베이스의 검색 키는 배경 차분에 의해 얻어진 결손 패턴이다. 이 검색 키를 이용해서 입력 화상의 인물영역과 가까운 사례 패턴을 찾아내 그 완전 패턴과 바꾸는 것으로 보완을 한다.
\r\n
\r\n
\r\n\r\n
\r\n\r\n\r\n |
\r\n
\r\n데이터베이스의 작성
\r\n
입력 화상과 배경 화상의 차분에 의해 얻어진 인물영역의 2값 화상을 M, 같은 입력 화상으로부터 인물영역을 수동 추출한 2값 화상을 C라고 하고 각각 중복을 포함한 화소수 B×B의 블록으로 분할한다. 이 때 같은 사이트에 대한 결손 패턴 화상상의 패치와 완전 패턴 화상상의 패치를 세트로 해서 사례 데이터베이스에 등록한다. 사례 데이터 작성의 흐름을 그림 2에 나타낸다.
\r\n
이 작업을 대량 입력 화상에 대해 실시하여 사례 데이터베이스를 구축한다. 또, 사례 데이터베이스 중에는 배경의 오검출이 존재했을 경우에 대응하기 위해 결손 패턴과 완전 패턴 모두 인물영역을 포함하지 않는 공백 세트를 등록해 둔다.
\r\n
\r\n
\r\n\r\n
\r\n\r\n\r\n |
\r\n
\r\n목적함수의 최소화에 의한 화상 보완
\r\n
사례 데이터베이스를 이용해서 입력 화상상의 결손을 적절하게 보완하여 완전한 인물영역을 얻기 위해서는 입력 화상의 결손 정보로부터 가장 적합한 사례 데이터를 골라 낼 필요가 있다. 그래서 보완에 의해 얻어지는 추정 완전 화상을 평가하는 목적함수를 도입한다. 이 목적함수를 최소화하여 최적 추정 완전 화상을 얻는다.
\r\n
관측 화상과 배경 화상의 차분에 의해 얻어지는 2값 화상을 중복되지 않는 블록으로 분할한다. 여기에서의 문제는 각 블록에 대해 입력 화상 패치의 결손을 보완하는 완전 패턴 패치를 할당한 추정 완전 화상을 생성하는 것이다. 이 때 생성된 추정 완전 화상을 평가하는 목적함수는 다음과 같이 정의된다. 목적함수의 제1항은 데이터항으로 입력 화상 패치와 결손 패턴 패치의 유사도가 더해진다. 즉, 데이터항을 최소화하는 것은 입력 화상 패치의 결손과 가까운 결손 패턴을 찾는 것이다. 제2항은 평활화항으로 추정 완전 화상상의 대상 블록 근방 패치와 완전 패턴 화상상 근방 패치의 거리에 따라 값이 더해진다. 여기에서는 추정 완전 화상상의 인접한 블록 패턴으로부터 블록으로 할당될 가능성이 높은 완전 패턴을 찾는 것을 의도한다. 패치간의 관계를 그림 3에 나타낸다.
\r\n
평활화항의 효과를 강화함으로써 사례 데이터베이스의 연속 영역에서 패턴을 할당할 수 있는데 한편 손발과 같은 인물영역의 경계부에서는 인접하는 배경 블록으로부터의 영향을 받아 배경 블록으로 바뀌어 버릴 우려가 있다. 그래서 인물영역의 경계부에서 배경을 나타내는 사례 데이터를 할당하려고 했을 경우에 다음과 같은 페널티를 식에 추가하는 것을 생각할 수 있다. 여기에서는 추정 완전 화상상 블록 근방 패치의 적어도 1개가 인물영역 화소를 포함하지 않을 경우 인물영역의 경계부를 포함하는 블록이라고 판단했다. 여기에 인물영역을 포함하지 않는 완전 패턴 패치를 할당할 경우에 입력 화상 패치 중 인물영역의 화소수에 따라 페널티가 추가된다. 따라서 인물영역의 경계부를 포함하는 블록에 인물영역을 포함하지 않는 완전 패턴 패치가 할당되는 것을 피할 수 있게 된다. 페널티항의 패치간 관계를 그림 4에 나타낸다.
\r\n
이 방법에서는 최적 답을 산출 가능하며 가장 구현이 용이한 방법으로서 블록별로 데이터베이스 내를 전부 검색하여 목적함수의 값을 보다 작게 하는 사례 데이터를 골라내는 방법을 택한다. 이 절차를 가장자리 블록부터 차례로 정지조건을 만족할 때까지 실시하여 목적함수의 값을 최소화하는 패치의 조합을 결정적으로 찾아낸다.
\r\n
\r\n
실험
\r\n
제안하는 사례 데이터를 사용한 인물영역 검출 시스템의 성능을 페널티항의 효과와 블록 사이즈의 관점에서 평가했다. 우선 페널티항의 유무에 의한 추정 완전 화상의 차이를 평가하고 그 다음에 블록 사이즈B를 24, 32, 40으로 변화시켰을 때에 얻을 수 있는 추정 완전 화상을 비교·평가했다. 실험에는 옥외에서 촬영된 2개의 동영상을 사용했다. 장면1의 촬영 시는 맑고 바람이 불어 배경에 초목의 흔들림이 나타났다. 이 때문에 배경 차분법에 의해 얻어진 인물영역에는 배경색에 의한 결손과 초목의 과검출이 나타났다(그림 5 상단). 또, 화면 가로방향으로 걷는 사람이 관측되어 화상에서는 거의 같은 크기의 인물영역이 나타났다. 장면 2 촬영 시는 맑은 날씨로 화면 전방 혹은 후방에 걷는 사람이 관측되었다. 이 때문에 화상에서는 다양한 크기의 인물영역이 보여졌다(그림 6). 실험에서 사용한 사례 데이터베이스는 그림 5, 그림 6에 나타낸 것과 같은 인물 한 사람의 결손 패턴 화상과 그 완전 패턴 화상을 장면1에서 170세트, 장면2에서 45세트 총 215세트로 구성된다.
\r\n
또, 이 실험의 테스트 화상은 이들 2개의 동영상에서 얻어진 인물영역 화상 가운데 사례 데이터베이스에 포함되어 있지 않은 것을 사용했다. 화상은 T모두 해상도 720×486의 2값 화상을 사용했다. 패치간 유사도로는 구현이 용이했던 정규화 허밍 거리를 사용했다. 인물영역의 검출 결과에 있어서는 배경과 식별된 영역을 백색으로, 인물과 식별된 영역을 흑색으로 각각 표시했다. 그림 7은 입력 화상에 대한 추정 완전 화상의 초기 화상과 최고 좋은 답의 예를 제시하고 있다. 그림 7(c)에서 제안 시스템을 통해 인물영역의 결손과 초목의 흔들림에 의한 배경 결손이 보완되고 있는 것을 알 수 있다. 또, (b)과 (c)을 보면 목적함수로 평활화항을 사용하면 매끄러운 인물영역을 얻을 수 있다는 것을 알 수 있다.
\r\n
\r\n
\r\n\r\n\r\n\r\n |
페널티항의 효과 및 블록 사이즈의 평가
\r\n
페널티항이 있을 경우와 없을 경우의 추정 완전 화상을 비교해 페널티항의 유효성을 검증하는 실험을 했다. 실험에서 사용한 입력 화상과 수동 추출에 의해 얻은 목표 인물영역 화상, 블록 사이즈 B를 24, 32, 40 3가지로 변화시켜 페널티항이 있을 경우와 없을 경우에 얻을 수 있는 추정 완전 화상, 인물영역 부분을 확대해서 그림 8에 나타낸다. 그림 8의 목표 완전 화상에 있어서 인물영역의 총 화소수는 21,345화소이며 입력 화상에서는 인물영역 3,285화소가 결손되어 있었고 배경영역 3,360화소가 과검출되어 있었다. 표1은 그림 8에 나타낸 경우의 인물영역 화소수와 과검출 화소수, 결손 화소수를 나타낸다.
\r\n
표 1에서 페널티 항을 추가함으로써 인물영역의 결손이 감소하고 있는 것을 알 수 있다. 이것은 그림 8의 화상 왼쪽 아래 다리부분에서도 알 수 있다. 이 결과들로부터 페널티 항을 이용하면 손, 다리 등 인물영역의 경계부가 인접하고 있는 배경영역의 영향을 받아 결손되는 것을 막을 수 있다는 것을 알 수 있다. 또, 그림 8을 보면 블록 사이즈 B=32, 40의 경우에 본래와는 다른 방향을 향한 다리 패턴이 사용되고 있는데 이것은 근방 블록과의 관계만 채용하고 있으며 인물영역 전체의 정보를 바탕으로 하고 있지 않기 때문이다.
\r\n
사례 데이터를 이용하여 배경 차분에 의해 얻어진 결손을 포함한 인물영역 화상으로부터 결손을 보완한 완전한 인물영역 화상을 얻는 방법을 제시했다. 사례 데이터로서 인물영역의 결손 패턴과 완전 패턴을 세트로 한 것을 작성하고 이들을 블록 단위로 이용하여 유한한 사례 데이터로부터 다양한 자세의 보완을 가능하게 했다. 그리고 입력 화상 중의 결손에 대한 최적 사례 데이터를 골라내기 위해서 입력 화상과 사례 데이터 중 블록간의 관계를 정의한 목적함수를 도입했다. 실험에 의해 이 목적함수를 최소화하면 배경에 초목의 흔들림 등 미세한 변동이 있는 환경에서도 결손을 보완한 인물영역을 얻을 수 있다는 것을 확인했다.
\r\n
앞으로의 과제로서 다른 방향을 향하고 있는 다리 패턴이 결손 보완에 사용되는 등 인물 전체 형상을 고려하고 있지 않아서 발생하는 문제를 해결할 필요가 있다.
\r\n
\r\n\r\n\r\n\r\n |
\r\n
\r\n
참고문헌
\r\n
1) A. Yamamoto and Y. Iwai: “Real-time object detection with adaptive background model and margined sign correlation, Proc. of Asian Conf. on Computer Vision,
\r\n
pp.65-74(2009)
\r\n
\r\n
[월간 시큐리티월드 통권 제198호(sw@infothe.com)]
\r\n
\r\n
<저작권자 : 시큐리티월드(www.securityworldmag.co.kr) 무단전재-재배포금지>
