비공의 템플릿 탐색과 파티클 필터에 의한 추적

이번 원고에서는 다수의 근적외선 카메라를 이용하여 자동차의 운전자 시선을 실시간 추적하기 위한 방법과, 그 방법을 근거로 작성한 프로토 타입에 대해 소개한다. 이번 연구에서는 안정적으로 검출할 수 있는 비공(鼻孔) 패턴의 검출에 의해 초기 추정되었던 머리의 3차원 위치를 기본으로 하고 파티클 필터를 이용하여, 머리 형태를 추적해 추정한다. 더욱이 동공중심의 계측결과와 머리형태의 추정결과에서 추정된 안구중심으로 머리를 자유롭게 움직일 수 있는 상황에 있어서의 운전자 시선 방향도 추정 가능하다.

머리말

최근 사회문제가 되고 있는 교통사고에 의한 사망자수를 줄이기 위해 자동차의 안전성능 향상이 요구되고 있다. 자동차의 안전성능 향상방법으로 종래 피해경감을 목적으로 한 충돌안전 기술이 중심이었지만, 현재는 사고자체를 미연에 방지하는 것을 목적으로 한 예방안전 기술의 연구개발이 활발하고 특히 일부 기능은 운전지원 시스템으로 실용화되고 있다.

운전지원 시스템에 있어서의 정보제공, 경고, 제어의 타이밍은 운전자의 인지, 판단 미스의 유무에 상관없이 획일적으로 정해져 있어 그것들이 불필요한 상황에서도 지나치게 행해짐으로 결과적으로 시스템의 신뢰성을 잃어버리는 문제가 지적되고 있다.

시스템의 신뢰성 향상을 위해서는 운전자마다 다른 타이밍에 알맞은 경보제시와 조작제어를 하는 것이 필요하고, 그것을 위해서는 운전자의 상태를 모니터하여 인지, 판단 미스의 유무를 추적, 그 정보를 기본으로 시스템을 동작시키는 것도 필요하다. 운전자는 판단의 기본이 되는 정보의 대부분을 시각적으로 얻고 있기 때문에 인지, 판단미스의 유무를 추정하기 위한 수단으로써, 운전자의 머리 방향과 시각 방향의 3차원적인 정보를 검출하는 일이 필요하다고 생각된다.

이번 연구에서는 운전자의 상태로 머리 형태의 3차원적인 움직임에 주목하고, 자동차 운전석 전면의 부근에 설치한 다수의 카메라에 의해 촬영된 스테레오 화상에서 운전 중인 운전자 머리의 3차원적인 형태를 추정하는 방법을 제안한다.

인간의 얼굴에서 머리 형태(얼굴 방향)를 추정하는 방법은 두 가지로 크게 나눌 수 있다. 첫 번째는 얼굴 전체를 패턴으로 포착하고, 그 보이는 방법의 차이에 의해 직접형태를 추정하는 방법이다. 두 번째는 눈, 코, 입의 국소적인 특징을 검출하여 그 위치에서 형태를 추정하는 방법이다. 이번 연구에서는 실제 운전 주행 환경을 바탕으로 통신기에 의한 잡음 등이 많이 포함되어 있는 상황에서도 안정적으로 추정하기 위해 얼굴 전체가 보이는 방법이 아닌 국소적 특징 검출을 기본으로 하여 형태를 추정하는 방법을 채택했다.

그리고 국소적인 특징은 우선 비공 주변의 화상특징에 주목하여 이 3차원 위치를 화상에서 추정했다. 비공 주변의 특징에 주목한 것은 이번 연구에서 카메라의 설치장소가 대시보드 부근에 한정되어 있기 때문에 얼굴은 아래방향에서 촬영되었고, 이 경우 가장 안정된 특징패턴이 비공이기 때문이다.

이번 방법에서는 이처럼 안정적으로 검출할 수 있는 비공 패턴의 검출에 의해 초기추정 되었던 머리의 3차원 위치를 기본으로, 잡음과 오크르 존이 발생하는 환경에서도 안정적으로 인간의 머리를 추적할 수 있는 방법으로 최근 주목받고 있는 파티클 필터를 이용하여 머리 형태를 추정했다. 이 추정 직전의 머리 형태는 눈꼬리와 입의 양단이라는 국소적 특징에 주목하여 미리 등록된 템플릿 패턴에 의한 평가치를 이용했다.

일반적으로 머리의 3차원적인 위치와 형태는 병진성분과 회전성분의 6차원상태 벡터를 정밀도 높게 추정하기 위해 수천 개의 파티클을 취급할 필요가 있기 때문에 계산 비용이 증가하는 문제가 있다. 파티클 필터를 머리 형태 추적에 적용하는 경우는 정밀도와 계산비용과의 트레이드 오프 관계를 해소시키기 위한 방법이 필요하기 때문에 파티클 샘플링 과정을 고안한 방법이 제안되고 있다. 이번 연구에서는 차 실내의 환경에서 안정적인 특징점인 비공을 템플릿 매칭으로 초기탐색하고, 그 3차원 좌표를 조건으로 해서 상태 벡터의 탐색공간의 범위를 한정한다.

즉, 파티클의 가설 예측 시에 이용하는 동작 모델에 비공 위치를 고정하는 조건을 더한다. 이것에 의해 파티클 샘플링 공간의 범위를 한정하고 샘플링 간격을 조밀하게 하는 것으로 적은 개수의 파티클에서도 고밀도에 고속으로 머리 형태를 추적할 수 있게 된다.

또 물체추적에 파티클 필터를 응용하면 문제가 되는 것이 초기위치탐색이다. 파티클 필터는 사전확률에 의해 다음 프레임의 탐색 구역을 추정하기 위하여, 탐색을 개시할 때나 보던 것을 놓쳤을 때에 재탐색에 대응할 수 없다는 문제가 있다.

이번 연구에서는 템플릿 매칭에 의한 비공 위치의 초기탐색을 행하고, 그 결과를 파티클 필터의 샘플링 공간의 한정조건으로 하고 있기 때문에, 탐색을 개시할 때나 보던 것을 놓쳤을 때의 재탐색에 대해 추적이 가능하게 되었다.

시스템 구성

이번 연구에서는 운전자의 머리를 촬영하기 위해서 대시보드 위에 설치한 3대의 근적외선 CCD 카메라와 근적외선 조명을 사용했다. 그림 1은 실험에 사용한 시스템을 차량에 탑재했을 때의 사진이다. 카메라 1대를 얼굴 정면에, 2대를 좌우 10도 비스듬하게 설치했다. 이때 카메라가 올려다보는 각도는 약 15도로 했다. 3대의 카메라는 동기신호를 공통으로 하고, 같은 타이밍으로 화상을 촬영할 수 있도록 했다.

펜티엄4 3.0GHz CPU와 윈도우즈 XP를 사용하는 범용 탁상용 컴퓨터를 사용하며, 화상입력보드로는 MereorII-MC를 사용했고, 512×480 픽셀의 그레이스케일 화상 3장을 동시에 촬영했다. 3대의 카메라에 대해 사전에 켈리브레이션을 행하고, 월드 좌표계와 각 카메라 좌표계의 대응관계를 확실하게 했다.

그림 2는 각 좌표계 사이의 관계를 나타낸다. 머리의 형태를 나타내기 위해 머리의 밑을 원점으로 하는 머리 좌표계와 비공사이 중심을 원점으로 하는 템플릿 좌표계를 이용하여 현재위치 좌표계로의 회전과 병진(6DOF 또는 4×4의 변환행렬)으로 나타내는 것으로 한다. 또한, 카메라가 3대 있지만 실제 머리 추정처리에서는 가장 정면에 가까운 얼굴 화상을 촬영되는 2대를 자동적으로 선택, 그 카메라에 의해 촬영된 두개의 화상이 머리 형태 추정에 이용했다. 즉, 카메라의 수를 단순히 증가하는 것만으로 보다 광범위한 머리형태의 추정을 확장할 수 있게 되었다는 것이다.

머리 형태 추정방법의 개요

머리 형태의 추정은 사전에 실시해 둔 초기설정부와 실제로 머리 형태를 추정할 추적부에서 구성된다. 그림 3은 각 부의 공정도를 나타낸다.

초기 설정부

초기 설정부에서는 기준이 되는 얼굴의 모델을 구축한다. 운전자 얼굴의 정면 화상에서 특징점을 찾아 템플릿과 3차원 좌표를 설정하여 얼굴의 모델로 설정했다. 이번 연구에서는 특징점으로 비공 사이의 중심, 비공의 좌우끝, 입가, 눈꼬리, 입술 끝 등 9개소(M=9)를 이용했다. 또한 템플릿의 사이즈는 32×32 픽셀로 했다. 정면 얼굴화상을 촬영한 후 이하의 처리를 IL, IC, IR을 촬영한 각 특징점(m=1~M)에 대해 수행했다.

(1) IC 위에 특징 점의 화상 좌표치 pC를 수동 설정한다.

(2) IL, IR의 에피포라 선상에서 대응하는 화상좌표치 pL, pR을 수동 설정한다.

(3) pC, pL, pR을 중심으로 한 템플릿 TL, TC, TR을 자르기 시작한다.

(4) 스테레오 법에 의해 3차원 좌표계 P를 구한다.

특히 각 특징점의 3차원 좌표계 Pm을 기본으로 템플릿 좌표계를 설정한다. 비공간 중심 Pnose를 원점으로 하고 얼굴의 좌우방향을 X축, 상하방향을 Y축, 전후방향을 Z축으로 한다.

추적부

추적부에서는 화상의 촬영, 템플릿 매칭에 따른 비공간 중심의 탐색을 근거로 위치설정 및 파티클 필터에 따른 형태추정을 반복해서 실행한다. 우선 촬영된 화상에서 비공간 중심을 템플릿 매칭으로 탐색한다. 그리고 비공 사이의 중심이 발견되면 3차원 위치에 기초해서 파티클 필터의 각 파티클이 가진 가설이 되는 얼굴의 형태를 예측한다.

또한 추적을 시작하면서 파티클 필터의 가설은 초기설정부에서 구한 템플릿 좌표계의 자세, 즉 얼굴이 정면을 향해 있을 때의 자세를 기준으로 해서 회전의 각 성분에 대해 가우스노이즈(σ=1.0)로 확산되는 것에 의해 결정된다. 파티클 필터의 무게는 새롭게 총 1.0이 되도록 평균치로 초기화한다.

비공간중심의 템플릿 탐색

카메라 화상 IL, IC, IR에 있어서 비공간 중심의 화상 좌표치를 템플릿 매칭에 의해 탐색하고, 스테레오 법에 의해 3차원 좌표치 Pnose를 구한다. 이하는 비공간 중심의 탐색 순서를 나타낸다.

(1) IC와 더불어 템플릿 TL, TC, TR에 의한 탐색을 행한다. 상관치는 정규화 상호상관(NCC)으로 한다.

(2) 처음으로 다중해상도법(층수=2)으로 탐색하고, 다음으로 탐색결과를 중심으로 한 소영역을 기본 해상도(층수=0)로 재탐색한다.

(3) TL, TC, TR의 상관치의 최대치로 성공/실패의 반응을 일으키는 최소 물리량으로 판정한다.

(4) TL, TC, TR 중에 상관치가 최대인 것을 화상 좌표치 pC로 한다.

(5) IL, IR의 에피포라 선상에서 Pc에 대응하는 좌표치 pL, pR을 탐색하고, 상관치가 높은 쪽의 좌표치를 대응점으로 한다.

(6) pC와 pL 또는 pR에서부터, 스테레오 법에 의해 비공간 중심의 3차원 좌표치 Pnose를 구한다.

비공사이 중심의 탐색이 성공인가 실패인가는 템플릿 탐색시의 상관치에 의해 판정된다. 상관치가 실패의 반응을 일으키는 최소 물리량 이상이면 성공으로 보고, 파티클 필터에 의한 형태추정을 행한다. 또 실패의 반응을 일으키는 최소 물리량 미만이라면 실패로 보고 비공간 중심이 템플릿 탐색에 의해 발견될 수 있을 때까지 다음 프레임을 진행한다. 이번 연구의 실험에서는 이때의 비공간 중심 탐색의 성공여부를 판정하기 위해서 상관치의 실패의 반응을 일으키는 최소 물리량을 0.5로 한다.

템플릿 매칭으로 얼굴의 특징을 탐색할 때에 머리의 이동에 의한 화상의 확대축소와, 회전에 따른 화상의 변형을 위해서 카메라 화상과 템플릿 화상과의 사이에 상관관계를 얻을 수 없게 되어버린다는 문제가 있다. 이번 연구에서는 화상의 확대축소에 대해서는 이중해상도법에 의한 다단계 피라미드를 이용하는 것으로 대응한다. 또한, 화상의 변형에 대해서는 다른 각도의 카메라로 촬영한 복수의 화상 템플릿으로 대응한다. 운전 중에 운전자의 자세변화는, 초기위치를 중심으로 한 일정 범위에 한정된 것에서 위의 방법으로 대응 가능하다.

비공간 중심 좌표치의 구속방법

템플릿 매칭에 의해 탐색 가능한 비공 사이 중심의 3차원 좌표를 고정하는 구속조건을 파티클 필터의 가설예측시의 동작 모델에 더하게 되어, 샘플링 공간의 탐색 범위를 한정할 수 있다.

그림 4에서는 상태 벡터의 구속 방법을 나타낸다. 상태 벡터의 가설 [C]는 현재 위치의 좌표계에의 변환 행렬 [B]와 템플릿 좌표계에의 변환 행렬 [A]의 역행렬과의 적(積)으로 나타나는 것에서, [B]의 병진 성분을 비공간 중심의 좌표치 Pnose에 고정하여 회전 성분만을 갱신함으로써 비공간 중심을 고정한 가설을 얻을 수 있다.

파티클 필터에 의한 상태 추정

파티클 필터는 베이즈 추정에 바탕을 둔 고차원의 비선형, 비가우스형의 상태 공간에 적응 가능한 시계열 필터이다. 베이즈 추정은 시각 t에서 상태 벡터를, 시각 t-1에서 예측한 사전 확률과 시각 t에서 관측 결과에 의한 사후 확률에서 계산한 확률 밀도 분포에 의해 추정하는 방법이지만 상태 벡터의 모든 상태를 계산하는 것은 현실적으로는 어렵다. 파티클 필터는 이산적인 유한개의 샘플(파티클)의 랜덤 샘플링과 무게에서 확률 밀도 분포를 근사계산함으로서 현실적인 이용을 가능하게 한 것이다.

검증 실험

자세의 추정

구축한 시스템으로 머리의 자세 추정 실험을 하였다. 이 실험의 정밀도를 검증하기 위한 기준치를 구하기 위하여 그림 5에 나타내는 것처럼 머리에 체커 보드를 장착하여 자세를 계측하였다. 체커 패턴의 교점을 추출하여 Zhang의 방법에 의거한 비선형 최적화 방법에 의해 추정한 자세를 기준치로 하였다. 그리고 제안 방법에서 비공 템플릿 탐색과 파티클 필터에 의한 머리 자세 추정의 유효성을 확인하기 위하여 이들을 이용하지 않는 종래 방법과 비교했다. 또 종래 방법의 결과를 칼만 필터로 필터링한 결과도 함께 구하였다.

상하(Pitch), 좌우(Yaw), 전방 축 회전(Roll)의 각 동작을 몇 초 주기로 반복했을 때의 추정 결과를 그림 6에 나타낸다.

이때의 파티클의 개수는 300개로 하였다. 종래 방법에서는 전체적으로 미세한 노이즈가 보이면서 값이 크게 어긋나있는 곳이 몇 군데 보인다. 게다가 칼만 필터의 결과에서는 미세한 노이즈는 제거되어 있지만 값이 크게 어긋나는 경우에는 대응하지 않고 있다. 그것에 비하여 이번 연구에서 제안한 방법에서는 미세한 노이즈, 큰 값의 어긋남 모두 감소되어 있다. 종래 방법에서 나타나는 어긋남의 대부분이 주기의 피크 부근에서 발생하고 있다. 이것은 피크 부근에서 특징점의 화상의 변형이 가장 커짐으로서 특징점의 좌표치의 계측 오차가 커져 버리는 것에 따른 것으로 생각된다.

제안 방법에서는 주기의 피크 부근에서도 기준치와 거의 일치한 결과를 얻고 있으며 안정된 추정이 가능해졌다. 그림 7에서는 자세 추정 시의 화상 예를 나타낸다. 추정 결과로 얼굴의 방향 벡터를 비공간 중심에서의 직선으로 그림을 그려 각 특징점의 3차원 좌표치를 화상 상에 투영한 결과를 십자점으로 표시하였다. (a)~(c)의 통상의 자세 변화에 더하여 (d)의 입을 크게 벌린 경우나, (e) (f)의 입이나 눈썹을 가린 경우도 추정할 수 있게 되어 있어 특별한 경우에 대한 추정도 가능해졌다.

시선의 추정

머리 자세의 추정 결과를 이용하여 시선 방향을 추정하는 방법을 검토했다. 이번 연구에서는 근적외선을 조명으로 이용하고 있어서 근적외선을 비춘 이후 주위보다 어둡게 찍혀 추출이 용이한 동공의 중심을 계측 대상으로 하였다. 동공 중심의 3차원 좌표치의 계측 결과와 머리 자세의 추정 결과에서 얻어진 안구 중심의 3차원 좌표치에 의해 시선 벡터를 추정했다.

 

우선 동공 중심과 안구 중심을 잇는 벡터를 시선 벡터로 가정한다. 안구 중심은 화상에서 직접적으로 검출할 수 없기 때문에 머리 모델에 대한 위치를 미리 추정해 둔다. 여기에는 머리 모델을 등록할 때의 화상 촬영 시에 카메라 L 및 R의 렌즈 중심을 보고 있는 상태에서의 화상을 함께 촬영해 두고 각각의 화상에서 동공 중심의 화상 좌표를 수동으로 결정한 후 스테레오 계측에 의해 3차원 좌표를 계산한다. 또한 카메라 보정(Camera Calibration)으로 얻은 렌즈 중심의 3차원 좌표와 동공 중심의 3차원 좌표에서 시선 벡터를 구하여 각각의 벡터의 교점을 안구 중심의 3차원 좌표로 한다.

머리 자세의 추정 결과에서 카메라 화상 위에서 눈의 영역을 잘라내어 위치, 라벨링, 중심 계산에 의해 동공 중심의 화상 좌표를 구한다. 또한 복수의 카메라에 의한 스테레오 계측에 의해 3차원 좌표를 결정한다. 안구 중심의 3차원 좌표는 머리 자세의 추정 결과를 사용하여 초기 위치를 좌표 변환하는 것으로 구한다.

그림 9에서는 시선의 추정 결과 예를 보여준다. 차량 전방을 촬영하는 카메라를 설치하고 카메라를 보정해 자세 추정을 위한 3대의 카메라와의 좌표계를 맞추었다. 추정된 시선 벡터 방향의 일정 거리(10m)의 3차원 좌표치를 카메라 화상 위에 투영하여 흰 원을 그리고 있다. 주행하고 있는 자전거를 주시한 경우인 (a) (b), 자전거를 주시한 경우인 (c), 각각에서 시선 벡터의 방향으로 묘사한 원 안에 자전거 (a) (b), 자전거 (c)가 존재하고 있으며 실제로 주시한 것을 추정되어 있다. 이 결과에서 본 방법에 의해 머리를 자유롭게 움직이고 있는 드라이버의 시선 방향을 추정 가능하다는 것을 확인할 수 있었다.

맺음말

이번 연구에서는 운전 중인 드라이버의 화면에서 파티클 필터를 사용하여 머리 자세를 고속, 고정밀도로 추정하기 위한 방법을 제안하였다. 안정된 특징점인 비공간 중심을 템플릿 매칭으로 탐색한 결과를 파티클 필터의 가설의 구속 조건으로 함으로서 파티클의 샘플링 공간의 범위를 한정하여 샘플링 간격을 세밀하게 할 수 있었고, 이로 인해 수백 오더의 파티클이라도 높은 정밀도와 빠른 속도로 머리 자세를 추적하는 것이 가능해졌다.

게다가 동공 중심의 계측 결과와 머리 자세의 추정 결과에서 추정한 안구 중심에 의해 머리를 자유롭게 움직이고 있는 상황에 있어서도 드라이버의 시선 방향을 추정 가능하다는 것을 확인할 수 있었다. 

<자료제공 : 쿠보타 히토시(Kubota Hitoshi), 부시 마사미(Bushi Masami) / 스즈키(주) 사이토 히데오(Saito Hideo) / 케이오 의숙 대학>  

[월간 시큐리티월드 통권 제151호(info@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>