일상생활에서 응용할 수 있는 시선추정을 위한 고정밀도의 눈꺼풀 및 눈의 검은자위 추적
\r\n
시선추정은 새로운 인터페이스로서 주목받고 있는 기술이다. 이번 연구에서는 단안 카메라에 의한 시선 추정을 위한 사전 처리로서 이미지 안에서 눈꺼풀과 눈의 검은자위를 고정밀도로 추적하는 방법을 제안한다. 종래 방법에서는 사용전의 교정 작업이나 사용자의 두부 자세 변동의 제한 등 실제 사용시에 곤란하게 되는 제약 사항이 많았다. 그래서 이번 연구에서는 일상생활에서의 사용을 상정한 시선 추정 시스템의 실현을 위해 번잡한 교정 작업이나 두부동작의 제약 없이 즉시 사용자의 눈꺼풀 및 눈의 검은자위를 검출·추적하는 방법을 제안한다.
\r\n
\r\n
다무라 기미마사·하시모토 기요시·아오키 요시미쓰 │ 게이오기주쿠 대학
\r\n
\r\n
.jpg)
\r\n
\r\n
최근 차세대 인터페이스나 마케팅, 드라이버의 사고방지를 위한 카메라 베이스에 의한 시선 추정의 수요가 높아지고 있다. 시선방향에는 사용자의 흥미대상이나 의도·사고와 같은 중요한 정보가 포함되어 있고 디지털 사이니지에서의 선전효과 측정이나 상품 진열장에서의 고객 구매 동향 조사 등 폭넓은 응용이 기대되고 있다. 또한, 차량용 카메라로 드라이버의 시선방향이나 각성도를 상시 감시함으로써 안전을 챙길 수 있으며, 곁눈질 운전을 알림 등으로 경고해 교통사고를 미연에 방지하는 것도 가능하다. 또, 현재 시판되고 있는 대부분의 PC나 스마트폰에는 내향용 카메라가 내장되어 있는데, 이 디바이스에 소프트웨어만 추가해 시선 추정이 실현된다면, 양손을 사용할 수 없는 상황에서나 신체 장애인도 조작이 가능하다. 이번 연구는 이들 일상 환경에 있어서의 응용을 상정하고 있다.
\r\n
\r\n
종래의 방법
\r\n
시선 추정의 가장 주요 방법으로서 근적외선 LED를 사용자에게 조사해 그 각막상의 반사점과 동공위치를 단서로 시선 추정을 하는 각막반사법1) 2)이 있다. 이 방법은 정밀도가 매우 높다는 장점을 있지만 근적외선 LED 및 카메라는 일반적으로 보급되어 있지 않고 그 장치도 매우 고가이기 때문에 연구·조사 등의 용도에 한정되어 있다. 또, 근적외광을 완전히 없애는 태양광이 닿는 야외에서는 사용할 수 없어 사용 환경이 제한된다.
\r\n
\r\n
근적외광이 아닌 일반적인 카메라만을 사용하는 방법으로는 어피어런스(겉모양) 베이스 방법과 모델 베이스 방법이 있다. 어피어런스 베이스 방법은 눈 이미지의 텍스처 그 자체를 입력해 학습에 의해 시선 추정을 한다. 모델 베이스 방법은 안구나 코, 입과 같은 얼굴의 각 특징 점을 모델화해 실제 관측 이미지와 대조해 시선 추정을 하는 방법이다.
\r\n
\r\n
어쨌든 사용 전에는 마우스에 의한 얼굴 특징 점의 지정이나 특정 기준점의 주시와 같은 교정 작업을 필요로 하는 방법이 많아 실 사용에 큰 방해가 되어 시선 추정에서 하나의 문제점이 되고 있다. 최근에는 교정을 암암리에 함으로써 사용자의 부담을 줄이는 시도도 제안되고 있다. 어피어런스 베이스의 방법으로서 간노 등3)은 영상의 시각적 현저성(사람의 주의를 끌기 쉬움)과 눈 이미지를 통합·학습해 확률적으로 주시 영역을 구하는 것으로 명시적인 교정 작업을 필요로 하지 않는 시선 추정을 실현했다.
\r\n
\r\n
그러나 어피어런스 베이스 방법에서는 충분한 추정 정밀도를 얻을 수 있을 때까지 많은 학습 샘플이 필요하고, 특히 디지털 사이니지 등 불특정 다수를 대상으로 하여 각각의 인물을 아주 단 시간에 카메라 내에서 포착할 수 있는 경우에 있어서는 과제가 남는다. 또, 눈 이미지를 직접 특징 량이라고 하고 있기 때문에 본질적으로 두부자세 변동의 영향을 받기 쉽고 턱을 올리는 대(台)에 두부를 고정해 평가를 하고 있는 예도 많다.
\r\n
\r\n
모델 베이스의 방법에서는 두부자세도 포함해 모델화되기 때문에 사용자의 자연스러운 두부자세 변동을 제한하지 않는다는 면에 있어서 적합하다. 또, 얼굴의 각 특징점이나 안구의 위치 관계는 어느 정도 개인 간에 공통되는 구조이며, 미교정 상태에서도 일정한 추정 정밀도를 얻을 수 있다(당연히 교정에 의해 정밀도는 향상된다). 반면 시선 추정 정밀도는 눈꺼풀이나 눈의 검은자위 등 특징 점의 추적 정밀도에 크게 의존하기 때문에 한정된 해상도나 소음이 있는 환경아래에서 어떻게 고정밀도의 추적을 실시할 수 있을지가 과제가 된다.
\r\n
\r\n
\r\n
위의 논의를 바탕으로 이번 연구에서는 시선 추정의 전처리로서 일반적인 가시광 카메라 입력 이미지에서 눈꺼풀과 눈의 검은자위를 고정밀도로 추적하는 것을 목적으로 한다. 일상 환경에 있어서의 응용을 위해서는 앞에서 나타낸 것과 같이(고가인 전용 장치가 아닌 일반적인 카메라만으로 실현) 번잡한 교정 작업의 간소화, 철폐-두부자세 변동이나 밝기의 변화 등 실 이용으로 상정되는 외란(외부로부터의 쓸데없는 신호)에 대한 로버스트 성(견고성)의 3점이 요건이 된다.
\r\n
\r\n
.jpg)
\r\n
\r\n
연구방법의 제안
\r\n
이번 연구의 흐름을 그림 1에 나타낸다. 우선 입력 이미지에 대해서 얼굴검출 및 얼굴 특징 점을 추적한다. 얼굴 특징 점 위치에서 사용자의 두부자세를 추정해 눈 영역 이미지를 추출한다. 이 눈 영역 이미지 내에서 눈꺼풀 및 눈의 검은자위를 추적한다. 눈꺼풀 추적에는Particle Filter를 사용한다. 이것은 고차원공간을 랜덤 샘플링으로 효율적으로 탐색하여 상태를 추정하는 방법이다. 사전에 학습한 눈꺼풀 형상 모델에 근거해 Particle을 산포해 에지에 착안해서 최적인 눈꺼풀 형상을 추정하고 있다. 이어서 동일 눈 영역 이미지에 대해서 눈의 검은자위를 추적한다. 눈의 검은자위 추적에서는 템플릿 매칭과 타원 피팅에 의한 고정밀도추정을 조합시켜 효율적으로 추적하고 있다.
\r\n
\r\n
두부자세 추적
\r\n
카메라로부터의 입력 얼굴 이미지에 대해서 FaceTracker4)라고 불리는 API를 사용해 얼굴검출 및 얼굴특징점을 추출한다. 두부자세 변동에 대응하는 시선 추정을 하기 위해서는 사용자의 두부자세정보가 불가결하다. 또, 뒤에서 말하는 눈꺼풀 추적에도 두부자세 정보가 필요하다. 왜냐하면 같은 눈꺼풀의 형태라도 자세변화에 의해 카메라로부터의 ‘외양’이 바뀌기 때문에 그 외양의 변화를 교정할 필요가 있기 때문이다. 두부자세 추적은 다음의 2스텝으로 이루어진다. 최초의 50프레임으로부터 사용자의 3차원 얼굴특징점 모델을 작성한다. 이것은 이른바 사용자 얼굴의 가면 같은 것이다. 이어서 작성한 모델에 근거해 가면을 피팅 시키도록 신규 프레임에서의 자세를 추정한다. 50프레임이라고 하는 수는 경험적으로 결정했다.
\r\n
\r\n
3차원 얼굴 모델의 생성
\r\n
Structure from Motion법에 의해 사용자 얼굴의 3차원 모델을 작성한다. FaceTracker로부터 얻은 i프레임 눈의 j번째의 2차원 얼굴특징점의 좌표를 xj(i)로 해서 식(1)과 같이 50프레임만큼의 특징 점 위치 정보를 계측행렬W에 격납한다. x(i)는 i프레임 눈의 전체 특징 점의 중심이다. 이어서 W를 인수분해법으로 2개의 행렬로 분해한다(식(2)). 행렬 M이 각 프레임의 회전·병진을 나타내는 모션 행렬이다. 행렬 S가 전체 프레임에 공통되는 인자이며 이번에 구하고 싶은 얼굴특징점의 3차원 모델이 된다.
\r\n
\r\n
이 얼굴 모델 작성 처리는 추적 시작 후에 자동적으로 실시된다. 또 이것과는 별도로 3차원 모델 내에 있어 양쪽 안구 중심위치도 추정한다. 우선 안구중심위치에 임시의 초기 위치를 주고 뒤에 말하는 눈의 검은자위 추적에서 눈의 검은자위 형상이 완전히 동그라미에 가까운 다시 말해 사용자가 카메라를 보았다고 판단되는 프레임을 추출한다. 이러한 프레임에서는 카메라·눈의 검은자위 중심·안구중심이 일직선상에 존재하기 때문에 추출된 프레임 간에 이 조건을 최소 제곱적으로 만족시키는 점이 안구중심위치라고 추정된다.
\r\n
\r\n
.jpg)
\r\n
\r\n
두부 자세추적
\r\n
작성한 얼굴 모델에 근거하여 신규입력 얼굴에 대하여 얼굴 모델을 적용시킴으로써 두부자세를 추적한다. 다시 말해, 얼굴 모델을 어떻게 사영(射影)하면 현 프레임의 얼굴과 겹칠지를 구하는 문제라고 할 수 있고, 이것은 식(3)의 사영 행렬 P를 푸는 것을 의미한다. xj(t), yj(t)은 프레임에 있어서의 j번째의 이미지상의 얼굴특징점 좌표이며 S는 앞서 작성한 얼굴의 3차원 모델이다. 식(3)을 풀기 위해서는 4점 이상의 얼굴특징점이 필요한데 FaceTracker로부터 얻을 수 있는 얼굴특징 점수는 66점이기 때문에 이것은 충분히 풀 수 있다. P를 QR 분해함으로써 회전 행렬과 병진 행렬을 얻을 수 있고 두부자세정보를 얻을 수 있다.
\r\n
\r\n
.jpg)
\r\n
\r\n
마지막으로 두부자세에 의한 외양의 변화를 상쇄하도록 사영 변환을 해 눈 영역 이미지로서 추출한다.
\r\n
\r\n
.jpg)
\r\n
\r\n
눈꺼풀 추적
\r\n
시선추정을 위한 눈의 검은자위 추적을 하는데 있어서 눈꺼풀 형상의 추적을 하는 것은 매우 유용하다. 왜냐하면 눈의 검은자위 윤곽 및 눈꺼풀 윤곽은 모두 이미지 안에서 강한 에지를 가지고 눈의 검은자위 추적에 있어서 자주 양쪽의 에지가 혼동되는 경우가 있기 때문에(그림 2) 미리 눈꺼풀만을 추적해 어느 쪽의 에지인지 구별 할 필요가 있기 때문이다.
\r\n
\r\n
그러나 인간의 눈꺼풀 형상은 복잡한 동시에 다종다양해서 이미지 안에서 사전 모델 없이 검출하는 것은 어렵다. 따라서 이번 연구에서는 우선 인간의 눈꺼풀 형상을 잘 나타내는 모델을 작성해 실제 입력 이미지에 대해서 Particle Filter를 적용시킴으로써 눈꺼풀 추적을 하는 방법을 제안한다.
\r\n
\r\n
눈 영역의 에지 이미지
\r\n
눈의 검은자위와 눈꺼풀(눈시울부)이 모두 강한 에지를 가진다.
\r\n
\r\n
눈꺼풀 추적 결과
\r\n
추정된 눈꺼풀 형상을 막힌 접선으로 나타낸다.
\r\n
\r\n
눈꺼풀 에지 제거법
\r\n
추적된 눈꺼풀 형상의 안쪽 에지에만 착안
\r\n
\r\n
눈의 검은자위 추적 결과 비교
\r\n
눈꺼풀 끝 제거 시는 눈시울의 에지 영향을 받고 있는데 눈꺼풀 제거 후는 바른 추적이 되고 있다
\r\n
\r\n
눈꺼풀 형상 모델
\r\n
눈꺼풀 형상 모델은 눈꺼풀의 윤곽형상과 그 변동을 나타내는 저차원원(元) 모델로 눈꺼풀 윤곽을 12점의 점군으로 표현한다. 만약 각점에 상관관계가 없이 독립으로 추적했을 경우 12점의 점군×(x, y)의 2차원에서 얻을 수 있는 24차원의 자유도가 존재한다. 정확한 상태추정을 할 경우 상태공간의 차원수의 지수에 비례한 수의 Particle이 필요하게 되는데 이것으로는 추적의 단계에서 Particle 수에 비례한 처리 시간이 걸려 실시간성이 요구되는 시선 추정 시스템에는 적합하지 않다. 그래서 이번 연구에서는 효율적으로 형상을 추정하기 위해서 눈꺼풀 형상 데이터를 주성분 분석해 차원 축한다.
\r\n
\r\n
이것에 의해 저차원으로 시선방향이나 눈의 개폐에 따르는 눈꺼풀 형상의 변화를 표현할 수 있는 모델을 얻을 수 있다. 이번 연구에서는 60장의 눈꺼풀 형상 데이터에 대해서 주성분 분석을 함으로써3차원으로 압축하고 이 3차원의 주성분 부분 공간을 파라미터로 하는 모델을 눈꺼풀 형상 모델로 했다. 그림 3에 눈꺼풀 형상 모델을 나타낸다.
\r\n
\r\n
다양한 위치, 크기, 형상의 Partcile를 산포해 각 Particle에 대해서 눈꺼풀로 추측되는 것을 평가한다. 가운데 단 왼쪽 그림은 에지의 강도를 나타내고 원이 클수록 강한 에지다. 가운데 단 오른쪽 그림의 화살표는 구배방향을 나타낸다.
\r\n
\r\n
.jpg)
\r\n
\r\n
Particle Filter에 의한 눈꺼풀 추적
\r\n
①눈 영역 이미지 위에 최대의 Particle을 산포
\r\n
②에지의 강도와 구배 방향에 근거해 각 Particle의 공산을 평가
\r\n
③전 Particle의 중량에 따른 평균을 잡아 최적의 눈꺼풀 형상을 얻는다.
\r\n
\r\n
작성한 눈꺼풀 형상 모델을 기초로 Particle Filter에 의한 눈꺼풀 추적을 한다. 추적은 제4그림에 나타내는 것과 같이 ①Particle산포, ②각Particle의 공산(尤度: 우도) 평가, ③상태추정의 순으로 실시한다.
\r\n
\r\n
① Particle산포
\r\n
\r\n
·xt : 상태 벡터
\r\n
·xtyt : 위치
\r\n
·S : 스케일
\r\n
·PCn : 눈꺼풀 모델의 각주성분
\r\n
·vt : 노이즈
\r\n
\r\n
우선 눈 영역 이미지 위에 다양한 위치, 크기, 형상의 Particle를 대량으로 산포한다. 눈꺼풀의 상태 xt는 눈꺼풀 형상을 나타내는 각점의 위치(x,y), 스케일(S), 주성분 분석의 부분 공간(3차원)의 계6차원으로 표현된다. 주성분분석에 의해 얻은 모델을 사용함으로써 이전 프레임의 눈꺼풀 상태 xt-1을 바탕으로 다양한 눈꺼풀 형상의 Particle을 효율적으로 산포한다. vt는 정규분포에 따라서 랜덤 노이즈를 더하는 것을 의미한다. 1프레임 한쪽 눈당 1, 000Particle산포되어 있다.
\r\n
\r\n
② 각Particle의 공산(尤度: 우도)평가
\r\n
\r\n
.jpg)
\r\n
\r\n
이어서 산포된 각 Particle에 대해서 모델의 공산(尤度), 다시 말해 눈꺼풀로 추측되는 것을 평가한다. 눈꺼풀 경계 상에서는 이미지 안에 있어서 강한 수직 에지가 관측되기 때문에 눈 영역 이미지의 수직 에지에 착안해서 공산평가를 한다. 공산계산은 눈꺼풀 형상을 나타내는 12점의 각 위치에 있어서의 수직 에지 강도와 에지 구배방향의 유사도의 합계 값으로 한다(식(4)). Ssil은 에지 강도에 의한 공산, Sedge는 에지 구배방향에 의한 공산을 나타낸다. c는 계수이며 c1, c2 모두 0.5로 했다.
\r\n
\r\n
수직 에지 강도 Ssil은 식(5)로 정의한다. model은 눈꺼풀 형상 모델을 나타내고 s(x,y)는 모델을 구성하는 각 점(x,y)이며 D(x,y)는 (x,y)에 있어서의 수직 에지 강도를 나타낸다. Particle의 각 구성점 (x,y)에 있어서의 에지 강도의 합계 값이 클수록 공산 Ssil이 커진다.
\r\n
에지 구배방향 유사도 Sedge는 식(6)로 정의한다. d1(x,y)은 점(x,y)에 있어서의 눈 영역이미지상의 에지 구배방향, dmodel(x,y)은 점(x,y)에 있어서의 눈꺼풀 형상 모델의 구배방향을 나타내고, 실제 눈 영역 이미지와 모델의 구배방향의 유사도가 높을수록 Sedge는 커진다.
\r\n
\r\n
③ 상태추정
\r\n
전체 Particle에 대해서 각각의 공산을 무게로 한 무게 평균을 취함으로써 눈꺼풀 상태 xt의 각 파라미터의 최대 공산추정이 되어 최적의 눈꺼풀 형상을 얻을 수 있다. 그리고 xt에 정규분포에 따른 노이즈를 부가한 Particle을 재산포, 다시 우도 평가, 상태추정으로 반복하는 것으로 눈꺼풀 추적을 한다.
\r\n
\r\n
.jpg)
\r\n
\r\n
눈의 검은자위 추적
\r\n
눈꺼풀 추적과 동일한 눈 영역 이미지에 대해서 눈의 검은자위를 추적한다. 눈의 검은자위 추적에서는, 우선 템플릿 매칭을 이용한 고속 및 거친 초기 탐색을 하고 계속해서 초기 탐색으로 좁혀진 영역에 대하여 타원 피팅을 사용한 고정밀도 탐색을 한다. 이 좁혀짐에 의해 타원 피팅 시에 처리해야 할 픽셀수가 대폭 감소되어 고속화에 공헌하는 동시에 검출 위치를 구속해 전혀 관계없는 장소에서 눈의 검은자위가 검출되는 것을 막고 있다.
\r\n
\r\n
초기 추적
\r\n
처리의 흐름을 그림 5에 나타낸다. 우선 입력 눈 영역이미지에 대해서 p-타일법으로 2값화 처리를 한다. 이 때 전체 픽셀수 중 15%가 검정색, 나머지가 흰색이 되도록 역치를 결정함으로써 어떠한 밝기의 입력 이미지에 대해서도 안정적으로 눈의 검은자위와 흰자위의 분리가 가능해진다.
\r\n
\r\n
이어서 2값 이미지에 대해서 눈의 검은자위를 모방한 검은 원반 이미지와의 템플릿 매칭을 한다. 앞의 2값화에서는 많은 경우에 있어서 눈의 검은자위 부분과 함께 위 눈꺼풀에 의한 그림자가 검게 나와 버리는데, 검은 원반 템플릿에 의한 상관을 택함으로써 눈의 검은자위 위치로만 좁히는 것이 가능하게 된다. 템플릿 이미지의 사이즈는 눈 영역 직사각형에서 상대적으로 결정되고 있다.
\r\n
\r\n
.jpg)
\r\n
\r\n
고정밀도 추적
\r\n
\r\n
(1) 타원 피팅
\r\n
계속해서 고정밀도의 탐색을 한다. 초기 추적에서 좁혀진 영역에 대해서 눈의 검은자위의 윤곽을 추출하고 타원 피팅을 한다.
\r\n
\r\n
눈의 검은자위 윤곽은 통상은 눈꺼풀에 의해 상부와 하부가 가려지고 오른쪽 및 왼쪽의 곡선이 보이고 있기 때문에 눈의 검은자위의 좌우 곡선에 잘 따르는 타원형상을 찾아냄으로써 눈의 검은자위 추적을 실현한다. 눈 영역 이미지로부터 Sobel 필터에 의해 수평 에지 이미지를 생성하고, 초기 추적에서 좁혀진 영역의 매우 근방의 에지에 대해서만 타원 피팅을 한다.
\r\n
\r\n
.jpg)
\r\n
\r\n
(2) RANSAC
\r\n
그러나 통상의 타원 피팅에서는 모든 점에 대하여 제곱 오차가 최소가 되는 타원을 출력하기 위해서 속눈썹이나 눈의 검은 자위내의 반사광 등의 눈의 검은 자위이외의 외란(외부로부터의 쓸데없는 신호가)이 되는 에지 점의 영향을 받는다. 그래서 이번 연구에서는 타원 피팅 시에 RANSAC(Random Sample Consensus)을 도입했다.
\r\n
\r\n
RANSAC은 이상치를 포함하는 데이터에 유효한 로버스트 추정 방법이다. 전체 샘플 점에서 랜덤으로 5점 추출하여 그것을 기초로 타원 파라미터를 추정, 추정된 타원과 나머지 샘플 점과의 오차를 평가해 허용 오차내의 파라미터에 투표한다. 이상을 반복함으로써 이상치를 제거하면서 바른 추정을 한다. 이것에 의해 외란이 되는 에지에 로버스트하게 눈의 검은자위의 윤곽 에지만을 추출 가능하게 되었다.
\r\n
\r\n
(3) 눈꺼풀 추적 결과에 의한 마스킹
\r\n
RANSAC의 도입에 의해 외란이 되는 에지에 강건한 홍채추적을 하는 것이 가능하게 되었는데 크게 바로 옆 방향을 보았을 경우 등은 여전히 눈시울의 강한 에지에 타원이 잘못 피팅 되는 경향에 있었다. 또 눈초리나 안경에 의한 에지도 강해 잘못된 피팅의 원인이 되었다. 그래서 이전 장(章)의 눈꺼풀 추적 결과에 의해 탐색 영역을 눈꺼풀 내부로 한정함으로써 한층 더 로버스트성(견고성)을 얻었다.
\r\n
\r\n
실험
\r\n
이번 연구의 유효성을 확인하기 위해서 다음의 실험을 했다.
\r\n
\r\n
실험 1 : 눈꺼풀 추적
\r\n
실내 환경에 있어서 일반적인 카메라(Web Camera, 해상도 640×480pixel)로 촬영한 4명의 피험자에 대해서 제안 방법에 의해 눈꺼풀 추적을 했다. 실제의 눈꺼풀 형상과 비교해 전 12점으로 구성되는 눈꺼풀 모델 중 9점 이상이 3pixel이내에 있는 것을 정답으로 했다. 이것은 이미지 내에서 눈꺼풀 윤곽이 가지는 두께가 3pixel정도이며 눈의 검은자위 추적 정밀도 향상이라고 하는 목적을 달성하는 정밀도가 3pixel이내라고 하는 판단에 근거한다. 결과를 표 1에 나타낸다. 또, 눈의 검은자위 추적과 함께 예를 그림 6에 나타낸다.
\r\n
\r\n
실험2 : 눈의 검은자위 추적
\r\n
눈의 검은자위 추적에 대해서 FGnet database5)의 동영상 데이터 세트를 사용해 제안 방법과 종래 방법의 비교 실험을 했다. FGnet database는 두부자세 변동을 포함하는 자연스럽게 대화하고 있는 남성을 촬영한 5,000frame으로 이루진 동영상으로 각각의 프레임에 눈의 검은자위 위치를 포함한 68의 얼굴특징점 위치를 정답 데이터로서 가진다. 또, 해상도는 720×576pixel이다.
\r\n
\r\n
종래 방법6)은 두부자세 변동을 고려하지 않는 ParticleFilter에 의한 추적으로 간주하고 종래 방법7)은 눈 영역 이미지 내의 에지에 대하여 RANSAC을 사용한 타원 피팅으로 실시했다. 각 방법에 있어서의 눈의 검은자위 추적 결과의 평균 오차를 표 2에 나타낸다.
\r\n
\r\n
정리와 고찰
\r\n
이번 연구에서는 사전의 개별학습이나 교정을 하지 않고 눈꺼풀과 눈의 검은자위를 고정밀도로 추적하는 것이 가능하다. 눈꺼풀 추적에서는 눈꺼풀 형상특성을 잘 나타내는 모델을 이용함으로써 복수의 피험자에게 유효한 추적 방법을 실현했다. 또, 두부자세에 따른 사영 변환을 입력눈 영역이미지에 적용시킴으로써 두부운동에 기인하는 외양의 변화를 고려한 추적이 가능하게 되었다.
\r\n
\r\n
.jpg)
\r\n
\r\n
실험 1에서 피험자 1, 2, 4는 90%정도 추적에 성공했는데, 실패한 10%는 고속의 두부자세 변동이나 깜박거림에서 기인되는 것이다. 피험자 3에 대해서는 15%정도의 실패가 나타났는데 이것은 눈꺼풀 모델의 학습에 편향이 있어 피험자 3의 눈 형상과 큰 차이가 있었기 때문이다. 이것은 학습에 근거하는 이번 연구의 약점이라고도 할 수 있다. 앞으로는 학습 눈꺼풀 이미지를 늘려 편향을 해소하면서 인종의 차이도 포함해 보다 일반화 성능이 높은 모델을 작성하는 것이 과제가 된다.
\r\n
\r\n
눈의 검은자위 추적에 있어서 그림 6에 나타내는 것과 같이 속눈썹이나 눈꺼풀, 환경광의 각막상의 반사점 등 다양한 에지가 외란이 될 수 있다. 이번 연구에서는 눈꺼풀 추적 결과에서 명확한 개안 열외부의 에지를 제외한 뒤, RANSAC에 의해 다양한 외란에 로버스트한 눈의 검은자위 추적을 실현했다. 또, 샘플링 시에 사전에 템플릿 매칭에 의해 탐색 범위를 대폭 좁힘으로써 처리의 고속화에 공헌했다.
\r\n
\r\n
이번 연구에서는 다양한 처리를 조합하고 있는데 병렬화나 눈의 검은자위 추적의 효율화에 의해 보급 가격대의 노트북(core i7 quad-core, 4GB 메모리)에서 50fps정도로 동작하고 있다.
\r\n
\r\n
맺음말
\r\n
이번 연구에서는 일상생활에 있어서의 응용을 목적으로 하여 일반적인 카메라를 입력 디바이스로 한 눈꺼풀 및 눈의 검은자위 추적 방법을 제안했다. 이 처리는 모두 자동으로 되고 카메라에 비친 순간에 추적이 시작된다.
\r\n
\r\n
앞으로는 이번 연구의 눈꺼풀, 눈의 검은자위 추적 결과로 교정 불필요한 시선 추정을 실현하는 것을 목표로 삼고 있다.
\r\n
\r\n
\r\n
참고문헌
\r\n
1) Dan Witzner Hansen and Qiang JI，“In the Eye of theBeholder:A Survey of Models for Eyes and Gaze”，IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINEINTELLIGENCE, Vol.32，No.3，pp.478-500（2010）
\r\n
\r\n
2) Arantxa Villanueva and Rafael Cabeza，“A Novel GazeEstimation System With One Calibration Point”，IEEETRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS PART B:CYBERNETICS, Vol.38, No.4，pp.1123-1138（2008）
\r\n
\r\n
3) Y.SUGANO, Y.MATSUSHITA and Y.SATO，“Gaze estimationusing visual saliency”, MIRU2010 pp.1507-1514（2010）(inJapanese）
\r\n
\r\n
간노 유스케, 마쓰시타 야스유키, 사토 요이치, ‘시각적 현저성을 사용한 시선 추정’, 이미지의 인식이해 심포지엄MIRU2010, pp. 1507-1514(2010)
\r\n
\r\n
4) Jason M.Saragih, Simon Lucey and Jeffrey F.Cohn，“Deformable Model Fitting by Regularized Landmark Mean-Shift”，International Journal of Computer Vision（IJCV，Vol.91, pp.200-215 （2010）
\r\n
\r\n
5) T.Cootes, Talking face video, www-prima.inrialpes.fr/FGnet2002 （FGnet-IST-2000-26434）
\r\n
\r\n
6) Y.KITAGAWA, H.WU, T.WADA, T.KATO，“On eye-modelpersonalization for automatic visual lineestamation”，PRMU2007, Vol.106，No.469，pp.55-60 （2007）（in Japanese）
\r\n
기타가와요스케, 오해원, 와다 도시카즈, 가토 다케카즈, ‘자동시선 추정을 위한 아이모델의 개인적응법’, 전자정보통신학회기술연구보고. PRMU, 패턴인식미디어 이해, Vol. 106, No. 469, pp. 55-60(2007)
\r\n
\r\n
7) Zhang,Wen, Tai-Ning Zhang and Sheng-Jiang Chang，“Eyegaze estimation from the elliptical features of oneiris”，Optical Engineering 50（4），047003（2011）
\r\n
8) 야마조에 히로타케, 우쓰미 아키라, 요네자와 도모코, 아베 신지, ‘단안 카메라를 사용한 시선 추정을 위한 3차원안구 모델의 자동 교정’, 전기정보통신학회논문지 D, Vol. J94-D, No. 6, pp. 998-1006(2011)
\r\n
\r\n
Keyword
\r\n
1) 어피어런스 베이스 : 이미지의 겉모습에 주목한 방법. 눈의 검은자위나 눈꺼풀과 같은 각각의 구조를 식별하지 않고 화소열 그 자체를 입력 데이터로 한다. 대상의 구조파악이 곤란할 경우에 유효한데 조명 조건이나 자르는 방법, 대상의 자세변화에 의한 외양 변화의 영향을 크게 받는다.
\r\n
\r\n
2) 모델 베이스 : 대상의 구조에 주목한 방법. 어피어런스 베이스에서는 동일물체라도 자세나 조명 조건의 영향을 받기 쉬운 것에 비해 모델 베이스에서는 대상의 기하적인 구조에 주목하기 때문에 이 조건의 영향은 받기 어렵다. 그러나 사전에 대상의 구조 모델이 필요한 외에 각각의 구조 추적 정밀도가 중요하게 된다.
\r\n
\r\n
3) 얼굴 특징점 : 얼굴의 각기관의 추적 시에 눈시울·콧구멍·입꼬리 등 추적에 적합한 특징적인 점.
\r\n
\r\n
4) Particle Filter : 대상 모델에 근거해 Particle이라고 불리는 다수의 이산 샘플을 산포하여 그 관측값으로부터 모델의 숨겨진 파라미터를 추정하는 방법. 인물이나 물체추적으로 입자장의 샘플 점을 산포하는 경우가 많기 때문에 이렇게 불리고 있다. 이번 연구에 있어서 1Particle은 12개의 접선으로 구성되는 눈꺼풀 형상 모델을 의미한다.
\r\n
\r\n
\r\n
[월간 시큐리티월드 통권 제207호(sw@infothe.com)]
\r\n
\r\n
<저작권자 : www.securityworldmag.co.kr) 무단전재-재배포금지>
\r\n
