얼굴인식과 본인인증
\r\n
\r\n[시큐리티월드 아카구라 다카코·가와마타 다이스케] 정보통신기술의 발달로 학습에 있어서 시간적·공간적인 제약을 완화할 수 있는 e러닝이 보급되고 있다. 사이버대학이나 와세다대학의 e스쿨처럼 통학을 하지 않고도 e러닝만으로 학위를 취득할 수 있는 온라인 고등교육기관도 있다.
\r\n
\r\n또, 인터넷 상에서 시험을 치르는 e테스팅은 수험자의 능력에 맞는 문제를 출제하는 기술이나, 시험장을 준비하는 비용 절감 등의 장점으로 사이버대학이나 기업의 채용시험에서도 널리 이용되고 있다. 이번 호에서는 e러닝과 e테스팅에서의 얼굴인식 방법 대해 살펴본다.
\r\n

\r\n\r\n\r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n\r\n\r\n

e러닝이나 e테스팅은 일본이 안고 있는 급속한 저출산 고령화에 따른 인구 감소 사회로의 전환이라는 사회문제에 있어서 큰 의의를 가진다1). 지금까지의 가치관을 크게 바꿀 수밖에 없기 때문이다.
\r\n
\r\n직장 문제만 봐도 일본은 긴 종신고용제와 연공서열형 임금이라고 하는 시스템을 축으로 했었지만 이는 인구 구성이 피라미드형이었기 때문에 가능했으며, 저출산과 고령화로 접어드는 사회와는 더 이상 맞지 않는다. 이전에는 피라미드의 위쪽은 고임금이지만 수적으로는 적은 중장년 노동자가, 피라미드 아래쪽은 수적으로는 많은 수를 차지하지만 저렴한 임금의 청년 노동자로 구성돼 급여의 균형을 유지할 수 있었고 두 세대 모두에게 일할 장소와 소득을 보장할 수 있었다.
\r\n
\r\n그러나 이런 형태는 빠르게 속도로 무너지고 있다. 18세 인구(이하 고3 수험생)의 급격한 감소에 따른 것이다. 이로 인해 정원 미달 사립대학도 급증하고 있다. 그러나 필자들은 이것을 어두운 뉴스라고만 보지 않았다. 라이프 코스의 스케줄링에 자기의 의사나 선택이 반영되는 정도가 높아졌다고 봤다.
\r\n
\r\n이처럼 평생 직장의 개념이 무너지면서 젊은 세대 중에는 본인과 가정을 중시하고 전직이나 이직을 적극적으로 하는 사람이 늘고 있다. 이직과 전직을 위해 자격의 취득이나 자기 계발에 노력하는 사람도 늘어나는 추세다. 이들은 인구감소를 단지 사실로서 받아들일 뿐 구체적인 그 대책을 스스로 생각할 필요가 있다고는 보지 않는다.
\r\n
\r\n젊은층이 이직과 전직을 하면서 커리어를 도모해 가기 위해서는 고등 교육기관이 단지 고3 수험생의 최종 목적지가 아니라 사회에 진출한 사람들에게도 능력 개발을 위한 지원 기관이나 재교육 기관이 될 필요가 있다. 또한 지방에 사는 사람들에게는 e러닝이나 e테스팅이 이를 위한 중요한 수단이 될 수 있다.
\r\n
\r\n이처럼 기대를 받고 있는 e러닝과 e테스팅이지만 확실한 수강자 확인이 어려운 점은 과제로 작용하고 있다. 특히 e테스팅의 경우 시험을 시작할 때 응시자의 ID와 비밀번호를 입력하는 것으로 개인을 인증하는 방법이 일반적이지만, 이 방법은 대리 시험이 가능한 데다 컨닝 등 부정행위를 막을 수 없다는 점이 단점으로 꼽히고 있다. 이런 부정행위는 e러닝과 e테스팅의 신뢰와 형평성을 손상하는 걸림돌로 거론되고 있다2). 따라서 e러닝과 e테스팅에 있어서 부정행위 방지 기술의 개발은 필수적이다.
\r\n
\r\ne러닝 부정행위를 방지하는 방법으로 많이 사용된 것은 학습 중인 학습자에 대해 순차적 바이오인식을 적용하는 것이다. 일례로 학습자의 PC에 웹 카메라를 달아 수험 중에 얼굴을 인식하는 방법이나 지문 센서를 달아 지문인식을 하는 방법이 있다3). 그렇지만 학습자의 부담이 크다는 게 문제다. 학습 중에 시행돼 공부의 흐름이 깨지기 때문이다. 때문에 e러닝과 e테스팅에서 얼굴 이미지를 사용한 순차 인증을 할 때는 학습자의 자연스러운 행동을 고려할 필요가 있다.
\r\n

\r\n\r\n\r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n

	그림1. 제안하는 얼굴 인식 모델

\r\n\r\n

이번 원고에서는 <그림1>에 나타내는 것과 같이 웹 카메라로 학습·시험 중인 학습자의 정면 이미지를 순차 취득하고, 그 이미지에 얼굴인식을 적용함으로써 비동기형 e러닝·e테스팅에 있어서 부정행위를 방지하는 기술에 관해 설명한다.
\r\n
\r\ne러닝·e테스팅에서의 얼굴인식
\r\n얼굴인식을 응용할 때의 기본적 전제 조건은 다음과 같다. ①인증 처리는 학습 중 모든 시간에 순차적으로 실시한다. ②학습자에게 인증을 위한 행동을 요구하지 않는다.
\r\n
\r\n①에 대해서 고정밀도의 얼굴인식을 실시할 경우 고도의 이미지 처리 기술을 이용하는 것이 바람직하지만, 이 연구는 실시간으로 얼굴인식을 하는 것을 설정하고 있어 이용할 수 있는 이미지 처리 기술은 계산량이 적은 것에 한정된다. ②와 같은 경우, 예를 들어 공항 등에서 사용되고 있는 얼굴인식은 피인증자에게 카메라 쪽을 향하도록 요구하며 조명의 영향 등도 가능한 통제한 상태에서 얼굴을 촬영한다.
\r\n

\r\n\r\n\r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n

\r\n \r\n
	그림2. 직사각형 특징을 사용한 얼굴 검출

\r\n\r\n\r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n

	그림3. LBP의 계산 예

\r\n\r\n

그러나 이번 연구에서 학습자에게 인식을 위한 행동을 하게 할 경우 학습자의 학습에 방해가 될 가능성이 있다. 그 때문에 학습자가 학습 중에 하는 행동을 고려해서 얼굴인식을 할 필요가 있다. 특히 이번 얼굴인식 연구에서 밝힐 것은 입력 이미지가 복수 존재하고, 그것들 사이에 시계열 관계가 있다는 것이다. 이번에 소개하는 분석은 e러닝·e테스팅 중에 1초 간격으로 수강자의 정면 이미지가 입력되는 설정이다. 이런 설정은 이미지의 시계열 정보를 활용함으로써 저비용으로 높은 정밀도를 가진 얼굴인식 수법을 구축할 수 있다.
\r\n
\r\n얼굴인식 기술
\r\n얼굴인식 처리는 피인증자를 촬영하고, 이미지에서 얼굴 영역을 검출해, 얼굴 영역에서 특징을 추출하는 흐름을 기초로 한다. 앞장에서 기술한 바와 같이 e러닝·e테스팅에서는 순차적으로 얼굴을 인식하기 때문에 통신 용량이나 서버의 계산 부하 등을 고려하면 계산이 간단해 바람직하다.
\r\n
\r\n얼굴 검출
\r\n이미지에서 얼굴 영역을 검출하는 데는 비올라(Viola) 등이 개발한 방법4)이 자주 사용된다. 미리 강화 학습으로 가중시킨 대량의 약식별기를 이미지의 국소 영역(직사각형)에 적용해 식별기와 일치하면 가중에 -1을 곱한 것을 산출해 이 결과를 모두 합한 결과가 0보다 크면 얼굴로 간주하고 0이하면 얼굴이 아니라고 간주하는 것이다. 각각의 약식 별기는 이미지의 휘도차를 이용해서 작성된다. 눈썹은 눈썹 아래와 비교해서 어둡다, 콧날은 그 양쪽과 비교해서 밝다 등과 같은 특징을 반영한다<그림2>. 이 방법은 오픈 소스 소프트웨어인 오픈CV(OpenCV)에 표준으로 장착돼 있다.
\r\n
\r\n얼굴 특징의 추출
\r\n취득한 얼굴 이미지의 비교에는 아호넨(Ahonen) 등5)이 제안한 방법을 사용한다. 먼저 이미지를 임의의 직사각형 영역으로 나누고, 각각의 영역에서 중심 화소를 역치로 해서 근방 화소를 이치(二値)하고, 그 영역을 2진수로 나타낸다. 그 후 영역별로 얻은 2진수를 10진수로 변환한 LBP(Local Binary Pattern)6) 값을 사용해 이미지를 비교한다<그림3>.
\r\n

\r\n\r\n\r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n

	그림4. LBPH의 작성방법

\r\n\r\n

분할된 이미지 내의 모든 영역에 대해서는 산출된 LBP의 출현 빈도를 사용해 히스토그램(LBPH : LBP-Histogram)을 작성하고<그림4>, 등록 이미지와 입력 이미지의 LBPH에 대한 상관 계수를 유사도로 설정한다. LBP는 주목 화소와 그 근방 화소의 크기를 비교해 특징량이 계산되기 때문에 계산 비용이 적다. 또, 화소값 변화가 있으면 이미지 내에서 화소값 크기 관계가 역전되는 경우는 없다. 그 때문에 LBP는 조명 변화의 영향을 잘 받지 않는다는 이점이 있다.
\r\n
\r\n바이오인식 정밀도 평가의 지표

\r\n\r\n

\r\n\r\n\r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n \r\n

	그림5. 분리성 척도

\r\n\r\n

이번 원고에서 소개한 분석에서 사용된 바이오인식에 대한 정밀도 평가 지표는 다음과 같다.
\r\n
\r\n2개의 분포가 얼마나 떨어져 있는가를 평가하기 위해서 분리성 척도7)가 제안됐다<그림5>. 본인-본인 간의 유사도 분포와 본인-타인 간의 유사도 분포에 대해서 분리성 척도 값이 크면 유사도에 의한 개인 식별이 쉬워진다. 분리성 척도는 <식(1)>로 나타낼 수 있다.
\r\nγ은 본인-본인 간을, n은 본인-타인 간을 나타낸다. μ은 유사도의 평균값, σ2은 유사도의 분산이다. 분포의 분리를 판단하는 분리성 척도 값에 대한 기준은 0.707 이상이 된다.
\r\n
\r\n
\r\n참고문헌
\r\n1) 아카구라 다카코, “앞으로의 고등 교육기관에 기대되는 역할-e 테스트 시스템의 수험자 인식 모델의 전개- (초대 강연)”, 전자정보통신학회 기술연구보고, Vol.113, No.106, pp.11-16(2013)
\r\n2) 가와하라 히로시, “원격 교육에 있어서 학점 인정을 위한 개인인증”, 미디어교육연구 Vol.7，No.1，pp57-63（2010）
\r\n3) E.Agulla, E.Rua, J.Castro, D.Jimenez, L.Rifon, “Multimodal Biometrics-Based Student Attendance Measurement in Learning Management Systems”，11th IEEE International Symposium on Multimedia，pp.699-704（2009）
\r\n4) P.Viola, M.Jones,“Rapid object detection using a boosted cascade of simple features”，Proc. Of Computer Vision and Pattern Recognition, Vol.1, pp.511-518（2001）
\r\n5)T.Ahonen, A.Hadid, M.PietikDIN Lightinen,“Face recognition with local binary patterns”， 　 Application to Face Recognition.IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.28, No.12, pp.2037-2041（2006）
\r\n6) T.Ojala, M.Pietikainen, D.Harwood,“A comparative study of texture measures with classification based on fearture distribution”，Pattern Recognition, Vol.29, No.1, pp.51-59（1996）
\r\n7) 나카무라 젠이치, 기도데 마사쓰구, “필적 감정의 지견에 근거하는 특성 값을 사용한 온라인 필자 대조”, 시스템제어정보학회 연구발표 강연회 강연논문집, Vol.22， No.1， pp.37-47（2009）
\r\n8) Anil K.Jain, Patrick Flynn, Arun A.Ross, Anil Jain, “Handbook of Biometrics”, Springer US（2007）
\r\n9) 가와마타 다이스케, 후지모리 스스무, 아카구라 다카코, “e-Learning에 있어서 수강자의 시스템 조작 타이밍을 이용한 얼굴 인식 수법의 제안”, 일본교육공학회 제31회 전국대회 강연논문집, pp.455-456(2015)
\r\n10)가와마타 다이스케, 후지모리 스스무, 아카구라 다카코, “e-Learning에 있어서 교수 행동이 얼굴 인식에 미치는 영향”, 2016년 전자정보통신학회 종합대회 강연논문집, p.201(2016)
\r\n11) 가와마타 다이스케, 후지모리 스스무, 아카구라 다카코, “e-Learning수강자 등록 얼굴 정보의 순차 갱신에 의한 실시간 얼굴 인식”, 전자정보통신학회 기술연구보고, Vol.115, No.223, pp.33-37(2015)
\r\n12) 가와마타 다이스케, 후지모리 스스무, 아카구라 다카코, “e-Learning수강자의 등록 얼굴 정보에 의한 인식을 위한 각종 순차 갱신법의 검토”, 전자정보통신학회 기술연구보고, Vol.115, No.319, pp.35-40(2015)
\r\n13) 가와마타 다이스케, 후지모리 스스무, 아카구라 다카코, “e-Learning에 있어서 등록 얼굴 정보의 가중치 갱신에 의한 수강자 인증”, 전자정보통신학회 기술연구보고, Vol.115, No.492, pp.137-142 (2016)
\r\n14) 타나카 유스케, 요시무라 유, 도모토 다카히토, 아카구라 다카코, “e-Testing 에 있어서 대리 방지를 위한 얼굴 이미지를 이용한 개인인증”, 전자정보통신학회 논문지, Vol.J98-D, No.1, pp.174-177(2015)
\r\n15) 가와마타 다이스케, 히가시모토 다카히토, 아카구라 다카코, “e-Testing에 있어서 수험자의 자세 변화가 얼굴 인식에 미치는 영향의 조사”, 2015년 전자정보통신학회 종합대회 강연논문집, 정보·시스템학회 특별 기획 학생 포스터 세션 예고집, p.213(2015)
\r\n[글 아카구라 다카코 도쿄이과대학 공학부 정보공학과 교수·가와마타 다이스케 도쿄이과대학 대학원 공학연구과 경영공학 전공]
\r\n
\r\n[월간 시큐리티월드 2017년 2월호 통권 241호(sw@infothe.com)]