도시바는 로버스트 성을 향상시킨 차량번호판 인식장치를 개발했다. 차량번호 인식은 주로 촬상 기능과 화상처리 기능으로 실현된다. 전자에 대해서는 차량번호의 휘도 정도를 바탕으로 화상을 최적화하며, 후자에 대해서는 차량번호 영역을 추정한 후에 번호판 내의 문자를 인식하는 방식을 적용함으로써 로버스트 성이 향상된다.

머리말

차량번호판 인식기술은 1980년대 후반에 실용화가 진행됐다. 최근 몇 년간 ETC(Electronic Toll Collection System : 논스톱 자동요금수수 시스템)의 이용이 활발해진 가운데 이륜차에서의 적용도 이루어지면서 부정통행차량이 증가하고 있다는 뉴스가 신문지상에 자주 오르내리는 등 번호판을 정확하게 인식하는 일의 중요성이 새롭게 부각되고 있다. 이번에 이륜차의 번호판을 포함한 인식장치를 개발했기에 아래와 같이 그 개요와 특징이 되는 기능에 대해서 서술한다.

장치의 개요

이번에 개발한 번호판 인식장치는 카메라로 주행차량의 후면을 촬영하여 그 화상 데이터에 포함되는 번호판 화상에서, 번호 정보를 생성한다. 주로, 카메라를 주체로 한 촬상부와 거기에서의 화상을 근거로 번호판의 정보를 인식하는 인식부로 구성된다(그림 1, 2).

촬상부는 카메라부, 조명부 및 인터페이스부로 구성되어 전용 본체에 포함된다. 특히, 촬상부는 옥외 사용을 위한 내환경성과 차량의 주행에 의한 진동, 먼지, 매연을 견딜 수 있는 구조가 요구된다. 본체는 전면과 후면에 개폐문이 설치되어 있으며, 각 문은 자물쇠를 채운 후 개폐상태를 원격 감시한다. 인터페이스부에서는 인식부와의 사이에서 화상신호나 상태 신호 등의 통신제어를 행하며, 또한 촬상부의 카메라를 조정할 수 있는 각종 HML(Human Machine Interface)를 포함하고 있다.

인식부는 촬상부에서 출력된 화상 데이터를 수신하여 그것을 처리한 후에 필요 정보를 꺼내 해석하는 역할을 통해 번호판 정보를 생성한다.

촬상부는, 주행하는 차량의 번호판을 정지화상으로 포착하고 모든 번호 정보(그림 3)을 인식할 수 있도록 하기 위해, 통과하는 차량의 오른쪽 또는 왼쪽 경사진 후방의 촬영 최적위치에 설치돼 있다. 촬영 타이밍은 별도 설계된 위치검출 센서에 의해 결정된다.

이 장치는 24시간 연속적으로 안정적인 가동이 요구된다. 이를 위해서는 인식엔진의 성능은 물론, 야간의 화상품질을 확보하기 위한 조명성능이나, 외부의 환경조건(기후, 방위, 계절, 시간대 등)에 영향을 받지 않는 안정된 화상품질의 확보가 필요하다. 아래에서는 실현방법에 대해 구체적으로 기술한다.

※차량 크기에 따라 번호판의 사이즈는 대, 중, 소의 3종류가 있다.

촬상제어 방식

차량번호판 인식장치는 야간부터 맑은 날 주간까지의 모든 환경에서 적절한 촬상 결과를 얻을 필요가 있다. 촬상 조건을 고정해서 결과를 얻으려고 한다면, 생각보다 강한 조명이 필요해 현실적이지 않다. 그렇기 때문에 촬상 조건을 제어하는 것이 필요하게 되었다.

종래 방식

종래의 촬상 제어에서는 주변 조도를 바탕으로 제어를 행하는 방식이나 카메라에 입력된 화상의 평균 휘도를 이용한 오토 아이리스(Auto Iris) 방식 등이 사용되고 있다. 그러나 번호판 부분의 휘도는 주변 조도나 일반 화상의 평균 휘도와 연동하지 않는 경우가 있어, 번호판의 촬상에 적합한 조건이 되지 않는 경우가 있다.

개발한 장치의 방식

종래 방식의 문제점을 해결하기 위해 이 장치에서는 인식부에서 얻어진 번호판의 휘도 정보를 바탕으로 촬상 조건을 제어하는 방식을 채용했다(그림 4). 이 방식에서는 모든 환경에서 촬상할 수 있도록 하기 위해 조명광이나 태양광을 고려해서 그림 5에 표시한 것처럼 촬상 조건을 설정할 필요가 있다. 여기에서 설정한 조건 중에서 촬상에 사용하는 조건을 선택하는 방법은 다음과 같다(그림 6).

(1)인식 엔진에 화상 데이터를 입력함으로써, 번호판 내의 문자와 배경의 휘도 정보가 출력된다.

(2)이러한 휘보 정보에서 일정시간 내에 통과한 차량에 대해서 번호판 흰색 부분의 평균 휘도를 계산한다.

(3)각 촬상 조건에 대해서 번호판 흰색 부분의 휘도의 상한과 하한을 사전에 설정해 두고, 상한을 넘었을 경우에는 화상 전체의 휘도를 낮추는 방향으로 촬상 조건을 변경한다. 거꾸로 하한을 넘었을 경우에는 화상 전체의 휘도를 올리는 방향으로 변경한다.

(4)(1)~(3)의 제어의 근거로 촬상하여, 촬상 결과를 인식엔진에 다시 입력하고 촬상 제어를 반복해서 실행한다.

개선결과

이하의 촬상 제어를 실시함으로써 얻어진 결과를 그림 7에 나타낸다. 이 결과에서도 번호판 흰색부분의 휘도의 흐트러짐이 종래의 오토 아이리스 방식과 비교해서 저감되고 있다는 사실이 입증되었다.

인식방식

인식상의 문제

번호판 인식성능의 로버스트 성을 확보한 뒤에, 대상이 되는 문자 해상도의 흐트러짐이나 카메라의 설치조건에서 발생하는 문자의 기울임 등이 지금까지 문제가 되어 왔다.

차체후방 중앙이외에 설치한 예가 많기 때문에, 카메라 초점거리의 차이에 의한 해상도의 흐트러짐이나 차체의 그늘에 숨어버리는 예도 관찰된다. 시간대에 따라서는 더욱이 그림자도 나타나기 때문에 이러한 것들의 조건 아래에서도 안정되게 인식성능을 확보하는 일이 요구되고 있다.

이것에 대응하기 위해, 일본차량 번호판의 특징을 이용하여 최초로 4자릿수의 일련번호를 검출·인식하여 번호판 영역을 추정한 후, 그 안의 문자를 인식하는 방식을 개발했다. 이 방식에 의하면 어떤 문자가 부분적으로 숨어있는 경우라도 숨어 있지 않은 부분의 문자 줄에서 숨어있는 부분을 통계적으로 추정할 수 있다. 또한, 문자의 기울어짐에 의한 문자 폭의 변화(그림 8)에 대해서는 4자릿수의 각 문자 간의 거리 변화를 고려한 파라미터 조정으로 대응할 수 있다.

인식 알고리즘의 개요

번호가 올바르게 인식된 경우, 4자릿수의 일련번호 및 화상 안의 번호판의 위치와 각도를 나타내는 파라미터에 의해서, 화상 안의 적절한 위치에 템플릿이 겹치게 된다(그림 9). 템플릿 내의 각 장방형의 영역(일련번호를 제외한 육지운송지국 코드 분류번호 및 용도 코드)에 들어가는 문자는 이것들의 장방형의 위치정보를 근거로 인식된다.

번호판 인식의 알고리즘의 개요를 그림 10에 표시하여 아래와 같이 설명한다.

(1)일련번호를 구성하는 문자(숫자)를 추출하기 위해 전처리 후의 화상에 레이벌링 처리를 시행해 얻어진 영역내의 문자를 인식하고 문자 후보군을 작성.

(2)하프교환에 의한 직선검출을 응용하여 직선상에 늘어선 사이즈에 가까운 문자후보군을 일련번호가 될 수 있는 후보군으로서 추출(그림 10의 ①).

(3)상기 후보 중의 각 문자 후보에서 4개 이내의 숫자후보를 추출하여 일련번호의 각 자릿수에 맞춰 번호판 후보를 작성(그림 10의 ②).

(4)일련번호 후보에 비어있는 자리가 있는 경우에는 후처리에 있어 해당하는 영역을 화상에서 꺼내어 다시 문자인식을 실시하고, 최종 해답후보를 추출(그림10의 ③).

(5)해답후보의 위치와 각도의 파라미터에서 육지운송지국 코드, 분별번호 및 용도코드에 해당하는 영역을 추출하여 각 영역에 대해서 문자인식과 단어 확인을 시행하고, 번호판내의 모든 문자정보를 취득.

인식성능과 이후의 문제

이번에 개발한 번호판 인식방식을 통해 옥외에서 촬상된 화상 데이터로부터 무작위로 추출한 것을 대상으로 인식성능을 검증한 결과, 약 98% 이상의 인식률을 얻었다. 지금까지 과제였던 각도조건에 대한 로버스트 성이나 부분적으로 숨어있는 것에 대해서도 양호한 결과를 얻고 있다. 남겨진 과제는 해상도의 로버스트 성 향상을 들 수 있다. 이것은 압축처리를 쓰는 화상 데이터를 상정하고 있다. 또한 여러 장의 프레임 화상을 활용하여 인식성능을 향상시키는 방식에 대해서도 검토할 필요가 있다.

맺음말

이번에 개발한 번호판 인식장치는 필드실험에 의한 번호 인식률의 평가를 마친 결과, 목표 인식률을 달성했다. 또한 이번에 개발한 촬상 및 화상처리의 기술을 옥외에서의 각종 물체의 검출에 응용하기 위해 연구개발을 진행해 나갈 예정이다. 

참고문헌

1) “숫자기호 영역의 배치정보를 이용한 번호판 인식방법”, vision Engineering Workshop 2007. <http://www.tc-iajp.org/view2007/>, (참조 2008-05-13)

2) 단어인식에 있어서 사후확률을 이용한 평가관수. PRMU.106.300, 2006.p.1~6.

<글 : 사쿠라이 유우스케(yuusuke.sakurai@toshiba.co.jp) / 도시바>

[월간 시큐리티월드 통권 제154호(info@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>