머리말

근래 인터넷상에서 지도와 연동한 실사영상 등의 열람을 통해 실공간의 정보교환·검색·열람 등이 가능한 서비스가 주목 받고 있다. 예를 들면, goo의 워크스루 비디오 시스템이나 google의 스트리트뷰 등의 서비스에서는 도로에서 촬영된 실제 영상을 지도와 비교해 열람하는 것이 가능해져 도시경관이나 관광지 등의 보다 상세한 정보를 취득할 수 있게 되었다. 인터넷 상에서 더욱 현장감 있는 워크스루, 또한 경관 시뮬레이션 등을 실시하는 것을 목표로 하여 도시공간의 3차원화도 시도되고 있다.

현실에 가까운 도시공간모델을 얻기 위해서는 상공과 지상 양쪽이 모두 통합된 모델이 필요하다. 상공에서의 방법으로서는 주로 위성이나 항공기를 이용한 방법이 있지만, 필자들도 이미 도시전체를 부감할 수 있는 도시공간 모델의 구축을 시도하고 있다. 그러나 상공에서의 데이터만으로는 보행자의 시선에 해당하는 건물측면 부분의 텍스처를 획득하는 것이 곤란하고, 이 때문에 워크스루 할 때 얻어야만 하는 높은 현장감을 취득하지 못하여 지상에서의 도시 데이터 취득을 과제로 하고 있다. 지상에서의 방법에 있어서도 다양한 연구를 하고 있고, 카메라나 거리센서를 차량에 탑재하여 건물측면을 복원하는 모빌 매핑 기술의 연구개발이 행해지고 있다. 도로 등 지상에서 도시부의 건물측면을 대상으로 하는 경우, 상공에서 건물 상면을 촬영하는 경우와 비교해서 상대적으로 근거리 촬영이 되기 때문에 모든 높이의 건물, 예를 들면, 고층빌딩의 측면을 통상의 렌즈로 비추는 것은 어렵다는 문제가 있어 시야가 넒은 전방위 카메라를 이용한 방법이 제안되어 왔다. 이들 전방위 카메라를 이용하는 방법으로는 광범위한 도시 경관을 단시간에 취득하는 것이 가능하기 때문에 효율적으로 지상에서의 도시 데이터를 취득하는 데에 유효하다. 그러나 전방위를 1장의 화상에 담아내기 위해, 보행자나 드라이버의 시점에 해당하는 건물저층부에 관해서는 높은 현장감을 얻지만, 충분한 해상도를 얻는 것은 어렵다고 하는 문제점이 있다.

여기에서는 일상생활에서의 보행자 시선에 해당하는 건물저층부의 영상을 고해상도로 얻기 위해서 차량에 라인센서 카메라를 탑재한 도시 데이터 취득 시스템에 대해서 소개한다.

라인센서 카메라는 일반적으로 에어리어 센서 카메라보다도 1라인의 화소수가 많고 더욱이 취득 레이트가 높다는 특징을 가지며, 주행하면서 고해상도 영상을 취득하는 데 적합하다.  뒷부분에 기술할 로터리 인코더를 이용하여 라인센서 카메라의 성능을 최대한으로 끌어올림으로써 저층부에 있는 문자정보 등도 판별할 수 있는 고해상도의 파노라마 화상을 취득할 수 있게 되었다. 더욱이 스테레오시에 의해 화상만으로 건물측면의 오행정보를 취득하는 알고리즘을 개발했다. 또한 이러한 시스템의 차량에는 라인센서 카메라뿐만이 아니라 건물 고층부 촬영용의 어안렌즈를 탑재한 전방위 카메라와 GPS를 내장하여 양 카메라에서 취득한 데이터의 통합을 시도했다.

라인센서 카메라를 탑재한 도시 데이터 취득 시스템의 구성

여기서는 건물측면의 화상취득을 위한 시스템 구성에 대해서 설명한다. 그림 1(a)는 구축한 도시 데이터 취득 시스템 전체의 외관을 나타낸다. 차량측면에 라인센서 카메라, 차량지붕 위의 전방과 후방에 어안렌즈를 탑재한 전방위 카메라를 탑재하고 있다. 그림1(b)는 라인센서 카메라의 셔터를 제어하기 위한 펄스발생용 타이어, 그림1(c)는 3대의 라인센서 카메라를 나타낸다.

라인센서 카메라

라인센서 카메라는 광학소자가 일렬만 배치된 카메라로, 이 시스템에서는 1라인이 2048화소, 취득 레이터 약 6000장/s인 것을 채용했다. 이것은 교통상황을 생각하면, 도시부의 건물측면의 정보를 취득할 때에, 차량이 4~50km/h정도의 속도로 주행하면서 영상을 취득할 수 있는 것이 바람직하다. 이를 위해서 일반적으로 에어리어 센서 카메라보다도 1라인의 화소수가 많은데다가 취득 레이터가 높은 라인센서 카메라를 채용하여, 일반차량과 같은 정도의 속도로 주행하면서 고해상도의 영상을 취득할 수 있게 했다. 그림2(a)에 나타나는 것처럼 라인 방향이 연직방향이 되도록 각 라인센서 카메라를 차량의 측면에 설치하고, 주행하면서 취득한 라인화상을 시계열로 배열하는 것으로 고해상도 파노라마 화상의 취득을 실현하고 있다.

로터리 인코더

이 시스템에는 차량의 속도변화에 관계없이 일정거리 간격마다 라인화상을 취득하기 위해서 로터리 인코더, 로터리 인코더를 설치하기 위한 펄스발생용 타이어와 함께 이들의 제어용 장치를 탑재하고 있다. 로터리 인코더라는 것은 축의 회전변위량에 대해 펄스를 출력하는 것으로, 이 시스템에서는 좌후부 차륜의 우전방에 설치한 펄스발생용 타이어(그림1(b))에 설치하여 타이어가 일정각도로 회전할 때마다 펄스를 발생시키고 있다. 이것에 의해 차량의 속도나 가속 및 감속에 관계없이 일정거리 진행할 때마다 펄스를 발생시키는 것이 가능하고, 이 펄스를 촬영 트리거로써 이용하여 일정거리 진행할 때마다 라인화상을 취득하는 것을 실현하고 있다. 이것에 의해 촬영 후 위치 맞춤 등의 합성처리 과정 등이 필요 없고, 라인화상을 배열하는 것만으로 가로축이 평행 투영한 파노라마 영상을 취득하는 것이 가능하다. 이 시스템에서는 타이어가 약 4mm 진행할 때마다 촬영 트리거의 펄스를 발생시키도록 했다. 도로 상의 울퉁불퉁한 부분이 없고, 직선상을 차량이 이동하고 있다고 하면 약 4mm마다 라인화상을 취득하고 있는 것이 된다.

센서 배치

이 시스템은 3대의 라인센서 카메라(그림1(c))를 설치했는데, 그 안의 한가운데에 1대는 텍스처 획득용, 양측의 2대는 스테레오시를 실시하기 위한 카메라이다. 전자에 컬러 카메라, 후자에 모노크롬 카메라를 이용하고 있다. 그림2(b)에 나타나는 것처럼, 한가운데의 텍스처 확득용 카메라는 차량의 진행방향에 수직인 방향을 촬영하도록 설치하고, 양측의 스테레오시용의 2대의 카메라(그림2(b)의 Cf와 Cb)는 차량의 진행방향에 수직인 방향에서 같은 각도로 기울여 설치했다.

전체 구성

이 차량에는 건물 저층부를 대상으로 한 라인센서 카메라 장치만이 아니라 건물 고층부를 대상으로 한 전방위 카메라에 의한 장치와 이것들을 통합하기 위한 촬영위치 정보수집 장치도 탑재했다. 전체의 시스템 구성도를 그림 3에 나타낸다. 전방위카메라에 의한 장치(그림3 점선부분)는 전방위 카메라 2대로부터 스테레오시를 실시하기 위한 기선장은 5.5m이다. 촬영위치 정보수집 장치는 타임서버와 GPS장치, 그리고 제어컴퓨터로 구성된다. 라인센서 카메라의 시스템(그림3 실선부분), 전방위 카메라의 시스템은 각각 타임서버에서 촬영시각을 취득하여 GPS장치에 의해 기록된 시각과 GPS 좌표와의 대응표를 비교해보고, 라인센서 카메라와 전방위 카메라 각각에서 취득한 화상을 이용하여 작성한 건물측면모델을 세계좌표계로 변환하여 양자의 위치를 맞췄다.

이 시스템에서는 이상의 설명처럼, 차량을 주행하면서 일정거리 간격마다 취득한 라인영상을 시계열로 배열하는 방식을 채용함에 따라 이동방향이 평행 투영된 고해상도의 파노라마화상을 얻을 수 있게 되었다. 실제로 시가지 안을 약 40km/h의 속도로 주행하면서 4/mmline의 해상도에서 영상을 취득할 수 있게 되며 그림 4는 그 때에 취득한 화상 예를 나타낸다. 거리 안의 도로표지 등의 문자정보도 읽을 수 있다는 것을 알 수 있다.

오행정보의 취득방법

평행투영 영상에 의한 스테레오시의 원리

이 시스템에서의 스테레오 방법을 그림 5를 이용하여 설명한다. 여기에서는 간략하게 하기 위해 그림 5에 스테레오시용의 라인센서 카메라에 대해서만 기재하고, 텍스처 획득용 카메라에 대해서는 생략한다. 여기에서 차는 그림 안의 바로 앞을 왼쪽에서 오른쪽으로 이동하는 것으로 하고, 이동방향에 대해서 경사 전방을 촬영한 라인센서 카메라를 Cf, 경사 후방을 촬영하는 라인센서 카메라를 Cb로 한다. 이 2대의 라인센서 카메라에서 얻어진 2장의 영상을 이용하여 스테레오시를 실시하고, 오행계산을 한다.

도로에 평행으로 서 있는 건물측면의 텍스처가 2장의 영상에서 같은 크기로 찍도록 하기 위해서 촬영방향을 진행방향에 수직인 방향에서 같은 각도로 θ 기울여, 같은 높이로 설치한다. 카메라 Cf가 대상물을 촬영하고, 차량이 거리 1를 이동한 후, 카메라 Cb에 의해 동일 대상물이 촬영하도록 한다. 영상의 가로축은 평행투영이기 때문에 차량의 이동거리 1은 영상의 시차 d에 비례하여, 시차 d와 촬영간격의 거리(1라인의 폭) w의 적으로 표현된다.

대상물까지의 오행 z는 아래 식(1)처럼 구해진다.

z=1/2×tan(π/2-θ) (1)

이 시스템의 스테레오시의 경우, 오행에 알맞게 기선장이 길게 되기 때문에, 원리적으로 오행이 크게 되어도 정도를 유지할 수 있다. 또한 가로축이 평행투영이기 때문에 장해물의 폭이 영상에서 최소화되는 장점도 있다. 그러나 도시의 건물을 대상으로 했을 경우, 글라스 면이나 경면반사를 하는 면의 존재 등 장애물 이외에도 대응을 곤란하게 하는 요인이 많이 존재한다.오행을 산출할 때에 이들의 오(誤)대응에 의한 잡음에 대처하기 위해서 다음에 기술할 투표를 이용한 오행산출방법을 채용했다.

투표에 의한 오행산출방법

건물측면의 오행산출 방법의 기본적인 흐름을 그림 6에 따라 기술한다. 이 방법에서 대상으로 하고 있는 저층부의 건물측면에서는 평면각이나 가장자리의 에지 등 건물측면을 구성하는 각 평면을 분리하는 지표가 되는 특징은 가로수나 통행인, 간판 등에 감춰지는 경우가 많아 추출하는 것이 곤란하다. 또한 건물측면의 영상에는 건물측면의 은폐 이외에도 모양이 없는 건물측면이나 주기적인 텍스처, 경면반사를 하고 있는 면 등, 대응을 곤란하게 하는 요인이 수많이 혼재하고 있다. 그래서 이 방법에서는 각이나 에지 등의 특징점 추출은 하지 않고, 영상 안 모든 직사각형영역마다 상관치를 산출하도록 했다. 더욱이 오대응이 있어도 전체로써는 안전하게 처리할 수 있도록 조밀검색을 실시하고 또한, 대상을 건물측면의 지면에 수직인 평면으로 하여 상관치를 연직평면모델에 투표함에 따라 건물측면을 복원하기로 했다.

이 방법에서는 우선 2장의 축소한 파노라마 영상 중의 직사각형영역마다의 상관치를 모두 산출하고(Step 1), 그 상관치를 연직평면모델에 투표하여(Step 2), 건물측면이 존재한다고 생각되는 오행후보영역을 추출한다(Step 3). 다음으로 그 오행후보영역 내에 더욱이 고해상도의 영상에 있어서 대응점 검색을 행하여 3차원점을 산출하고(Step 4), 그 3차원점을 클리스터링 함에 따라 더욱 상세한 연직평면에 의해 건물측면을 표현한다(Step 5).

오행후보 영역을 바탕으로, 치밀한 연직면을 복원할 때에는 고해상도 영상에서의 매칭이 필요하게 된다. 고해상도의 영상에서는 차량주행 시의 진동 등에 의한 흔들림의 영향이 있기 때문에 직사각형 영역내의 라인영상을 1도트씩 상하로 조금씩 옮기면서 상관치를 산출하여 가장 높은 상관치를 나타낼 때를 그 직사각형영역들의 상관치로 했다.

이상의 설명처럼 건물측면을 연직평면의 집합으로부터 되는 모델로 작성함에 따라 국소영역에서 발생하는 잡음의 영향을 최소화할 수 있고, 간단하게 건물측면의 거리를 로버스트로 구하는 것이 가능하게 된다.

실증실험

촬영조건

이상으로 기술한 실증차량을 이용하여 일반도로를 약 40km/h의 스피드로 주행하면서 약 80m의 이동거리에 걸쳐 건물측면 영상을 촬영했다. 라인센서 카메라는 일상생활에서의 시선방향에 해당하는 건물 1~2층을 대상으로 했다. 시가지에는 노상 주차가 많기 때문에 주로 추월차선을 주행하여 약 10m 떨어진 건물측면을 촬영했다. 스테레오 화상촬영용의 2대의 라인센서 카메라의 설치각도 θ는 15°, 3대의 라인센서 카메라의 화소수는 2048화소인 것을 이용했다. 또한, 동시에 2100×2100화소의 해상도를 가진 어안렌즈 탑재의 전방위 카메라로 건물고층부의 측면영상을 취득했다.

실험결과

우선 1회의 촬영으로 얻어진 2장의 스테레오 영상을 이용한 오행산출결과에 대해서 기술한다. 그림 7에 실험결과를 나타냈다. 그림 7은 E, F, G, H의 건물에서 차량의 이동거리 약 80m의 신을 촬영한 것이다. 그림7(a)는 촬영한 건물측면 부분의 이차원 지도를 나타낸 것이고, 그림7(b)는 컬러라인센서 카메라에 의해 촬영한 화상, 그림7(c)은 Step 4에서 산출된 거리화상, 그림7(d)는 Step5 에서 작성한 연직면 모델을 위에서 본 그림(세로축이 오행을 나타내고 있다), 그림7(e)는 (d)의 연직면모델을 바탕으로 작성한 표시 예이다. 같은 x좌표에 몇 개의 오행이 있는 것은 높이가 다른 면이 표시되어 있기 때문이다.

그림7(e)의 하늘과 지면은 VRML에 의해 수동으로 채색하고 있다. 그림7의 건물 H는 1층 부분의 기둥은 2층 부분보다 실제로는 약 1m 뒤에 있지만, 여기에서도 그 전후관계를 재현할 수 있다. 이처럼 글라스 면이나 주기적 모양으로 대응을 곤란하게 하는 요인이 포함된 신이라고 해도 대국적인 오행관계를 산출했다. 상기 실증실험에 의해 이 시스템은 일반도로의 주행속도를 지속하면서 건물 저층부의 고해상도 영상을 취득하는 것이 가능하게 되고, 또 스테레오시를 행함에 따라 건물측면을 연직평면 모델에 의해 복원할 수 있는 것을 확인했다.

고찰

노상주차 등의 제거 효과

라인센서 카메라에서는 일반차량과 같은 정도의 속도로 주행하면서 고해상도 영상의 취득이 가능하기 때문에 교통을 저해하는 일 없이 단시간에 몇 번이나 같은 개소를 촬영할 수 있다. 이 점을 이용하여 복수장의 스테레오 영상을 취득함에 의해 실제의 신에 빈번하게 나타나는 노상주차를 제거할 수 있는지 검토했다. 전술과 같은 개소를 3회에 걸쳐서 촬영했다. 그림8(a)(b)에 촬영 예를 나타낸다. 그림8(a)는 트럭이 노상주차하고 있을 때에 촬영한 것이고, 그림8(b)는 트럭이 없어졌을 때에 촬영한 것이다.

구체적인 제거방법은 우선 오행산출 방법의 절에서 기술한 Step 3까지를 각 스테레오 화상에 대해서 행하고, 각각의 건물측면의 오행후보영역을 산출한다. 그리고 산출한 오행후보영역에 투표를 하여 투표도수를 하나씩 늘린다. 이번에는 3회 촬영했기 때문에 최고투표도수는 3이 되지만, 투표도수가 2이상인 오행후보영역을 건물측면의 위치로 결정했다. 그림8(c)는 투표를 실시한 결과를 나타내고 있다. 투표수가 많을수록 밝게 표시되고 있다. 그림8(a) 우측에 보이는 노상주차의 오행은 1회밖에 투표되지 않기 때문에 그림8(c) 오른쪽 아래의 결과가 되어 어둡게 된다. 2회 이상 투표된 오행의 근거가 되었던 스테레오 영상을 선택하여, Step 5까지의 처리를 시행하고, 모델을 작성한 것을 그림8(d)에 나타낸다. 노상주차를 하고 있는 차량이 제거되었다. 이처럼 같은 개소를 복수 회에 걸쳐 촬영한 스테레오 영상에서 산출된 오행정보를 조합함에 따라 노상주차나 사람 등의 건물측면을 숨기는 물체의 제거가 가능하게 되었다.

전방위 카메라에 의한 모델과 라인센서 카메라에 의한 모델의 통합

라인센서에 의한 건물 저층부의 모델과 전방위 카메라로 작성한 건물 고층부의 모델과의 통합을 시도하여 작성한 통합모델과 워크스루 등에 유효한가를 검토했다. 양 카메라에 의한 전술과 같은 개소의 모델의 통합을 시도한 결과를 그림 9에 나타낸다. 이것은 각각 GPS치를 바탕으로 전방위 카메라에 의한 건물측면모델(이하 전방위모델)과 라인센서 카메라에 의한 건물측면모델(이하 라인센서모델)을 세계좌표계로 변환하여 중첩 표시하고, 라인센서모델의 중점에서 거리가 가장 가까운 전방위모델을 각각 탐색하여 같은 건물의 측면모델로써 대응을 실시한 후, 수동으로 위치의 미세조정을 실시하여 작성한 것이다. 라인센서 카메라와 전방위 카메라로 동시에 컬러차트를 촬영하여 전 영상을 일괄로 색 변환한 후, 수동으로 색 맞춤을 실시했다. 그림 9에 나타나는 것처럼, 양 모델의 통합에 의해 다양한 높이의 건물도 망라할 수 있게 되어 저층부에 대해서는 보다 상세한 정보도 재현할 수 있게 되었다.

맺음말

여기에서는 건물저층부의 고해상도 파노라마 영상과 오행정보에서 얻은 도시 데이터의 취득 시스템을 소개했다. 이 시스템에서는 1라인의 화소수가 많아 화상데이터의 취득 레이터가 높은 라인센서 카메라와 그 촬영 간격을 제어하기 위한 로터리 인코더를 이용하여 건물측면의 4mm/line의 고해상도의 파노라마 영상을 취득하여 일반차량과 같은 정도의 속도로 주행하면서 거리 안의 문자정보 등 해상도를 필요로 하는 정보도 수집할 수 있다는 것을 확인했다. 또한, 취득한 고해상도 파노라마 영상을 스테레오 영상으로써 이용하기 위해 화상에 오행정보를 부가하는 방법을 소개했다.

이후의 과제로써는 전방위 카메라에 의해 작성한 건물측면모델과의 통합에 있어서 수동으로 행했던 위치의 미세조정이나 색 보정 작업이 작성시간의 대부분을 차지하는 것을 알았기 때문에 그것들의 자동화를 진행하여 고속화하는 것 등을 생각할 수 있다. 

<글 : 일본전신전화㈜ 카타오카 카오리(Kataoka Kaori), 타카하시 야스코(Takahashi Yasuko), 스즈키 아키라(Suzuki Akira), 와카바야시 카오루(Wakabayashi Kaoru), 코이케 히데키(Koike Hideki) / 엔·티·티·컴웨어㈜ 오자와 시로(Ozawa Shiro)> 

[월간 시큐리티월드 통권 제156호(info@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>