색과 스펙트럼 정보의 열화(劣化)를 줄여 부호화

내추럴 비전은, 종래의 RGB 3원색의 한계를 넘어 실물 색을 충실하게 재현하는 영상 시스템이다. 이 원고에서의 내추럴 비전은 영상 압축 부호화 기술로서 인간의 색 지각특성을 참고한 스펙트럼 화상 압축 기술, 동화상 부호 시스템의 응용에 대하여 소개한다.

 

시작하며

현재의 컬러 영상 시스템에서는, 영상의 색은 R(적), G(녹), B(청)의 3원색을 토대로 표현되고 있지만, 디스플레이 상으로 표현되는 색이 실물과 일치하지 않는 것이 많다. 이것은 많은 수의 시스템이 ‘충실한 색’ 보다도 ‘바람직한 색’의 재현을 중시하고 있는 것도 하나의 원인이지만, RGB 3원색이기 때문인 한계도 있다. ‘내추럴 비전’은 RGB 3원색의 원칙에 굴하지 않고 스펙트럼을 토대로 색 정보를 취급하여 실물 색을 영상처럼 충실하게 재현하는 기술이다.

스펙트럼을 토대로 두는 색 재현에서는 가시광의 파장 대역을 다수의 밴드로 분할해 입력하는 멀티 스펙트럼 촬영이 유효하다. 또한 화상 신호치와 색이나 스펙트럼과의 관계를 수치적으로 나타내는 정보를 메타 데이터로서 이용한 점이 특징이다.

종래의 영상 압축·부호화는 RGB 3원색을 기초로 하고 있었다. 리모트 센싱 등의 분야에서는 멀티 스펙트럼 화상 압축에 관한 연구가 행해져 왔지만, 주로 가시광선으로부터 적외선 영역을 다수 밴드 촬영한 화상이 대상이 되고, 색 재현성의 시점으로 최적이라고는 말할 수 없다.

이 원고에서는 색 재현성을 참고한 멀티 스펙트럼 화상 압축·부호화 수법의 원리와 동화상 부호화 시스템의 응용에 대하여 소개한다.

 

내추럴 비전

내추럴 비전에서는 촬영한 영상 신호로부터 카메라의 감도 특성이나 조명광의 분광(分光) 특성을 이용해 카메라에 들어온 광 스펙트럼을 화소단위로 모으고, 인간의 시각특성(색 함수)을 토대로 관찰자에 제시하는 색을 산출한다(그림1). 종래의 3원색의 카메라를 이용하는 것도 좋지만, 정도를 높이기 위해서는 다수 밴드(다원색, 멀티 스펙트럼)에서의 입력이 유효하다. 동화용의 시스템으로서는 6밴드 하이비전 카메라의 시작·실증을 하고 있는 상태다. 스펙트럼에 토대를 둔 색 처리에 따라, 촬영한 색을 충실하게 표시하는 것만 아니라, 다른 조명광의 아래에 실물을 놓았을 때의 색을 시뮬레이터하는 것도 가능하다. 이에 따라 마치 실물이 눈앞에 있는 것처럼 높은 질감을 나타내는 영상 재현이 가능하다.

표시하는 부분에도 기기의 특성을 보정할 수 있어 다른 특성을 가지는 디스플레이에도 정확하게 표시할 수 있다.

또한, 표준 RGB에 토대로 둔 디스플레이 색 재현 범위(색역)는 정해져 있고, 채도가 높은 색을 표시하는 것은 어렵지만, 표시할 때도 다원화하여 색역을 격단으로 확대하는 것은 가능하다.

최근, 광색역의 디스플레이가 발전해 주목을 모으고 있는데, 영상 입력계·전송계가 종래의 RGB 3원색이어서는 채도가 높은 색을 다룰 수 없다. 그래서 디스플레이 기기 내부에서 선명한 색을 만들어내 현상할 수 있다. 이것에 대하여 멀티 스펙트럼 촬영, 스펙트럼 베이스 신호 처리에 따라 영상 수집, 전송, 표시를 총합적으로 다루어 선명한 색을 그대로 재현하는 광색역·고(高)색 재현 영상 시스템을 실현 할 수 있다.

스펙트럼에 기초로 두는 처리에는 촬영 시 카메라나 조명광의 특성이 필요하기 때문에, 그런 정보를 메타 데이터로서 영상 데이터와 함께 관리하고, 색신호 처리에 이용한다. 메타 데이터에는 조명광의 스펙트럼, 화상 입력 기기의 분광 감도 특성, 각 채널 신호부터 색이나 스펙트럼을 산출하는 변환 매트릭스 등이 포함되어 있다.

이런 것처럼 충실한 색 재현 기술은 의용 칼라 화상기록, 디지털 아카이브, 인쇄, 온라인 쇼핑, CG를 이용한 프로토타이핑 등에 유효하다. 또한, 광색역·고색 재현 영상을 재현하는 것에 따라 보다 실물 질감이 높은 리얼리티를 재현하는 영상 시스템으로 응용하는 것도 기대하고 있다.

 

내추럴 비전에 따른 화상 압축

내추럴 비전에서는 색 재현성을 참고한 멀티 스펙트럼 화상압축이 필요하다. 그 특성으로서는 세 개 이상의 색 채널을 다루는 것, 세 개의 채널이라도 표준적인 RGB외의 것을 다루기 위해 각 채널 색이나 스펙트럼의 관계를 표시하는 메타 데이터를 이용하는 것을 염두하고 있다. 또한, 압축에 따른 열(劣)화의 평가는 멀티 스펙트럼 화상의 PSNR에 보태어 색 재현 결과 화상의 색 차이 등을 참고할 필요가 있다.

부호화 대상의 데이터는 그림 1에 표시한 것처럼, 카메라로부터의 입력 신호, 디스플레이의 표시 신호, 공통적인 색 공간 혹은, 스펙트럼 공간상에서의 공통 색 공간 신호, 공통 스펙트럼 공간 신호이다. 이 중 입력 신호나 스펙트럼 공간 신호는 스펙트럼의 정보를 가지는 것으로, 다른 조명 아래에서의 색 재현이나 스펙트럼 해석 등의 내추럴 비전의 기능을 이용할 수 있다. 표시 신호는 특정 디스플레이 기기에 존재하는 신호이다. 공통 색 공간신호는 임의의 조명광원 아래에서의 3자 극치에 대응한다. 따라서 부호화 대상으로서 중요한 데이터는 입력 신호, 공통 색 공간 신호, 공통 스펙트럼 공간 신호라고 말할 수 있다.

멀티 스펙트럼 화상의 변환 부호화의 흐름을 그림 2에 표시하였다. 통상의 화상 압축에서는 공간 방향의 장황성을 제거하기 위해 DCT(단적 코사인변환)이나 DWT(단적 웨이브리트 변환)을 이용하는데, 멀티 스펙트럼 화상에서는 파장방향의 장황성 제거의 열쇠가 된다. 실제 세계에서 존재하는 물체의 분광반사율은 많을 경우 파장 방향에 상관있고, 비교적 적은 수의 기저 함수로 표현이 가능하다. 멀티 스펙트럼 화상의 변환 부호화에서는 이런 성질을 이용하여 파장 방향의 장황성 제거를 행한다. 파장·공간 방향을 동시에 취급하는 것도 생각할 수 있지만, 간단하기 때문에 이하에서는 이것들을 독립적으로 취급한다. 이때, 파장방향의 변환 처리는 화소마다 파장 방향의 각 채널 신호치에 대하여 매트릭스를 작용시키게 된다.

 

중량감 첨부 KL 변환

화상 압축에 이용하는 치교(値交)변환으로서는, 수학적으로 KL(Karhunen -Loeve)변환이 이상적이지만, 부호화시 기저 함수의 산출을 필요로 하고 또한 기저 함수를 보관·유지할 필요가 있어 실용적으로는 사용되고 있지 않다. 하지만 파장 방향의 변환에 대해서는 많은 피사체에 공통하는 기저 함수를 이용할 수 있고, 파장 방향의 변환 매트릭스 데이터 용량이 적은 이유로 KL 변환을 이용한 부호화도 이용되고 있다. 이것은 스펙트럼의 압축의 일그러짐을 최소화하는 관점으로서는 최적한 변환이 된다.

한편, 멀티 스펙트럼 화상으로부터 색 재현을 행할 때에는 각 화소에 대해서 파장 방향의 각 채널 대한 매트릭스를 작용시켜 색을 나타내는 3자극치(예를 들어 CIE 1931 XYZ 3자극치)를 바라고 있다. 이를 위해 재현되어진 화상 색의 정도를 생각하면 반드시 KL 변환이 최적이지는 않고 여러 가지 조명 광 아래에 있어 재현되는 색(3자극치)의 오차를 생각할 필요가 있다. 따라서 색 재현성을 참고한 멀티 스펙트럼 화상의 변환 부호화를 일으키기 위해서는 그림 2에 따른 ‘멀티 스펙트럼 화상의 PSNR’와 ‘색 재현화상의 색 차이’의 양쪽 평가축에 대해서 양호한 결과를 줄 수 있는 변환 매트릭스를 원한다. 이 방법으로는 중량을 첨부한 KL 변환(Weighted KL Transform/ WKLT)이 제안되고 있다. WKLT에서는 여러가지 조명 아래에서의 3자극치의 오차를 최소하기 위해 무게를 정하여 각 파장에 대한 중량을 첨가한 후에 KL 변환을 일으킨다.

또한, 현실 세계의 물체 분광 반사율의 성질은 1차 마르코프 모델에 근사(近似)할 수 있는 것도 잘 알려져 있어 WKLT에서 1차 마르코프 모델을 이용하면 기저 함수의 계산이 용이하다.  또한, 이때의 기저 함수는 사인 변환과 비슷하게 된다.

 

가시·불가시 성분의 분리

멀티 스펙트럼 화상에 따른 파장 방향의 변환으로 그림 3에 나타낸 것처럼 처음 3채널을 RGB나 CIE XYZ 등에 대응하는 성분으로 GKH, 4번째 이상의 채널을 그것들과 직교하는 성분으로 하여 3원색의 시스템과 호환성을 가지는 인코딩 방법이 제안되고 있다. 상위 3채널은 특정 조명광의 아래에서 3자극치를 나타내서 가시성분이라고 불린다. 남은 성분은 그 조명광의 아래에는 재현 색으로 기여하지 않는 불가시(메타 메릭 블랙라고 불린다) 성분이다.

가시 3채널의 산출을 하는 멀티 스펙트럼 화상부터 색 재현을 계획할 때와 동일하게 매트릭스를 곱한다(승산). 불가시 성분은 그 매트릭스에 대해 직교(直交)하는 보조공간을 투영하는 매트릭스에 따라 계산한다. 더군다나 KL 변환 혹은 앞에 이야기 한 것과 같이 WKLT을 편성해 불가시 성분의 채널 간 장황성의 제거도 가능하다. 이 방법을 이용하면 가시 성분의 계산에 이용한 조명광원 아래에서는 최고치로 색 재현 정도가 우아하지만, 다른 조명광 아래에서도 비교적 양호한 결과를 얻을 수 있다.

 

시각특성을 참고한 비선형 양자화

시각계의 색 구별 특성은 CIE XYZ 등의 색 공간 내에는 한결같지 않다. 색 공간 내에서의 거리가 지각되는 색의 차이를 나타내는 것처럼, 변환 되어진 색 공간은 균등색 공간이라고 불린다. 인간이 지각할 수 있는 색의 차이를 최소화하기 위해서는 이런 비선형인 색 구별 특성을 참고하고 양자화에 따른 오차를 균등화하는 것을 목표로 하고 있다. 여기서, 앞서 말한 가시·불가시 분리를 이용해, 가시 성분을 균등 색 공간(예를 들면 CIE LAB 색 공간)에 변환시켜 양자화·부호화를 일으키는 것으로 이것을 실현할 수 있다. 불 가시 성분에 대한 비선형 양자화는 일어나고 있지 않지만 비교적 양호한 결과를 얻을 수 있다.

 

그림 4는 16밴드의 멀티 스펙트럼 화상에 KL 변환, WKLT, LABplus를 적용한 경우의 결과를 나타내고 있다. PSNR로서는 KL 변환이 최고로 높은 값을 나타내지만 색 재현의 정도에서 보면 WKLT이나 LABplus가 뛰어나다. 여기에서는 CIE D65 표준 광원을 이용하여 가시성분을 산출하고 있지만 이 외의 광원에서도 색 차이는 WKLT와 동일하게 나타나고 있다.

 

동화 부호화 규격의 적용 예

기존의 동화상 부호화 규격의 안에서도 MPEG-4 스타지오 프로파일이나 Motion JPEG 2000은 많은 채널의 동화상을 다룰 수 있다. 또한 최근 뛰어난 압축효율을 실현하는 규격으로는 H.264/AVC가 있다. 내추럴 비전에서 개발된 6밴드 HDTV 카메라에 따른 멀티 스펙트럼 동화상에 대해서는 이것의 부호화 방식을 적용하는 실험이 행해지고 있다.

실험에서는 6밴드의 영상을 KL 변환할 때와 위에서 말한 가시·불가시 성분 분리를 적용한 경우에 대해, MPEG-4 스타지오 프로파일, Motion JPEG 2000, H.264/AVC에 따른 부호화를 시행하고 있다. MPEG-4 스타지오 프로파일에서는 통상의 컬러를 더해 최대 3채널까지 부호화하는 것이 가능하고, Motion JPEG 2000은 멀티채널의 부호화를 서포터하고 있다. H.264/AVC는 3채널 YUV 4:2:0(희도 성분에 대해서 색 차이 성분은 공간 해상도가 종횡1/2) 형식으로 있기 위해 색 차이 신호를 서브 샘플링해서 4:2:0 형식으로 변환하고, 2개의 부호화 계열을 생성했다. 또한 MPEG-4와 Motion JPEG 2000에서는 색 차이 신호의 서브 샘플링을 행할 경우와 하지 않을 경우의 양쪽을 비교했다.

화상의 콘텐츠에 따라 결과가 다른 경우가 있는데 이 실험 결과에 따라 이하의 경향이 뚜렷하다.

• 고 비트레이트에 대해서는 프레임간 예측을 하지 않는 Motion JPEG 2000이나 MPEG-4가 뛰어나다.
• 저 비트레이트에서는 프레임간 예측을 하는 방식, 혹은 색 차이 성분의 서브 샘플링을 하는 방식, 특히, H.264/AVC가 좋은 성능을 나타낸다.
• 서브 샘플링 영향에 따른 평균 색 차이는 비교적 크지만 시각적으로는 그다지 열화를 느낄 수 없다. 이것은 휘도 성분보다도 색 차이 성분에 관하여 시각계의 분해성이 상대적으로 낮은 성질에 따른다고 생각된다. 이것을 참고한 화상간의 색 차이의 평가 방법으로서는 sCIELAB 등도 제안 되어져 있고, 이후 평가도 필요하다.

내추럴 비전 영상 부호화 시스템

리얼 타임 전송 실험 시스템

내추럴 비전에서는 6밴드 HDTV 카메라를 이용한 리얼 타임에서의 전송·재현 시스템을 개발하고, 충실한 색 재현 시스템 그림 5의 유효성을 실증하고 있다.

표시 측의 관찰 환경의 조명광원을 미리 특정할 수 있는 경우에는, 조명 광원의 스펙트럼을 전송원에  송부해 두고, 전송원에 표시 측 관찰 환경아래에 3자극치를 3채널 신호로서 부호화하는 방식이 효율적이다. 이 경우에는 그림 6의 촬영 측의 색 변환에 대해서 6→3의 변환에 따른 3자극치를 바라고, 하드웨어 인코드에서 부호화한다. 여기에서는 HDTV의 해상도 영상을 리얼타임으로 부호화하는 하드웨어 2대 병렬로 작동시켜 색 차이 신호의 서브 샘플링을 하지 않는 4:4:4 포맷에서 전송을 진행했다. 히트 레이트를 80Mbps라고 했을 때, 전송계에서 생기는 색 차이는 평균 DE=0.3 정도였다. 이것은 압축율 1/20 정도, 약 1.3bit/pel의 경우이고, 그림 4의 LABplus를 이용한 경우와 가까운 결과라고 말할 수 있다.

카메라의 6채널 촬영 영상신호를 부호화해 전송하는 실험도 진행하고 있지만, 표시 측의 환경이 특정될 수 있는 1대 1의 통신에서는 3자극치를 전송하는 방식이 효율이 뛰어나다.

 

범용적인 부호화 전송 방식

위에서 진술 가시·불가시 분리 방식을 두고, 가시 3채널의 신호를 생성할 때의 조명광원으로 CIE D65 표준 광원 등을 이용했다. 3자극치를 기존의 색 공간 규격에 맞추어 표현하는 것으로 가시 3채널 성분에 대해 현행 시스템과 호환성을 확보하는 것이 가능하다. 단, sRGB등의 색 공간 등은 채도의 높은 색을 다룰 수 없어서 xvYCC 등의 광색역 색 공간 규격을 이용하는 것이 바람직하다.

단, 가시 성분만으로는 임의 조명 광원 아래에서의 색 재현이나, 스펙트럼을 이용한 영상 처리 등은 시행 할 수 없다. 불가시 성분도 맞추어서 이용하면 내추럴 비전 전부의 기능을 이용할 수 있게 된다. 또한 영상 데이터와 함께 색 재현 처리를 진행할 때 필요로 하는 파라미터(프로파일)를 메타 데이터로서 관리한다. 이제까지 메타 데이터를 XML 등으로 하는 기술 사양이 공개 된다. 또한, 이 메타 데이터를 이용한 부호화 전송 시스템의 조명광원 스펙트럼을 계측하고, 그 결과를 토대로 리얼 타임으로 색 변환 행렬을 갱신해 3채널의 영상부터 비교적 양호한 색 재현을 실시할 수 있는 시스템도 개발되고 있다. 더군다나, 가시 성분은 리얼타임에서 전송하고, 남은 성분을 별도 다운로드해 스켈라 블루에 가역(可逆) 부호화를 실현 하는 방법의 제안도 있다.

 

마치며

지금까지 스펙트럼을 토대로 색 재현을 실시하는 내추럴 비전에 관한 화상 압축 기술을 소개하였다. 내추럴 비전의 영상압축에서는 많은 채널의 영상을 다루는 것, 원화상과 복원 화상의 PSNR 뿐만 아니라, 각 종류의 조명 아래의 재현색 차이를 평가지표화 할 필요가 있고, 색 재현에 필요한 파라미터를 메타 데이터로서 다루는 것 등이 특징이다. 또한 시각 특성을 참고한 중량 부착 KL 변환 가시·불가시 성분을 분리하는 변환 방식, 가시 성분에 대한 비선형 양자화가 유효하다.

현재 분광 정보를 낮은 저 공간 해상도에서 보특(保特)해 부호화함으로써 고 효율화를 도모하는 방법의 개발, 공간적·시간적인 색 지각 특성을 참고한 평가 지표의 검토, 뛰어난 색 재현을 위한 메타 데이터의 규격화 등이 진행되고 있다. 또한, HDTV의 리얼 타임 부호화에 대하여 양자화 히트 수 10, 12 히트를 다룰 수 있는 하드웨어 코덱의 보급도 기대되고 있다.

이번 원고의 내용은 정보 통신 연구 기구(NICT)에 따른 내추럴 비전의 연구개발, 동 위탁연구 ‘멀티 스펙트럼 영상기술의 연구개발’에 따른 성과이고, 내추럴 비전의 연구개발에 참가한 동경 공업 대학 연구원  무라카미 유리, 일본 전신전화(주)의 타카무라 마사유키와 함께 진행하였다. 이분들에게 감사를 표한다. 

참고문헌

1) ‘내추럴 비전의 연구개발 프로젝트 보고서’, 통신·방송기구, 정보통신 연구 기구 (2000·2005). 및 ‘멀티 스펙트럼 영상수집·전송기술에 관한 연구개발’(위탁연구) 성과보고서 (2007.2008).정보 통신 연구 기구

2) M.Yamaguch, H.Haneishi and N.Ohyama.j. Imag. Sci. and Tech. 52. 1. pp.010201-1-15(2008)

3) 미야케 요이치(Miyake Youiti), 분광화상처리입문, 동경 대학 출판회(2006)

4) P.L.Dragotti.G.Poggi. A.R.P. Ragozini, IEEE Trans on Geosci. Remote Sensing.38.1, 416-428(2000)

5) Y.Murakami. H. Manabe.T.Obi.M. Yamaguchi and N,Ohyama IS&T/SID9th Color Imaging Conference.68-72(2001)

6) Y.Murakami, H.Manabe, T,Obi.M.Yamaguchi, and N. Ohyama, J. Imag. Sci.and Tech. 46.6.507-512(2002)

7) S.Yu.Y.Murakami. T.Obi ,M.Yamaguchi, and N,Obyama, Optical Review.13.5.346-356(2006)

8) Takamura Masayuki, Yazima Yosiyuki, 화상전자 학회.33.5,pp.792-801(2004)

9) K.Ohsawa,T.Ajito,H,Fukuda,Y.Komiya, H.Haneishi.M.Yamaguchi, and N, Ohyama, J.Imag.Sei and Tech. 48,2,85-92(2004)

10) Th.Keusen, J.Imag. Sci. and Tech.40.6.510.515 (1996)

11) W.L.Pratt and D.E.Mancill.Applied Opties, 15.1.pp73.75(1976)

<글 : 야마구치 마사히로(guchi@isl.titech.ac.jp) / 도쿄 공업대학>

[월간 시큐리티월드 통권 제150호 (info@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>