머리말

최근 휴대전화의 편리함을 살린 디지털 만화 서비스가 주목 받고 있다. 2004년 NTT와 톳판인쇄 회사는 I 모드를 이용한 휴대전화 만화 서비스를 개시했다. 또한 2005년 Sony Pictures 엔터테인먼트도 같은 사업에 참가하고 있다. 이것에는 2개의 요인이 있다.

(1)일본 국내외에 만화 독자가 매우 많다. 남녀노소를 불문하고 만화를 읽는 사람이 많아서 시장 규모가 매우 크다. 만화에는 문학성이 높은 작품도 많고, 인생의 희노애락을 담고 있는 것도 많이 있어 현대생활에 있어 빠뜨릴 수 없는 책이 되었다. (2)디지털 데이터화되어 있기 때문에 서버에서 수신하여 휴대전화에 보존하면 단행본 몇 권분을 간단하게 갖고 다닐 수 있다.

그러나 휴대전화의 화면이 작기 때문에 만화를 읽을 때 대사 글자가 너무 작아서 읽기 어려울 때가 있다. 이 문제를 해결하기 위하여 우리들은 대사의 음성듣기 연구를 해 왔다. iPhone과 같은 손가락 터치 입력에 대응하는 휴대전화에서 종래의 만화 전송, 열람 시스템에 더하여 대사의 음성읽기 기능이 사용자에게 보다 자연스러운 형태로 제공될 수 있다.

음성 읽기에 관련되는 연구는 시각장애자, 청력이 약한 고령자, 시력에 영향을 받기 쉬운 어린이들에게 있어서 매우 중요한 것이다. 만화의 음성 읽기와 관련된 상품은 아직 적지만 필요성에서 보면 연구할 가치가 있는 테마이다. 대사의 음성 데이터가 성우들이 읽은 것이라면 보다 한층 더 즐거워진다.

그림 1은 우리들이 고안한 휴대전화의 만화 전송·열람 시스템이다. 작가의 원작 그림에서 휴대폰으로 전송하기 위한 화상 데이터와 음성 데이터를 준비한다. 우선 만화를 스캔하여 페이지 화상으로 컴퓨터에 전달한다. 다음으로 페이지 화상을 코마 화상으로 분할한다. 각 코마 화상에 인덱스 번호를 설정하여 BMP 파일로 영상 데이터베이스에 보존한다.

여기서 만화의 코마 분할 알고리즘을 응용할 수 있다. 또한, 각 코마에 포함되는 모든 대사와 그 말 풍선을 추출하여 각각의 배치와 범위를 수치적으로 평가하여 특징치를 산출한다. 휴대전화의 사용자에게 있어 말 풍선의 특징치를 참고하는 것으로 말 풍선을 선택할 수 있게 된다. 그 다음 대사의 음성을 녹음하여 AIFF 파일로써 보존하고 만화 영상 데이터를 전송할 때 음성 데이터도 함께 전송한다. 종래의 만화 열람 소프트웨어는 사용자의 버튼 조작에 따라 코마 화상을 잇달아 화면에 표시하는 구조로 되어 있지만, iPhone과 같이 최근에 보급된 휴대폰들의 경우 터치패널의 손가락 터치로 특정 대사를 선택할 수 있게 하면 대사의 음성 읽기가 보다 자연스러운 형태로 이루어질 수 있다.

이러한 시스템을 실현하기 위해서는 전송하기 전에 대사의 음성 데이터를 작성하여 말 풍선을 추출하고 그 특징치를 산출하는 것이 필요하다. 우리들은 2005년부터 만화의 음성 읽기 연구를 시작했다. Siggrph 2006 Research Poster에서 코마 화상에서 자동적으로 대사 영역을 추출하기 위한 알고리즘을 발표했으며, Siggraph 2007 Rese arch Poster에서는 말 풍선을 추출하기 위한 알고리즘을 제안했다.

말 풍선 추출과 특징치 산출

만화는 코마를 단위로 하는 영상의 시계열로 표현되는 것이다. 코마란 코마 테두리로 구분되어 있는 작은 부분이다. 코마 안에 때로는 여러 가지 형태의 말 풍선으로 문자열을 에워싸서 인물의 대사를 덧붙이고 있다. 말 풍선은 매끄러운 선이나 깔쭉깔쭉한 선 등으로 표현되어 같은 스토리라도 코마의 상황에 따라 다른 형태가 된다. 1 코마에 복수의 말 풍선이 자유롭게 배치되는 경우도 있다. 또한, 대사에 사용되는 언어, 서체는 작가에 따라 다르다. 게다가 단순한 알고리즘으로 말 풍선을 추출하면 사람의 입이나 코, 후두부 등과 같은 울타리와 같은 도형을 말 풍선으로 착각할 가능성도 있다. 이러한 이유에 의해 문자의 기하적인 특징에서 문자열을 추출하는 종래의 방법은 만화의 대사 추출에 적합하지 않다고 생각한다.

우리들은 여러 가지 만화를 조사하여 어떤 공통의 특징을 발견했다. 그 특징은 그림 1의 코마에 나타내는 것처럼 코마 테두리, 캐릭터, 말 풍선, 배경 등이 겹쳐서 그려져 있기 때문에 서로 연결되어 있는 경우가 많다는 것이다. 이것과 대조적으로 대사의 문자열이 말 풍선의 윤곽이나 코마 테두리에서 떨어져 공간적으로 독립되어 있는 것도 있다. 그런 이유로 우리들은 이 특징을 이용한 말 풍선 추출방법을 고안했다. 그림 2(a)의 1코마 화상을 예로 말 풍선 추출방법에 대하여 설명하도록 한다.

그림 2(a)는 원래 영상으로 버퍼 1에 저장된다. (b)는 에지 강조 처리 후의 영상으로 버퍼 2에 저장된다. (c)는 추출한 코마 테두리와 그 연결성분으로 버퍼 3에 저장된다. (d)는 편집 작업원에게 제시한 화면으로 작업원이 마우스를 클릭함으로써 말 풍선 영역을 선택한다. 클릭한 점을 중심으로 24개의 직선을 방사하여 말 풍선과의 교차점을 구한다. 24개의 교차점으로 이루어지는 다각형으로 말 풍선을 나타낸다. (d)에서는 말 풍선의 배치와 형태를 나타내는 무게중심 좌표와 타원의 축 길이로 구성되는 특징치를 구한다. 처리의 수순은 이하와 같이 나타낸다.