알리바바의 경량형 멀티모달 AI 모델 공개

[보안뉴스 조재호 기자] 알리바바는 자사 인공지능(AI) 큐원(Qwen) 시리즈의 멀티모달 모델 ‘Qwen2.5-Omni-7B’를 공개했다고 31일 밝혔다.

이번 모델은 멀티모달 기능에 방점이 찍혔다. 텍스트와 이미지, 음성, 영상 등 다양한 형태의 입력 정보를 처리해 텍스트나 음성으로 답변한다. 70억개의 파라미터를 지닌 가벼운 모델로 모바일이나 노트북, 에지 디바이스에 최적화됐다.


콤팩트한 설계에도 성능 저하 없이 강력한 멀티모달 처리 기능을 제공해 지능형 음성 애플리케이션처럼 민첩하고 비용 효율적인 AI 에이전트 개발에 적합한 모델이라고 회사측은 설명했다. 지능형 고객 응대 시스템이나 영상 속 음식의 조리법 가이드 제공, 시각장애인 음성 안내 등에 활용 가능하다.

Qwen2.5-Omni-7B은 허깅페이스와 깃허브에서 오픈소스로 공개됐다. 큐원 챗이나 알리바클라우드의 오픈소스 커뮤니티 모델스코프에서도 만나볼 수 있다.

회사는 이 모델이 비슷한 규모의 단일 모달리티 특화 모델과 비교해도 뒤처지지 않는다고 소개했다. 특히 실시간 음성 상호작용과 종단간 음성 명령어 이행 등에서 높은 벤치마크 성적을 보였다.

이러한 성적은 텍스트 생성(Thinker)과 음성 합성(Talker)을 분리해 서로 다른 모달 간의 간섭을 최소화하는 ‘Thinker-Talker’ 아키텍처와 비디오 입력과 오디오를 잘 동기화하는 임베딩 기술 ‘TMRoPE’(Time-aligned Multimodal RoPE), 저지연 오디오 응답을 위한 블록와이즈 스트리밍 처리(Block-wise Streaming Processing) 등을 적용한 결과다.

아울러 Qwen2.5-Omni-7B는 인컨텍스트 러닝(ICL·in-context learning)을 통해 상황과 맥락에 따른 음성 이해와 생성 능력을 올렸다. 강화학습(RL·Reinforcement Learning) 기반 최적화로 생성 안정성 향상과 함께 음성 응답의 발음 오류나 부자연스러운 정지 현상 등을 줄였다.

[조재호 기자(sw@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>