추론 능력, 감성 이해 능력, 무해성 능력 등으로 평가 지표 전면 개편

[보안뉴스 박미영 기자] 한국지능정보사회진흥원(이하 NIA)과 업스테이지가 공동 운영하는 ‘Open Ko-LLM 리더보드’가 시즌2로 전면 개편된다.

‘Open Ko-LLM 리더보드’는 2023년 9월 민관 협력을 통해 개설된 국내 최대 개방형 한국어 LLM 평가 체계로, 산·학·연 각계 분야에서 7월 말 기준 1,700개가 넘는 LLM 모델이 제출돼 경쟁하는 등 많은 관심과 참여가 지속되고 있다.

하지만 LLM 기술이 빠르게 발전함에 따라 1년 전에 만들어진 리더보드 벤치마크(평가지표)의 개선 필요성이 대두됐고, 글로벌 ‘Open LLM 리더보드’를 운영 중인 허깅페이스 또한 지난 6월에 벤치마크를 새롭게 개편한 리더보드 시즌2를 공개하였다.

이에 따라 NIA와 업스테이지는 LLM 기술 변화와 허깅페이스의 리더보드 개편을 반영해 지난 12일부터 새로운 성능 평가지표를 적용한 ‘Open Ko-LLM 리더보드 시즌2’ 운영을 시작했다.

시즌2에서는 기존에 운영되던 평가지표(벤치마크)들을 전면 폐지하고 AI 데이터 전문 기업인 ‘플리토’와 ‘셀렉트스타’ ‘KAIST AI대학원’이 참여해 추론능력 지표, 감성 지표, 무해성 지표 등 9개의 새로운 벤치마크를 구축했고 이를 본격 적용한다.

이에 따라 시즌1에 제출됐던 모든 모델을 포함해 향후 제출되는 모든 LLM은 신규 벤치마크를 통해 평가된다.

NIA 황종성 원장은 “리더보드는 민관 협업을 통해 한국어 LLM 생태계 조성에 크게 기여해 오고 있으며, 시즌2 개편을 통해 한국어 LLM 기술이 세계적 수준에 한발 더 올라설 수 있는 계기가 되기를 기대한다”고 밝혔다.

또한 공동 운영기관인 업스테이지의 박찬준 리더는 “많은 전문기업과 학계의 참여로 시즌2를 빠르게 준비할 수 있었으며 시즌2에서도 지속적인 관심과 참여를 부탁한다”고 전했다.

Open Ko-LLM 리더보드 시즌2는 AI허브 사이트의 참여하기-리더보드 메뉴에서 확인할 수 있다.
[박미영 기자(mypark@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>