LLM 성능 평가, AI 감성지수도 본다

국내 최대 개방형 한국어 대규모언어모델(LLM) 평가 체계인 ‘Open Ko-LLM 리더보드’가 12일 전면 개편됐다.

Ko-LLM 리더보드 운영사인 인공지능(AI) 기업 업스테이지와 한국지능정보사회진흥원(NIA)은 새로운 벤치마크(평가 기준)를 기존 리더보드에 대거 추가했다고 발표했다. 신규 도입된 벤치마크는 총 9개다. 대학원 수준 추론, 상식 추론, 초등 수학, 감성, 지시 이행, 한국어 신뢰성, 사회적 가치, 무해성, 실용성 등의 지표가 추가됐다.

해당 리더보드는 지난해 9월 개설된 후 1700개 이상의 LLM 모델이 제출될 정도로 많은 관심을 받았다. 하지만 최근 LLM 기술이 급속하게 발전하면서 평가 기준 개선 필요성이 제기됐다. 이에 업스테이지와 NIA가 9개의 새로운 벤치마크를 새롭게 적용했다. AI 데이터 전문 스타트업인 플리토, 셀렉트스타와 KAIST AI 대학원이 전문화된 벤치마크 데이터셋을 제공하기로 했다.

기존엔 LLM의 기본 언어능력 평가에 중점을 뒀다면 개편 이후엔 문제해결 능력 등 실용적인 부분에 집중한다. 새로운 벤치마크는 기존 모델뿐만 아니라 향후 제출될 모든 LLM에 적용된다. 김성훈 업스테이지 대표는 “한국어 LLM 성능 평가의 기준점을 한 단계 더 높일 것으로 기대한다”고 말했다.

고은이 기자 koko@hankyung.com