한국어 LLM 비교하는 플랫폼 만든다…업스테이지, NIA와 ‘Open Ko-LLM 리더보드’ 개설

인공지능(AI) 스타트업 업스테이지는 한국지능정보사회진흥원(NIA)과 한국어 거대언어모델(LLM) 성능을 평가하는 '오픈 코-LLM 리더보드(Open Ko-LLM)'를 구축한다고 25일 밝혔다.

리더보드는 누구나 한국어 거대언어모델을 등록하고 다른 모델과 성능을 비교하는 공개 플랫폼이다. 업스테이지는 NIA와 한국어의 특성과 문화를 반영한 데이터를 자체 구축할 계획이다.

임희석 고려대 컴퓨터학과 교수와 역사 왜곡, 환각 오류, 형태소 오류, 불규칙 활용 오류, 혐오 표현 등을 고려한 '상식 생성' 기준도 추가한다. AI가 만든 결과물이 한국어 사용자가 가진 일반 상식에 부합하는지 확인할 수 있다는 것이 업체의 설명이다.

KT는 이번 리더보드 개설에 클라우드의 인프라 지원할 계획이다. 자세한 내용은 이달 27일부터 AI 플랫폼 '허깅페이스'의 오픈 코-LLM 리더보드 스페이스에서 확인할 수 있다.

김성훈 업스테이지 대표는 "앞으로도 '1조 토큰 클럽' (1T 클럽) 등을 통해 고품질 한국어 데이터를 공유하고 리더보드를 통한 협업 촉진과 빠른 기술 전파 등으로 국내 AI 생태계를 넓혀나가겠다"고 말했다.

김주완 기자 kjwan@hankyung.com