업스테이지, 한국어 AI 모델 평가판 ‘클루 리더보드’ 공개

[한경잡앤조이=강홍민 기자] AI 전문 스타트업 업스테이지가 한국어 AI 모델을 평가받을 수 있는 클루(KLUE) 리더보드를 공식 오픈한다.

클루는 업스테이지가 한국어 자연어 처리 관련 산학계의 전문가들과 함께 7개월에 걸쳐 개발한 최초의 한국어 자연어 이해 평가 관련한 공개 데이터셋이다. 그동안 자연어 이해 연구의 기반이 되는 데이터셋과 리더보드는 영어 기반으로 이루어져 있고, 이용 제약이 많아 연구 진행이 쉽지 않았다. AI의 한국어 이해 능력을 평가할 수 있는 클루는 재배포, 재가공, 영리적 활용이 가능해 한국어 자연어 처리 분야의 발전을 이끌 것으로 기대되고 있다.



업스테이지가 공개한 클루 리더보드는 데이터셋을 다운받고 테스트하고 싶은 AI 모델을 학습시킨 후 리더보드에 제출하면 모델의 성능 수준을 종합적인 점수로 평가받을 수 있다. 평가 항목은 8가지 부문(△문장 주제 분류 △문장 유사도 비교 △자연어 추론 △개체명 인식 △관계 추출 △형태소 및 의존 구문 분석 △기계 독해 이해 △대화 상태 추적)으로 구분했다.

AI 모델 개발자는 자신이 만든 모델이 한국어의 정확한 이해와 추론 능력을 갖추고 있는지 객관적인 지표로 평가받게 된다. 특히 공개 토론방을 중심으로 참여자 간 정보와 의견 교환이 가능해 AI 언어 모델을 업그레이드해 나갈 수 있다.

김성훈 업스테이지 대표는 “클루 리더보드 오픈으로 다양한 한국어 AI 모델의 평가 및 연구를 위한 활발한 교류의 장이 펼쳐지길 기대한다”며 “앞으로도 업스테이지만의 독보적인 기술력을 바탕으로 한국어 AI 연구 생태계를 넓히고, 국내 AI 산업 발전에 보탬이 되기 위해 힘쓸 계획”이라고 말했다.

khm@hankyung.com