강재우 고려대 컴퓨터학과 교수 팀 등이 문서 수백만개 이상을 기반으로 실시간 자연어 질의 응답을 할 수 있는 인공지능(AI) 모델 ‘덴스프레이즈’를 개발했다고 고려대가 5일 밝혔다.
이 AI 모델은 영어 위키피디아에 적용했을 때 500만개 이상의 문서에 대해 사용자의 자연어 질의를 0.1초 내외로 처리한다. 기존 최고 성능 모델과 유사한 성능을 유지하면서 속도는 20배 넘게 빨라졌다.
사용자가 원하는 정보의 앞뒤 맥락을 함께 보여주는 것도 특징이다. 사용자가 영어로 ‘누가 2016년 올림픽 남자 에페에서 금메달을 땄지’라고 입력하면 AI가 실시간으로 ‘한국의 박상영’이라는 답을 찾아준다. 이와 함께 문서 데이터에 나온 해당 경기 개최 장소와 날짜 등을 아울러 제시한다.
이번 모델은 강 교수와 이진혁 고려대 박사, 성무진 고려대 박사과정 대학원생, 단치 첸 미국 프린스턴대 컴퓨터공학과 교수 등이 공동 연구해 개발했다. 지난 수년간 이 박사가 주도해온 ‘구 기반 질의응답(Phrase-Indexed QA)’과 ‘오픈도메인 질의응답(Open-Domain QA)’기술을 발전시켰다.
기계독해 데이터와 질의생성 모델을 활용했다. 값비싼 그래픽처리장치(GPU)가 없이도 AI 모델을 구동할 수 있게 했다. 위키피디아를 비롯해 다른 대용량 문서 빅데이터에도 적용할 수 있도록 설계해 각 분야에 적용할 수 있다.
강 교수 등은 지난 4일엔 세계 전산언어학회(ACL) 정기 학술대회에서 덴스프레이즈를 발표했다. ACL은 AI의 한 축인 자연어처리 분야에서 최고 권위 학술대회로 꼽힌다. 강 교수는 “다양한 학계나 산업계에서 질의응답 플랫폼으로 활용할 수 있을 것”이라며 “바이오분야 신약개발 과정 등 날마다 방대한 논문 자료가 새로 나오는 분야 등에서 정보를 파악하는 데에 쓰일 것으로 기대한다”고 말했다.
선한결 기자 always@hankyung.com
관련뉴스
