한·미 연구진 '다차원 빅데이터 분석 시스템' 개발

"효율적인 분산 알고리즘 설계로 100배 큰 다차원 텐서 분석"

한국연구재단은 KAIST(한국과학기술원) 강유 교수팀(제1저자 전인아, 교신저자 강유)과 미국 카네기멜론대 크리스토스 팔로웃소스교수팀이 공동으로 '다차원 빅데이터 분석 시스템'을 개발했다고 14일 밝혔다.

이 시스템은 효율적인 분산 알고리즘 설계를 통해 기존보다 최소 10배, 최대 100배 큰 용량의 데이터를 분석할 수 있는 대용량 다차원 텐서(3차원 이상의 고차원배열) 분석 시스템이다.

텐서는 의료 데이터나 네트워크 트래픽, 소셜 네트워크 등 다양한 고차원 데이터 분석에 사용되지만, 데이터가 커짐에 따라 확장성이 떨어지는 기존 알고리즘으로분석하는 데 한계가 있었다.

하지만 연구팀이 이번에 개발한 시스템은 단일머신에서 동작할 뿐 아니라 분산머신에서 동작한다 하더라도 큰 용량의 중간 데이터가 생겨나는 기존 알고리즘의 단점을 극복해 기존보다 최대 100배 큰 텐서 데이터를 분석할 수 있는 장점을 갖고 있다.

강유 교수는 "이번에 개발한 시스템을 잘 활용하면 소셜 네트워크, 지식 베이스, 네트워크 트래픽, 의료 데이터 등 다양한 분야의 빅데이터를 효과적으로 분석하는데 큰 도움이 될 것"이라고 말했다.

이번 연구는 미래창조과학부와 한국연구재단이 추진하는 기초연구지원사업(신진연구자지원사업)의 지원으로 수행됐다.

연구 결과는 오는 4월 13일 서울에서 열리는 데이터베이스 분야 저명 국제학회중 하나인 '국제전기전자공학회(IEEE) ICDE 2015'에서 발표된다.

sw21@yna.co.kr(끝)<저 작 권 자(c)연 합 뉴 스. 무 단 전 재-재 배 포 금 지.>