지난해에 이어 2014년에도 IT 트렌드로 `빅데이터`가 꼽히고 있는 가운데 올해도 많은 기업, 공공기관들이 빅데이터 사업에 적극적으로 뛰어들 것으로 예상되고 있다.
하지만 최근 들어 빅데이터 사업을 진행하고 있는 기업들이 고민이 늘고 있다. 초기에 저렴한 비용으로 대량의 데이터를 수집, 저장, 처리할 수 있는 오픈소스 데이터베이스 하둡(Hadoop)을 채택했지만, 데이터 분석을 위한 ‘맵리듀스’ 방식이 극히 소수의 전문가만이 다룰 수 있기 때문에 문제에 직면한 것이다.
이런 가운데 최근 맵리듀스의 한계점을 극복하기 위해 일반 기업의 IT 담당자들에게 가장 익숙한 표준 SQL 언어를 적용한 솔루션들이 주목받고 있다. 솔루션은 크게 두 가지 방향으로 정리할 수 있다. 첫째는 맵리듀스를 사용하지 않고 SQL로 직접 데이터를 분석하는 방법이며, 두 번째는 기존 하둡 시스템에 SQL을 적용한 `SQL 온 하둡`을 통한 방식이다.
▲ SQL로 직접 데이터를 분석하자! 모비젠 `IRIS`
맵리듀스를 사용하지 않고 SQL 언어로 빅데이터를 분석하는 방법이 주목받고 있다. 이 분야에서는 현재 국산 업체 모비젠의 `아이리스(IRIS)`가 가장 앞서나가고 있다. ‘아이리스(IRIS)’는 모비젠이 10년간 국내 텔레콤 영역에서 이루어지던 빅데이터 프로젝트를 수행하면서 쌓인 노하우를 바탕으로 연구·개발한 빅데이터 데이터베이스 솔루션이다.
아이리스는 국산 빅데이터 솔루션 중 최초로 오픈소스 기반의 외산 업체 솔루션이 지원하지 않는 표준 SQL을 지원한다. 이를 통해 전문 기술자 없이도 손쉽게 빅데이터의 처리가 가능하다는 점이 아이리스의 강점이다.
아이리스는 대규모 분산 DB를 SQL 언어로 손쉽게 접근할 수 있으며, 대량으로 쏟아지는 시계열 로그 데이터를 실시간으로 집계하는데 최적화 되어있다. 또한 SQL 방식의 인터페이스를 제공해 기존 개발자가 약간의 교육을 통해 유지보수도 가능하다.
현재 아이리스는 국내에서 가장 많은 데이터가 생산되고 있는 국내 이동통신사의 ‘LTE 망 품질관리’, ‘과금 데이터 관리’ 등에 활용되고 있다. 한편 아이리스는 이런 강점을 바탕으로 2012년 국내 최초로 빅데이터 DB관련 GS(Good Software)인증을 획득하며 그 기술력은 인정받은 바 있다.
▲SQL을 통해 하둡을 활용한다. `SQL 온 하둡`
그루터는 하둡에 저장된 데이터의 분석을 위해 기존 맵리듀스 방식이 아닌 SQL을 활용하는 기술인 `SQL 온 하둡` 기술을 사용하고 있다. 그루터의 빅데이터 분석 처리 엔진 `타조`는 `SQL 온 하둡` 기술을 통해 하둡의 한계점을 극복했다는 평가를 받고 있다. 특히 대규모의 배치 작업과 실시간 분석에 있어서 SQL 언어를 사용할 수 있다는 점이 장점으로 꼽힌다.
`SQL 온 하둡` 기술은 맵리듀스 방식의 한계를 극복하면서도 익숙한 SQL 언어를 하둡에 직접 적용할 수 있게 됐다. 물론 전문가들 사이에 `SQL 온 하둡` 기술이 복잡한 비정형 데이터 처리에 있어서 한계가 있다는 지적을 받고 있지만 기존 하둡 빅데이터 처리엔진에 비해 10배 이상 빠르게 처리할 수 있다는 것만으로 매력적이라고 할 수 있다.
모비젠 이명규 대표는 “현재 많은 기업들이 좀 더 쉽게 빅데이터를 활용해 가치있는 정보를 얻기 위한 방법에 대해 끊임없이 고민하고 있다.”라며 “모비젠은 기업들의 이런 니즈를 반영해 SQL을 적용한 아이리스뿐만 아니라 하둡 시스템에 SQL을 적용할 수 있는 기술도 개발해 서비스를 제공하고 있다.”라고 말했다.
관련뉴스
