특급열차 탄 빅데이터…성능 33% 향상 고속 전송기술 개발

특급열차 탄 빅데이터…성능 33% 향상 고속 전송기술 개발

한미 연구진 공동 연구 성과…"데이터 집약형 연구 가속화 기대"





(대전=연합뉴스) 이재림 기자 = 한국과학기술정보연구원(KISTI)은 대용량 과학데이터를 전송하는 미들웨어 '빅데이터 익스프레스'(Big Data Express)를 미국 연구진과 공동 개발했다고 15일 밝혔다.

연구에는 페르미 국립가속기연구소(Fermilab)와 오크 리지 국립연구소(Oak Ridge National Laboratory)가 함께했다.

최근 과학 분야에서는 연구 성과와 실험 데이터 규모가 급속히 증가하는 추세다.

특히 가속기나 관측장비 등 대형 연구장비에서 생산되는 자료는 '페타바이트(PB)' 급으로 늘고 있다.

1PB는 약 100만 기가바이트로, 일반적인 1시간짜리 영화를 114년 동안 볼 수 있는 용량이다.

이 때문에 데이터 생산·확보·저장·전송 등 처리 기능도 덩달아 중요해지고 있다.

단일기관에서는 대용량 데이터 처리가 어려워서 국제 공동으로 데이터 공유를 위한 전송기술 고도화가 필요하다.

한미 연구진이 내놓은 기술의 핵심은 대용량 과학데이터 전송 효율성을 극대화했다는 점이다.

자체 시험 결과 과학데이터 전송에 자주 사용되는 'GridFTP' 보다 33％가량 높은 성능을 보였다는 게 KISTI 설명이다.

기존에는 상대적으로 느린 메모리 속도 때문에 전체적인 데이터 전송 속도가 느려지는 문제(Lots Of Small File)가 있었는데, 빅데이터 익스프레스의 경우엔 GridFTP 보다 100배 정도 빨랐다.

빅데이터 익스프레스 미들웨어는 14일(현지시각) 미국 덴버에서 열린 '슈퍼컴퓨팅 콘퍼런스 2017'에서 대륙 간(한국-미국) 데이터 전송도 성공적으로 시연했다.

노서영 KISTI 대용량데이터허브실장은 "대형실험장비와 대용량 과학데이터를 국내 연구자가 손쉽고 신속하게 전송받아 분석할 수 있는 연구환경을 제공할 수 있다"며 "이를 통해 데이터 집약형 연구의 가속화도 기대할 수 있을 것"이라고 말했다.

walden@yna.co.kr

(끝)




<저작권자(c) 연합뉴스, 무단 전재-재배포 금지>