LLM 학습 속도 5배 높인다…IBM, 차세대 광학기술 공개

입력 2024-12-10 18:08   수정 2024-12-10 20:01

락토핏 당케어 광고 이미지
난각막NEM 광고 이미지

IBM은 생성형 인공지능(AI) 모델의 학습 및 실행 방식을 획기적으로 개선할 수 있는 차세대 광학 기술을 10일 발표했다. 데이터센터 내부 연결 속도를 빛의 속도로 대폭 향상시킬 수 있는 새로운 공정이다.

IBM은 기존의 전선 기반 단거리 통신을 보완하는 새로운 공동 패키지형 광학(CPO) 기술을 공개했다. 이 기술을 구동할 수 있는 폴리머 광학 도파관(PWG)을 성공적으로 설계, 조립했다.

현재 데이터센터의 내부 통신 네트워크는 대부분 구리선을 사용하고 있는데, 상당한 비용과 에너지가 소모된다. 광섬유 기술은 전기 대신 빛으로 장거리 데이터 전송을 빠르게 처리해 효율을 크게 높일 수 있다는 게 IBM 설명이다.

IBM 연구진은 광학 속도와 처리 능력을 데이터센터 내부로 도입할 방법을 제시했다. 데이터센터 통신의 대역폭을 크게 확장하고, GPU의 유휴 시간을 줄이며, AI 처리 속도를 획기적으로 향상시킬 수 있다는 설명이다. 중급 전기 배선 대비 전력 소비를 5배 이상 줄여 생성형AI 확장 비용을 낮추고, 데이터센터 간 케이블 연결 길이를 기존 1 미터에서 수백 미터로 확장할 수 있다.

IBM 측은 기존 전기 배선을 사용할 때보다 거대 언어 모델(LLM)의 학습 속도를 최대 5배까지 높일 수 있다고 강조했다. 일반적인 LLM 학습 시간이 3개월에서 3주로 단축될 수 있고, 더 큰 모델과 더 많은 GPU를 활용할 경우 성능 향상의 폭이 더욱 커진다. AI 모델 학습 시 모델 당 미국 가정 약 5000가구의 연간 전력 소비량에 해당하는 에너지를 절감한다는 설명이다.

고은이 기자 koko@hankyung.com


관련뉴스

    top
    • 마이핀
    • 와우캐시
    • 고객센터
    • 페이스 북
    • 유튜브
    • 카카오페이지

    마이핀

    와우캐시

    와우넷에서 실제 현금과
    동일하게 사용되는 사이버머니
    캐시충전
    서비스 상품
    월정액 서비스
    GOLD 한국경제 TV 실시간 방송
    GOLD PLUS 골드서비스 + VOD 주식강좌
    파트너 방송 파트너방송 + 녹화방송 + 회원전용게시판
    +SMS증권정보 + 골드플러스 서비스

    고객센터

    강연회·행사 더보기

    7일간 등록된 일정이 없습니다.

    이벤트

    7일간 등록된 일정이 없습니다.

    공지사항 더보기

    open
    핀(구독)!