엔비디아의 슈퍼컴퓨터용 그래픽처리장치(GPU) 모듈인 H100 가격이 급등하고 있다. 챗GPT의 등장으로 생성형 인공지능(AI) 시장이 달아오르면서 생긴 변화다.
CNBC는 20일 이베이에서 판매되는 H100(80GB) 가격이 지난해 3만6000달러(약 4700만원)에서 최근 4만6000달러(약 6000만원)까지 치솟았다고 보도했다. 챗GPT 등장 이후 27% 넘게 가격이 올랐다. 대규모언어모델(LLM)을 개발하려는 기업이 급증하면서 H100이 ‘귀하신 몸’이 됐다는 게 CNBC의 설명이다.
H100은 A100의 뒤를 잇는 엔비디아의 간판 AI 칩이다. H100은 A100 대비 학습 속도가 9배, 언어 추론 속도가 30배 이상 빠르다. 빅테크업체의 AI 기술 경쟁이 치열해지고 있어 H100 수급난은 당분간 계속될 전망이다.
범용 제품으로 가동 중인 슈퍼컴퓨터에 가장 많이 쓰이는 GPU인 A100 모듈 가격도 상승세다. 80GB 제품의 정가는 대당 1만달러(약 1300만원) 수준이지만 이베이에선 1만5000달러(약 2000만원)가 넘는 매물을 볼 수 있다.생성형 AI 시스템을 구축하는 데 적게는 수백 개, 많게는 수천 개의 GPU가 필요하다. 오픈AI가 공개한 GPT-4엔 A100 1만여 개가 들어갔다. GPU 구매 비용만 1300억원이 넘는다. 생성형 AI 시스템 구축에 천문학적인 비용이 투입된다는 말이 나오는 이유다.
컴퓨팅 장비에 GPU를 얼마나 투입해야 할지를 결정하는 것은 생성형 AI의 파라미터(매개변수) 규모다. 메타(옛 페이스북)가 개발한 라마는 2048개의 A100을 통해 650억 개의 파라미터를 처리하고 있다. 구글 람다는 1370억 개, 네이버 하이퍼클로바는 2040억 개의 파라미터를 활용 중이다. 오픈AI는 GPT-4의 파라미터 수를 공개하지 않았다. 업계에선 이전 모델(GPT-3·1750억 개)보다 30% 이상 많은 파라미터를 썼을 것으로 추정하고 있다.
최진석 기자 iskra@hankyung.com
관련뉴스
