"지금 주문하면 1년 뒤에나 받을 수 있다."
미국 반도체 기업 엔비디아가 개발·판매하는 인공지능(AI) 가속기(H100)에 대한 얘기다. 보통 그래픽처리장치(GPU)로 불리는 AI 가속기는 대규모 데이터 학습·추론에 특화된 반도체 패키지다. GPU, 중앙처리장치(CPU)를 배치하고 그 옆에 D램을 수직으로 쌓은 다수의 'HBM'을 연결하는 ‘2.5D 첨단패키징’을 통해 만든다. 데이터 처리 성능을 극대화한 게 특징이다
AI 서비스 고도화에 필수적이다. 올해 들어 챗 GPT 같은 생성형 AI 확산 영향으로 수요가 급증했다. 개당 5000만원이 넘는 고가 제품이지만 없어서 못 판다. 마이크로소프트, 아마존, 메타플랫폼(옛 페이스북) 같은 글로벌 테크 기업은 물론 네이버, 카카오 등 한국 정보통신기술(ICT) 기업들도 엔비디아의 AI 가속기를 구하지 못해 발을 동동 구르고 있다. "웃돈을 얹어서라도 구하고 싶다", "충분히 확보할 수 있다면 뭐든지 해야할 상황"이란 자조 섞인 목소리까지 나온다.
보통의 기업이라면 고가의 제품이 인기를 끌 때 생산량을 늘려 대응한다. 하지만 엔비디아는 AI 가속기 공급량을 늘리는 데 어려움을 겪고 있다. 품귀 현상이 상당 기간 이어질 수밖에 없다는 얘기다. 이유가 뭘까.
SK하이닉스 HBM, TSMC 2.5D 패키징에서 병목현상
우선 AI 가속기 생산 관련 글로벌 분업구조를 살펴봐야 한다. AI 가속기의 핵심인 GPU 칩 설계는 엔비디아가 직접 한다. 엔비디아의 주문을 받아 GPU 칩 생산을 맡은 기업은 대만의 파운드리(반도체 수탁생산)기업 TSMC다. AI 가속기 제작에 필요한 인터포어(GPU와 HBM을 패키징할 때 필요한 부품)도 TSMC가 생산한다. 여기까지는 아무런 문제가 없다.공급 부족 현상이 발생한 첫 번째 부분은 HBM이다. HBM은 D램을 수직으로 쌓아 만든 고성능 제품이다. AI 가속기의 핵심 부품으로 데이터를 저장하고 GPU에 보내고 받는 역할을 한다.
현재 SK하이닉스가 엔비디아에 AI 가속기용 HBM3(4세대 HBM)를 납품하고 있다. SK하이닉스가 투자를 통해 내년 말까지 HBM 생산능력 2배 이상으로 늘릴 계획이지만 현재로선 고객사 주문을 100% 소화하지 못하고 있는 것으로 알려졌다.
공급이 원활하지 않은 두 번째 분야는 2.5D 첨단 패키징이다. 첨단 패키징은 종류가 다른 칩을 한 칩처럼 움직일 수 있게 가공하는 공정이다. 2.5D로 불리는 이유는 D램을 수직으로 쌓은(3D) HBM과 GPU를 수평으로 배치한다(2D)는 점 때문이란 의견이 있다. 일반적인 패키징과 달리 실리콘인터포저가 들어가기 때문이 2.5D로 부른다는 주장도 나온다.
현재 TSMC가 SK하이닉스로부터 HBM을 받아서 자사가 생산한 GPU와 패키징하고 있다. AI 가속기를 만드는 막바지 작업이다. TSMC의 2.5D 패키징은 'CoWoS(Chip on Wafer on Substrate)'라고 부르는데, 생산 능력(캐파)가 수요 대비 부족한 상황이다. TSMC도 내년까지 CoWoS 용량을 2배 이상으로 늘리기로 했다.
정리하면 GPU 설계(엔비디아), GPU 생산(TSMC), 인터포저 공정(TSMC), HBM 생산(SK하이닉스), 2.5D패키징(TSMC)로 이어지는 AI 가속기 생산 과정에서 HBM과 2.5D 패키징에서 '병목 현상'이 발생했고 이게 엔비디아의 AI 가속기 품귀로 이어지고 있다.
대안 될 수 있는 삼성전자 '턴-키 서비스'
엔비디아 품귀 현상을 해결할 수 있는 방법은 없을까. 첫 번째는 엔비디아가 다른 HBM 공급사와 2.5D패키징이 가능한 기업을 찾는 것이다. HBM도 공급할 수 있고 2.5D 패키징도 가능한 유일한 기업으론 삼성전자가 꼽힌다. 삼성전자는 2.5D 패키징과 HBM 생산을 동시에 할 수 있다는 점을 앞세워 최근 '턴-키 서비스'를 영업 포인트로 앞세우고 있다.SK하이닉스, TSMC보다 최신 HBM, 2.5D 패키징 경쟁력이 낮다는 평가를 받았지만, 최근 자원을 집중적으로 투자하며 '상당 수준 만회했다'는 평가도 받는다.
두 번째는 AI 가속기 수요기업들이 엔비디아가 아닌 다른 기업의 AI 가속기를 쓰는 것이다. AI 가속기를 판매하는 곳은 미국 반도체 기업 AMD와 인텔이다. AMD는 최신 AI 가속기 MI300을 다음 달께 공식 출시할 계획이다. 삼성전자가 AMD에 HBM3를 주로 공급한다. 인텔도 '가우디'라는 이름의 AI 가속기를 앞세워 엔비디아 추격에 주력하고 있다.
최근엔 GPU가 아닌 중앙처리장치(CPU)를 통해 엔비디아를 대체하려는 움직임도 있다. 국내 최대 포털 네이버는 '플레이스' 관련 AI 서비스용 서버를 엔비디아 GPU에서 인텔 CPU로 바꿨다. 엔비디아 AI 가속기 조달이 어려워지고 비용이 증가하면서 '대체'를 시도한 건데 의미 있는 성과를 낸 것이다.
엔비디아의 경쟁사 제품도 성능 측면에선 크게 뒤지지 않는 것으로 알려졌다. 중요한 건 엔비디아가 장악하고 있는 AI 가속기 관련 소프트웨어(SW) 생태계가 꼽힌다. 엔비디아의 SW '쿠다(CUDA)' 생태계에 길들여진 기업 개발자들이 낯선 AMD나 인텔의 제품을 선뜻 쓰지 못한다는 것이다.
국내 대형 클라우드 기업 고위 관계자는 최근 "신규 데이터센터를 지으면서 엔비디아 AI 가속기 비중을 50% 이하로 낮추려고 했지만 사실상 실패했다"며 "기본적으로 고객사들이 익숙한 시스템의 엔비디아를 선호하고 있다"고 설명했다.
황정수 기자 hjs@hankyung.com
관련뉴스
