KT클라우드가 인공지능(AI) 추론에 특화된 고성능 그래픽처리장치(GPU) 인프라를 합리적인 비용으로 활용할 수 있는 ‘AI SERV’ 서비스를 16일 출시했다.
AI 추론을 위해선 적은 용량의 GPU를 상시로 사용해야 한다. 단기간 집중적으로 대용량 GPU를 쓰는 초거대 AI 학습과 대조적이다. KT클라우드 관계자는 “학습에 사용한 인프라를 추론에도 활용하면 필요 이상의 비용을 부담해야 한다”며 “추론에 특화한 GPU 인프라 서비스 수요가 상당할 것”이라고 설명했다.
AI SERV엔 슬라이싱 기술이 적용됐다. 한 장 단위로 제공하던 GPU 서비스를 5분할해 0.2장 단위로 제공한다. 최소 사용할 수 있는 GPU 단위를 줄여 인프라 낭비를 막았다는 설명이다. AI 개발, 학습을 마치고 AI 서비스를 제공하는 AI 전문 기업이 타깃 고객이다.
정지은 기자 jeong@hankyung.com
AI 추론을 위해선 적은 용량의 GPU를 상시로 사용해야 한다. 단기간 집중적으로 대용량 GPU를 쓰는 초거대 AI 학습과 대조적이다. KT클라우드 관계자는 “학습에 사용한 인프라를 추론에도 활용하면 필요 이상의 비용을 부담해야 한다”며 “추론에 특화한 GPU 인프라 서비스 수요가 상당할 것”이라고 설명했다.
AI SERV엔 슬라이싱 기술이 적용됐다. 한 장 단위로 제공하던 GPU 서비스를 5분할해 0.2장 단위로 제공한다. 최소 사용할 수 있는 GPU 단위를 줄여 인프라 낭비를 막았다는 설명이다. AI 개발, 학습을 마치고 AI 서비스를 제공하는 AI 전문 기업이 타깃 고객이다.
정지은 기자 jeong@hankyung.com
관련뉴스
