인공지능(AI) 시장의 관심이 경량화 대규모언어모델(sLLM)에 쏠리고 있다. 많은 데이터가 필요하고 학습과 구동에 들어가는 비용도 높은 대규모언어모델(LLM) 대신 값싸고 빠른 sLLM을 활용해 다양한 산업에 적용하는 게 효과적이기 때문이다.
sLLM은 단어 그대로 LLM을 경량화한 AI 모델이다. LLM과 마찬가지로 자연어 처리 작업을 수행할 수 있다. 기존 LLM 대비 파라미터(매개변수) 수가 대폭 줄어든 게 가장 큰 특징이다. LLM의 파라미터가 수천억 개에서 조 단위를 넘나드는 반면 sLLM은 작게는 수천만 개에서 수십억 개 사이를 왔다 갔다 한다.
성능 면에서는 LLM이 월등하다. 글쓰기부터 이미지·오디오 생성까지 다양한 일을 할 수 있다. 문제는 돈이다. LLM을 비롯한 생성형 AI는 지금까지 등장한 IT 가운데 가장 비싼 기술로 꼽힌다. LLM을 만들기 위해선 방대한 양의 데이터, AI 학습과 추론을 위한 그래픽처리장치(GPU) 등 칩셋, AI 전문 엔지니어 등이 필요하다. 지난해 구글 모회사 알파벳의 존 헤네시 이사회 의장은 “생성 AI를 활용한 검색 비용이 일반 검색 비용보다 열 배 더 높다”고 말했다. 샘 올트먼 오픈AI 최고경영자(CEO)도 챗GPT 출시 다음달인 2022년 12월 “챗GPT 구동에 들어가는 비용이 눈물 날 정도로 비싸다”고 언급했다.
미국 스탠퍼드대의 AI 인덱스 리포트에 따르면 구글이 투입하는 제미나이 울트라의 학습 비용은 1억9140만달러(약 2645억원), 오픈AI의 GPT-4는 7835만달러(약 1080억원)에 달하는 것으로 추정됐다. 구동할 때마다 소요되는 비용도 만만치 않다. 그러다 보니 수익화가 쉽지 않다. 미국 IT 전문매체 디인포메이션에 따르면 오픈AI는 2022년 5억4000만달러(약 7454억원)의 적자를 냈는데 지난해에는 적자 폭이 더 커졌을 것으로 추정된다.
이 같은 문제 때문에 주요 AI 기업은 sLLM으로 시장을 공략하고 있다. 매개변수의 수를 줄이면서도 특정 분야에선 범용 모델 못지않은 성능을 발휘하는 방향으로 연구를 진행 중이다. 전체적인 모델 크기가 작기 때문에 스마트폰, 노트북 같은 기기에 탑재하는 온디바이스 AI로도 활용할 수 있다. 월스트리트저널(WSJ)은 최근 sLLM으로 충분한 작업에 LLM을 쓰는 것을 두고 “탱크를 몰고 식료품을 사러 가는 것과 같다”고 지적하기도 했다.
마이크로소프트는 지난 4월 AI 모델 ‘파이-3 미니’를 출시했다. 파라미터(매개변수)가 38억 개 수준인 sLLM이다. 마이크로소프트는 이 모델에 대해 “열 배 큰 모델 수준의 응답을 제공할 수 있고 비슷한 기능의 다른 모델보다 비용은 10분의 1 정도”라고 설명했다. 마이크로소프트는 향후 파이-3 스몰, 파이-3 미디엄도 내놓을 예정이다. 이 모델들의 파라미터는 각각 70억 개, 140억 개다.
구글도 최근 ‘제미나이 1.5 플래시’를 구글 클라우드 버텍스 AI 플랫폼을 통해 공식 출시했다. 반복 작업을 자동화하는 데 최적화된 모델이라는 설명이다. 앤스로픽은 자사 LLM 클로드 라인업에서 ‘하이쿠’라는 경량 모델을 함께 제공 중이다.
국내 기업들도 sLLM을 잇달아 선보이고 있다. 네이버는 지난 4월 하이퍼클로바X의 경량 모델인 ‘HCX-대시’를 출시했다. 기존 하이퍼클로바(HCX-003) 대비 5분의 1 가격으로 이용할 수 있다. 문장 생성과 변환, 분류, 요약 등 단순한 업무부터 보고서 작성, 맞춤형 챗봇 구현 등 다양한 용도로 활용할 수 있다는 설명이다. 이미지, 오디오 데이터를 처리할 수 있는 경량 모델도 공개할 계획이다.
LG유플러스도 지난달 자체 개발한 sLLM ‘익시젠(ixi-GEN)’을 출시했다. LG AI 연구원의 LLM ‘엑사원’을 기반으로 LG유플러스의 통신·플랫폼 데이터를 학습시켰다. LG유플러스는 공공·금융·제조 등 다양한 산업 분야에 최적화한 익시젠 모델을 개발해 공급할 계획이다.
미국 시장조사 업체 밸류에이츠 리포트에 따르면 sLLM 시장 규모는 2022년 51억8000만달러(약 7조1400억원)에서 2029년 171억8000만달러(약 23조6000억원)로 커질 전망이다.
이승우 기자 leeswoo@hankyung.com
○“눈물 날 정도”…값비싼 LLM
15일 정보기술(IT) 업계에 따르면 구글, 마이크로소프트 등 주요 글로벌 빅테크가 신형 sLLM을 잇달아 선보이고 있다.sLLM은 단어 그대로 LLM을 경량화한 AI 모델이다. LLM과 마찬가지로 자연어 처리 작업을 수행할 수 있다. 기존 LLM 대비 파라미터(매개변수) 수가 대폭 줄어든 게 가장 큰 특징이다. LLM의 파라미터가 수천억 개에서 조 단위를 넘나드는 반면 sLLM은 작게는 수천만 개에서 수십억 개 사이를 왔다 갔다 한다.
성능 면에서는 LLM이 월등하다. 글쓰기부터 이미지·오디오 생성까지 다양한 일을 할 수 있다. 문제는 돈이다. LLM을 비롯한 생성형 AI는 지금까지 등장한 IT 가운데 가장 비싼 기술로 꼽힌다. LLM을 만들기 위해선 방대한 양의 데이터, AI 학습과 추론을 위한 그래픽처리장치(GPU) 등 칩셋, AI 전문 엔지니어 등이 필요하다. 지난해 구글 모회사 알파벳의 존 헤네시 이사회 의장은 “생성 AI를 활용한 검색 비용이 일반 검색 비용보다 열 배 더 높다”고 말했다. 샘 올트먼 오픈AI 최고경영자(CEO)도 챗GPT 출시 다음달인 2022년 12월 “챗GPT 구동에 들어가는 비용이 눈물 날 정도로 비싸다”고 언급했다.
미국 스탠퍼드대의 AI 인덱스 리포트에 따르면 구글이 투입하는 제미나이 울트라의 학습 비용은 1억9140만달러(약 2645억원), 오픈AI의 GPT-4는 7835만달러(약 1080억원)에 달하는 것으로 추정됐다. 구동할 때마다 소요되는 비용도 만만치 않다. 그러다 보니 수익화가 쉽지 않다. 미국 IT 전문매체 디인포메이션에 따르면 오픈AI는 2022년 5억4000만달러(약 7454억원)의 적자를 냈는데 지난해에는 적자 폭이 더 커졌을 것으로 추정된다.
○비용 줄이고 성능 특화한 sLLM
이 같은 문제 때문에 주요 AI 기업은 sLLM으로 시장을 공략하고 있다. 매개변수의 수를 줄이면서도 특정 분야에선 범용 모델 못지않은 성능을 발휘하는 방향으로 연구를 진행 중이다. 전체적인 모델 크기가 작기 때문에 스마트폰, 노트북 같은 기기에 탑재하는 온디바이스 AI로도 활용할 수 있다. 월스트리트저널(WSJ)은 최근 sLLM으로 충분한 작업에 LLM을 쓰는 것을 두고 “탱크를 몰고 식료품을 사러 가는 것과 같다”고 지적하기도 했다.마이크로소프트는 지난 4월 AI 모델 ‘파이-3 미니’를 출시했다. 파라미터(매개변수)가 38억 개 수준인 sLLM이다. 마이크로소프트는 이 모델에 대해 “열 배 큰 모델 수준의 응답을 제공할 수 있고 비슷한 기능의 다른 모델보다 비용은 10분의 1 정도”라고 설명했다. 마이크로소프트는 향후 파이-3 스몰, 파이-3 미디엄도 내놓을 예정이다. 이 모델들의 파라미터는 각각 70억 개, 140억 개다.
구글도 최근 ‘제미나이 1.5 플래시’를 구글 클라우드 버텍스 AI 플랫폼을 통해 공식 출시했다. 반복 작업을 자동화하는 데 최적화된 모델이라는 설명이다. 앤스로픽은 자사 LLM 클로드 라인업에서 ‘하이쿠’라는 경량 모델을 함께 제공 중이다.
국내 기업들도 sLLM을 잇달아 선보이고 있다. 네이버는 지난 4월 하이퍼클로바X의 경량 모델인 ‘HCX-대시’를 출시했다. 기존 하이퍼클로바(HCX-003) 대비 5분의 1 가격으로 이용할 수 있다. 문장 생성과 변환, 분류, 요약 등 단순한 업무부터 보고서 작성, 맞춤형 챗봇 구현 등 다양한 용도로 활용할 수 있다는 설명이다. 이미지, 오디오 데이터를 처리할 수 있는 경량 모델도 공개할 계획이다.
LG유플러스도 지난달 자체 개발한 sLLM ‘익시젠(ixi-GEN)’을 출시했다. LG AI 연구원의 LLM ‘엑사원’을 기반으로 LG유플러스의 통신·플랫폼 데이터를 학습시켰다. LG유플러스는 공공·금융·제조 등 다양한 산업 분야에 최적화한 익시젠 모델을 개발해 공급할 계획이다.
미국 시장조사 업체 밸류에이츠 리포트에 따르면 sLLM 시장 규모는 2022년 51억8000만달러(약 7조1400억원)에서 2029년 171억8000만달러(약 23조6000억원)로 커질 전망이다.
이승우 기자 leeswoo@hankyung.com
관련뉴스
