2020년 6월 글로벌 인공지능(AI) 연구기관 오픈AI가 발표한 연구 논문은 학계와 업계는 물론 일반인까지 충격에 빠지게 했다. 오픈AI는 이 논문에서 자체 개발한 초대형 AI 기반의 언어 생성 모델 GPT-3를 공개했다. 이 언어 모델이 작성한 뉴스 기사는 인간이 쓴 것과 구별이 어려웠고, GPT-3로 구현한 챗봇과의 대화는 이전과 비교할 수 없이 세련됐다. 딥마인드의 알파고 이후 AI가 세상의 주목을 받은 순간이었다. 2022년 5월, SK텔레콤은 GPT-3 기반 ‘성장형 AI 서비스, A.(에이닷)’을 공개했다. GPT-3가 무엇이길래 관심을 받았는지, GPT-3의 현재진행형 에이닷이 나온 배경은 무엇인지 살펴본다. GPT-3는 오픈AI가 개발한 AI 언어 모델인 GPT의 3세대 모델이다. AI 언어 모델은 기계가 인간의 언어를 이해하고, 구사할 수 있도록 하는 기술이다. 자동번역이나 챗봇, 음성 비서를 생각하면 된다.
GPT를 직역하면 ‘생성적 사전학습 트랜스포머’다. ‘생성적’은 변수들의 관계를 밝히는 데 쓰이는 통계적 모델을 의미한다. 트랜스포머(변환기)는 구글이 2018년 개발한 딥러닝 모델 중 하나로, 대량의 데이터를 학습하는 데 유용해 AI 언어 모델이나 AI 비전에서 활발하게 사용되고 있다.
GPT-3는 기존 AI 언어 모델보다 더 많은 데이터를 학습할 수 있는 구조를 목표로 개발됐다. 웹에 존재하는 45테라바이트(TB)의 방대한 텍스트와 책들, 위키피디아를 학습한 결과 언어 구사 능력이 매우 뛰어남을 보여줬다.
GPT와 같은 AI 언어 모델들은 방대한 텍스트 데이터를 입력받아 문장 내 단어 사이의 연관성을 스스로 찾는 비지도 학습을 통해 좀 더 높은 언어 지능을 얻는 것을 목표로 한다. 이런 AI 언어 모델의 출발은 자연어 처리 기술(NLP)이다. 초기에는 문법과 같은 언어 규칙을 기계가 잘 이해할 수 있는 형태로 만드는 데 초점을 뒀다. 그러다 컴퓨터의 연산 속도와 디지털화된 데이터의 증가, 딥러닝 등이 AI 언어 모델에도 도입되면서 컴퓨터가 스스로 학습하게 됐다.
예를 들어 ‘한국의 수도는 어디인가’를 묻는 데 답하는 경우를 생각해 보자. 초기의 자연어 처리를 이용한 전문가 시스템이라면 문법 규칙을 정의한 컴퓨터 프로그램이 질문 문장을 분석하고, 지식 데이터 검색을 통해 ‘서울’이라는 후보 답안을 찾고, 다시 문법 규칙에 맞춰 ‘한국의 수도는 서울입니다’라고 출력한다.
이에 비해 GPT-3와 같은 AI 언어 모델은 백과사전을 모두 입력해 AI가 스스로 단어 간 연관성을 파악하도록 한다. 스스로 학습을 통해서 한국, 미국, 서울, 제주, 수도, 도시 등에서 한국, 수도와는 서울이 가장 잘 연결된다는 것을 통계확률적으로 계산해 내는 것이다.
GPT-3의 대답 과정은 사람이 질문한 ‘한국의 수도는 어디인가’에 이어질 단어로 확률이 가장 높은 후보는 ‘한국의’이고, 이어서 나올 후보 단어는 ‘수도는’, 마지막으로 ‘서울입니다’를 순차적으로 알아내는 것이라고 단순화할 수 있다. 이런 지능은 백과사전 글의 사전 학습을 통해 얻은 것이다. GPT-3는 이런 단어들의 관계를 한국, 서울, 수도의 3차원이 아니라 거대 규모의 차원으로 계산하기 때문에 짧은 문장 하나가 아니라 기사나 짧은 에세이 정도 분량의 문장으로 단어들을 이어갈 수 있다.
GPT-3는 딥러닝을 이용해 그럴듯한 문장 번역, 작문, 텍스트, 자연스러운 언어 표현을 바탕으로 한 감성 대화 등의 결과물을 만들어 업계의 큰 주목을 받았다. 초기 GPT-3 API가 외부 개발자에게 공개됐을 때 GPT-3 기반 앱만 300개가 만들어졌다. 국내외 빅테크들이 AI 모델을 개발하고, 서비스 개발에 속도를 내게 되는 계기도 됐다.
AI 언어 모델의 활용처는 챗봇이나 AI 음성비서, AI 자동번역 외에도 다양하다. 예를 들면 고객의 소리를 모아서 자동으로 요약하거나 문제가 무엇인지 파악하는 데 사용할 수 있다. 세계에서 가장 유명한 고객관리시스템(CRM) 업체인 세일즈포스가 GPT-3를 이용한 시험을 하고 있다.
글을 요약하거나, 뉴스 기사와 칼럼을 쓸 수도 있다. 어떤 제품에 대한 기사나 SNS 글을 모아 입력하면 마케팅에 활용할 문구를 뽑아내는 카피라이터 역할이 가능하다. 각종 영수증이나 급여명세서 등을 다양한 형태로 입력해도, 그 언어들을 이해해 가계부와 회계장부를 작성해 줄 수도 있다.
단어 간의 관계 학습이라는 점에서 프로그래밍 언어를 학습시키면 코딩도 시킬 수 있다. ‘타이틀과 버튼, 입력란이 있는 웹 페이지를 만들어줘’라는 요청에 웹 코딩 결과로 답한다든지, 간단한 데이터 추출용 코드를 만들어 낸다든지 하는 GPT-3 API 활용 코딩 예제를 쉽게 찾아볼 수 있다.
GPT-3는 영국 언론 가디언에 ‘나는 인간을 파괴할 생각이 없다’라는 기고문을 쓰며 주목받았다. 당시 가디언 편집국은 AI가 작성한 글을 편집하는 것이 칼럼니스트의 글을 수정하는 것과 크게 다르지 않았다고 밝혔다. 또한 GPT-3가 작성한 뉴스 기사가 기존에 사람이 작성한 기사인지 판별하는 테스트에서 실험자들은 평균 52%로 구분에 성공했다고 한다. 가장 확률이 낮은 것은 12%의 실험자들만이 AI 작성 기사일 것이라고 추측하는 데 성공했다.
GPT-3가 유사 AI 언어 모델이나 이전 세대의 GPT 기술과 다르게 다가온 것은 학습 데이터의 엄청난 양과 이를 처리할 수 있는 모델의 구조 때문이었다. GPT-3는 방대한 양의 데이터 세트(3000억 개의 토큰)와 매개변수(1750억 개)를 갖췄다고 알려졌다.
AI의 기술 발전은 곧 매개변수 수를 높이는 것이라 할 정도로 매개변수가 많을수록 AI는 더 정교한 학습이 가능하다. GPT-3는 이런 결과로 높은 언어 수준을 갖출 수 있었다.
언어 모델의 규모가 10배, 100배 이상 커져서 GPT-3 수준에 이를 때, 모델의 테스트 정확도는 0~20% 선에서 50~60%를 넘어서는 수준으로 높아져 쓸 만한 언어 지능이 확보될 수 있다는 가능성을 GPT-3가 보여준 것이다. GPT-3의 AI 언어 모델 자체는 완전히 새로운 것은 아니지만, 양적인 변화가 임계치를 넘어서는 것만으로도 질적인 차원의 변화를 가져온다는 점을 보여줬다. 이 때문에 구글, 마이크로소프트, 메타 등도 AI 언어 모델 규모의 거대화 경쟁에 합류했다. 우리나라 빅테크들의 투자와 연구도 활발한 상황이다.
GPT-3를 개발한 오픈AI의 사례를 보듯, 향후 AI 언어 모델을 보유한 기업이 미래 시장에서 경쟁우위를 점할 것으로 보고 SK텔레콤은 2018년부터 AI 언어 모델을 개발해왔다. 특히 GPT-3에 이용된 데이터가 대부분 영어 기반이기 때문에 한국어 AI 중심의 토종 GPT-3 개발에 지속 투자해왔다.
SK텔레콤은 2019년 KoBERT를 개발해 고객센터 챗봇 등에 활용하고 있다. 2020년 4월 KoGPT-2 개발을 완료해 챗봇의 대화를 더 자연스럽게 발전시켰다. 2020년 10월에는 뉴스나 문서를 고품질 요약문으로 만들어 내는 등 텍스트 처리 역량이 뛰어난 KoBART를 개발해 자연어 이해 및 처리 영역 기술력을 강화했다. 작년 4월에는 국립국어원과 한국어에 적합한 차세대 AI 언어모델 개발 업무 협약을 체결했다. 올해 5월에는 SK텔레콤이 자체 개발한 GPT-3 기반 한국어 특화 버전이 탑재된 AI 서비스 에이닷의 안드로이드 오픈 베타 버전을 공개했다.
에이닷은 ‘따뜻한 기술’로 고객의 불편을 바로잡고, 모바일 환경에서 고객에게 좀 더 도움이 되는 서비스를 제공하겠다는 SK텔레콤의 ‘AI 서비스 컴퍼니’를 향한 지향점을 담고 있다.
에이닷에 탑재된 AI 언어 모델은 SK텔레콤이 GPT-3 구조를 기반으로 한국어 특화 버전을 자체 개발해 일반 소비자를 대상으로 내놓은 첫 번째 AI 서비스다. GPT-3를 기반으로 일상적인 대화와 고객이 요구하는 특정 작업 처리를 자연스럽게 결합했다.
에이닷을 설치한 이용자들은 나만의 개성을 반영한 캐릭터를 만들고 꾸밀 수 있으며, AI 캐릭터와 음성 대화 또는 문자를 통해 자유롭게 대화하고 궁금한 정보를 물어볼 수 있다. T맵, UT, 플로, 웨이브 등을 앱 안에서 편리하게 이용할 수 있다.
SK텔레콤 디지털커뮤니케이션팀/정리=이승우 기자 leeswoo@hankyung.com
GPT를 직역하면 ‘생성적 사전학습 트랜스포머’다. ‘생성적’은 변수들의 관계를 밝히는 데 쓰이는 통계적 모델을 의미한다. 트랜스포머(변환기)는 구글이 2018년 개발한 딥러닝 모델 중 하나로, 대량의 데이터를 학습하는 데 유용해 AI 언어 모델이나 AI 비전에서 활발하게 사용되고 있다.
GPT-3는 기존 AI 언어 모델보다 더 많은 데이터를 학습할 수 있는 구조를 목표로 개발됐다. 웹에 존재하는 45테라바이트(TB)의 방대한 텍스트와 책들, 위키피디아를 학습한 결과 언어 구사 능력이 매우 뛰어남을 보여줬다.
어떻게 사람처럼 대화하고 글을 쓸까
GPT와 같은 AI 언어 모델들은 방대한 텍스트 데이터를 입력받아 문장 내 단어 사이의 연관성을 스스로 찾는 비지도 학습을 통해 좀 더 높은 언어 지능을 얻는 것을 목표로 한다. 이런 AI 언어 모델의 출발은 자연어 처리 기술(NLP)이다. 초기에는 문법과 같은 언어 규칙을 기계가 잘 이해할 수 있는 형태로 만드는 데 초점을 뒀다. 그러다 컴퓨터의 연산 속도와 디지털화된 데이터의 증가, 딥러닝 등이 AI 언어 모델에도 도입되면서 컴퓨터가 스스로 학습하게 됐다.예를 들어 ‘한국의 수도는 어디인가’를 묻는 데 답하는 경우를 생각해 보자. 초기의 자연어 처리를 이용한 전문가 시스템이라면 문법 규칙을 정의한 컴퓨터 프로그램이 질문 문장을 분석하고, 지식 데이터 검색을 통해 ‘서울’이라는 후보 답안을 찾고, 다시 문법 규칙에 맞춰 ‘한국의 수도는 서울입니다’라고 출력한다.
이에 비해 GPT-3와 같은 AI 언어 모델은 백과사전을 모두 입력해 AI가 스스로 단어 간 연관성을 파악하도록 한다. 스스로 학습을 통해서 한국, 미국, 서울, 제주, 수도, 도시 등에서 한국, 수도와는 서울이 가장 잘 연결된다는 것을 통계확률적으로 계산해 내는 것이다.
GPT-3의 대답 과정은 사람이 질문한 ‘한국의 수도는 어디인가’에 이어질 단어로 확률이 가장 높은 후보는 ‘한국의’이고, 이어서 나올 후보 단어는 ‘수도는’, 마지막으로 ‘서울입니다’를 순차적으로 알아내는 것이라고 단순화할 수 있다. 이런 지능은 백과사전 글의 사전 학습을 통해 얻은 것이다. GPT-3는 이런 단어들의 관계를 한국, 서울, 수도의 3차원이 아니라 거대 규모의 차원으로 계산하기 때문에 짧은 문장 하나가 아니라 기사나 짧은 에세이 정도 분량의 문장으로 단어들을 이어갈 수 있다.
어디에 실제로 쓰일까
GPT-3는 딥러닝을 이용해 그럴듯한 문장 번역, 작문, 텍스트, 자연스러운 언어 표현을 바탕으로 한 감성 대화 등의 결과물을 만들어 업계의 큰 주목을 받았다. 초기 GPT-3 API가 외부 개발자에게 공개됐을 때 GPT-3 기반 앱만 300개가 만들어졌다. 국내외 빅테크들이 AI 모델을 개발하고, 서비스 개발에 속도를 내게 되는 계기도 됐다.AI 언어 모델의 활용처는 챗봇이나 AI 음성비서, AI 자동번역 외에도 다양하다. 예를 들면 고객의 소리를 모아서 자동으로 요약하거나 문제가 무엇인지 파악하는 데 사용할 수 있다. 세계에서 가장 유명한 고객관리시스템(CRM) 업체인 세일즈포스가 GPT-3를 이용한 시험을 하고 있다.
글을 요약하거나, 뉴스 기사와 칼럼을 쓸 수도 있다. 어떤 제품에 대한 기사나 SNS 글을 모아 입력하면 마케팅에 활용할 문구를 뽑아내는 카피라이터 역할이 가능하다. 각종 영수증이나 급여명세서 등을 다양한 형태로 입력해도, 그 언어들을 이해해 가계부와 회계장부를 작성해 줄 수도 있다.
단어 간의 관계 학습이라는 점에서 프로그래밍 언어를 학습시키면 코딩도 시킬 수 있다. ‘타이틀과 버튼, 입력란이 있는 웹 페이지를 만들어줘’라는 요청에 웹 코딩 결과로 답한다든지, 간단한 데이터 추출용 코드를 만들어 낸다든지 하는 GPT-3 API 활용 코딩 예제를 쉽게 찾아볼 수 있다.
왜 GPT-3가 주목받았을까
GPT-3는 영국 언론 가디언에 ‘나는 인간을 파괴할 생각이 없다’라는 기고문을 쓰며 주목받았다. 당시 가디언 편집국은 AI가 작성한 글을 편집하는 것이 칼럼니스트의 글을 수정하는 것과 크게 다르지 않았다고 밝혔다. 또한 GPT-3가 작성한 뉴스 기사가 기존에 사람이 작성한 기사인지 판별하는 테스트에서 실험자들은 평균 52%로 구분에 성공했다고 한다. 가장 확률이 낮은 것은 12%의 실험자들만이 AI 작성 기사일 것이라고 추측하는 데 성공했다.GPT-3가 유사 AI 언어 모델이나 이전 세대의 GPT 기술과 다르게 다가온 것은 학습 데이터의 엄청난 양과 이를 처리할 수 있는 모델의 구조 때문이었다. GPT-3는 방대한 양의 데이터 세트(3000억 개의 토큰)와 매개변수(1750억 개)를 갖췄다고 알려졌다.
AI의 기술 발전은 곧 매개변수 수를 높이는 것이라 할 정도로 매개변수가 많을수록 AI는 더 정교한 학습이 가능하다. GPT-3는 이런 결과로 높은 언어 수준을 갖출 수 있었다.
언어 모델의 규모가 10배, 100배 이상 커져서 GPT-3 수준에 이를 때, 모델의 테스트 정확도는 0~20% 선에서 50~60%를 넘어서는 수준으로 높아져 쓸 만한 언어 지능이 확보될 수 있다는 가능성을 GPT-3가 보여준 것이다. GPT-3의 AI 언어 모델 자체는 완전히 새로운 것은 아니지만, 양적인 변화가 임계치를 넘어서는 것만으로도 질적인 차원의 변화를 가져온다는 점을 보여줬다. 이 때문에 구글, 마이크로소프트, 메타 등도 AI 언어 모델 규모의 거대화 경쟁에 합류했다. 우리나라 빅테크들의 투자와 연구도 활발한 상황이다.
SK텔레콤, 토종 GPT-3에 지속 투자
GPT-3를 개발한 오픈AI의 사례를 보듯, 향후 AI 언어 모델을 보유한 기업이 미래 시장에서 경쟁우위를 점할 것으로 보고 SK텔레콤은 2018년부터 AI 언어 모델을 개발해왔다. 특히 GPT-3에 이용된 데이터가 대부분 영어 기반이기 때문에 한국어 AI 중심의 토종 GPT-3 개발에 지속 투자해왔다.SK텔레콤은 2019년 KoBERT를 개발해 고객센터 챗봇 등에 활용하고 있다. 2020년 4월 KoGPT-2 개발을 완료해 챗봇의 대화를 더 자연스럽게 발전시켰다. 2020년 10월에는 뉴스나 문서를 고품질 요약문으로 만들어 내는 등 텍스트 처리 역량이 뛰어난 KoBART를 개발해 자연어 이해 및 처리 영역 기술력을 강화했다. 작년 4월에는 국립국어원과 한국어에 적합한 차세대 AI 언어모델 개발 업무 협약을 체결했다. 올해 5월에는 SK텔레콤이 자체 개발한 GPT-3 기반 한국어 특화 버전이 탑재된 AI 서비스 에이닷의 안드로이드 오픈 베타 버전을 공개했다.
에이닷은 ‘따뜻한 기술’로 고객의 불편을 바로잡고, 모바일 환경에서 고객에게 좀 더 도움이 되는 서비스를 제공하겠다는 SK텔레콤의 ‘AI 서비스 컴퍼니’를 향한 지향점을 담고 있다.
에이닷에 탑재된 AI 언어 모델은 SK텔레콤이 GPT-3 구조를 기반으로 한국어 특화 버전을 자체 개발해 일반 소비자를 대상으로 내놓은 첫 번째 AI 서비스다. GPT-3를 기반으로 일상적인 대화와 고객이 요구하는 특정 작업 처리를 자연스럽게 결합했다.
에이닷을 설치한 이용자들은 나만의 개성을 반영한 캐릭터를 만들고 꾸밀 수 있으며, AI 캐릭터와 음성 대화 또는 문자를 통해 자유롭게 대화하고 궁금한 정보를 물어볼 수 있다. T맵, UT, 플로, 웨이브 등을 앱 안에서 편리하게 이용할 수 있다.
SK텔레콤 디지털커뮤니케이션팀/정리=이승우 기자 leeswoo@hankyung.com
관련뉴스
