KAIST 부설 고등과학원이 생성형 인공지능(AI) 속도를 최대 10배 높일 수 있는 알고리즘을 개발했다고 5일 발표했다.
생성 AI는 데이터의 확률분포를 학습해 창작물을 만들어낸다. 예를 들어 오픈AI의 챗GPT는 수많은 문서의 확률분포를 학습해 새로운 문장을 생성하고, 달리(DALL-E)는 사진과 그림 등의 확률분포를 학습해 새 작품을 창작한다. 이때 학습 알고리즘은 물리학에서 착안한 ‘확산 모형’을 주로 쓴다. 그런데 확산 모형은 종종 속도가 느려지는 단점이 있다. 이미지 1개를 생성하기 위해 인공신경망(ANN)을 40~50번 반복 학습해야 하기 때문이다.
윤상웅 고등과학원 AI기초과학연구센터 박사 연구팀은 강화학습에 사용되는 보상함수(reward function)를 추정할 수 있는 ‘최대 엔트로피 역강화학습’이라는 새로운 방법을 제안했다. 이를 통해 확산 모형의 ANN 학습 횟수를 최소 4번으로 줄였다고 설명했다. 삼성전자 글로벌AI센터 부사장을 지낸 대니얼 리 미국 코넬대 전기컴퓨터공학과 교수는 “생성 AI 분야에서 획기적 진전을 이룬 연구”라고 평가했다. 고등과학원은 이번 성과를 오는 9일부터 캐나다 밴쿠버에서 열리는 세계 최대 AI 학술대회 ‘신경정보처리시스템학회(NeurIPS) 2024’에서 공개한다.
이해성 기자 ihs@hankyung.com
생성 AI는 데이터의 확률분포를 학습해 창작물을 만들어낸다. 예를 들어 오픈AI의 챗GPT는 수많은 문서의 확률분포를 학습해 새로운 문장을 생성하고, 달리(DALL-E)는 사진과 그림 등의 확률분포를 학습해 새 작품을 창작한다. 이때 학습 알고리즘은 물리학에서 착안한 ‘확산 모형’을 주로 쓴다. 그런데 확산 모형은 종종 속도가 느려지는 단점이 있다. 이미지 1개를 생성하기 위해 인공신경망(ANN)을 40~50번 반복 학습해야 하기 때문이다.
윤상웅 고등과학원 AI기초과학연구센터 박사 연구팀은 강화학습에 사용되는 보상함수(reward function)를 추정할 수 있는 ‘최대 엔트로피 역강화학습’이라는 새로운 방법을 제안했다. 이를 통해 확산 모형의 ANN 학습 횟수를 최소 4번으로 줄였다고 설명했다. 삼성전자 글로벌AI센터 부사장을 지낸 대니얼 리 미국 코넬대 전기컴퓨터공학과 교수는 “생성 AI 분야에서 획기적 진전을 이룬 연구”라고 평가했다. 고등과학원은 이번 성과를 오는 9일부터 캐나다 밴쿠버에서 열리는 세계 최대 AI 학술대회 ‘신경정보처리시스템학회(NeurIPS) 2024’에서 공개한다.
이해성 기자 ihs@hankyung.com
관련뉴스
