이미지를 자연어로 묘사하는 AI…편견없이 맥락 짚어야"
LG AI연구원, CVPR 2023 앞두고 워크숍 주최…'이미지 캡셔닝' 주제 열띤 토론
(밴쿠버=연합뉴스) 조승한 기자·한국과학기자협회 공동취재단 = "편견과 고정관념을 지우고 상식·지식과 맥락을 파악하는 이미지 캡셔닝 기술로 진화시켜야 합니다."
캐나다 밴쿠버 컨벤션센터에서 20~22일(이하 현지시간) 열리는 세계 최대 컴퓨터 비전 학회 'CVPR 2023'에 앞서 LG AI연구원은 이미지에서 캡션과 키워드를 생성하는 '캡셔닝 인공지능(AI)'을 18일 공개하고, 서울대 AI대학원, 셔터스톡과 함께 '캡셔닝 AI' 기반 기술인 '제로샷 이미지 캡셔닝'을 주제로 워크숍도 처음 열었다.
워크숍에 강연자로 참석한 글로벌 전문가들은 이미지 캡셔닝 AI모델을 더 진보시키기 위한 기술적 과제가 필요하다고 입을 모았다.
LG AI연구원이 현지에서 첫선을 보인 '생성형 AI' 상용화 서비스인 '캡셔닝 AI'는 사람처럼 처음 보는 이미지를 자연어로 설명할 수 있다. 이미지 검색에 활용할 수 있는 정보인 문장이나 키워드 등 메타 데이터를 생성한다.
워크숍에서는 이처럼 이미지 캡셔닝 연구를 주도하는 세계 각국 연구자들이 이미지 캡셔닝 기술 구현의 조건과 어려움에 관해 의견을 주고받았다.
◇ 질 좋은 데이터로 맥락·지식 학습 늘려야
애나 로르바흐 미국 버클리 캘리포니아대(UC버클리) 리서치 사이언티스트(연구원)는 AI가 이미지를 이해하고 대표성을 확보한 설명을 만들어내려면 '맥락' 선택이 중요하다고 강조했다.
로르바흐 연구원은 "특히 뉴스의 경우 뉴스 캡션을 AI가 생성하려면 기사 내 데이터 문맥을 잘 선택하는 게 중요하다"며 "통상적으로 캡션은 일부 문장에 의해서 만들어지기 때문"이라고 말했다.
또 이미지 캡셔닝 AI의 대표적인 문제로 꼽히는 '환각'을 줄이는 기술도 필요하다고 강조했다.
AI 분야에서 환각은 AI가 주어진 데이터 또는 맥락에 근거하지 않은 잘못된 정보를 생성하는 경우를 말한다. 거짓을 마치 사실처럼 제시하는 경우다.
코르델리아 슈미드 프랑스 국립컴퓨터과학연구소 연구책임자 겸 구글 리서치 프랑스 연구원은 '위키피디아' 내 정보와 사진을 검색하며 지식을 늘려가는 방식으로 대규모 메모리를 만드는 이미지 캡셔닝 전략을 소개했다.
이를 활용하면 사진을 보고 지식이 필요한 질문을 할 때 컴퓨터가 정보를 빠르게 검색하고 답할 수 있다는 것이다.
슈미드 연구원은 "이런 방식으로 대규모 지식을 축적하면 시각적 질문에 대한 답변뿐 아니라 이미지 캡셔닝에서도 최고 성능을 얻을 수 있다"고 말했다.
그는 영상 인식에서는 화면 해설이 담긴 유튜브 영상 1500만개를 학습하는 방식으로 사건이 일어나는 기간과 설명을 동시에 파악하는 방식을 적용한 모델 'Vid2Seq'도 소개했다.
그는 "영상을 쪼개 사건을 파악하는 것은 사건 간 연결이 어렵다"며 "사건에 시간 정보를 부여하면 다양한 사건이 일어나는 고밀도 영상도 설명을 만들어낼 수 있다"고 말했다.
◇ 이미지 캡셔닝 AI 한계 지적도 이어져
하미드 팔랑기 마이크로소프트 리서치 수석연구원 겸 워싱턴대 교수는 '이미지 캡셔닝 평가의 어려움'을 주제로 한 발표에서 "AI가 생성한 이미지 캡션의 맥락은 이해하기 복잡하고 어렵다"며 "이미지 캡셔닝 평가가 어려운 이유는 AI 언어 모델 자체의 문제일 수도 있고 데이터나 다른 기능 등 여러 방면에서 문제가 발생할 수 있기 때문"이라고 설명했다.
그러면서 "이런 문제는 모든 AI 연구자가 함께 풀어야 하는 문제"라면서 "더 정교한 AI 모델을 만들기 위해 더 많은 문제 제기가 필요하다"고 말했다.
잭 헤셀 미국 앨런인공지능연구소 사이언티스트도 이미지 캡셔닝의 성능을 높이려면 AI가 상식을 뛰어넘는 추론을 할 수 있도록 정교해져야 한다고 강조했다.
그는 "대규모 어휘를 학습한 모델도 전체적인 장면 이해에 필요한 요소가 상식에 맞지 않아 놓치는 경우가 많다"며 "현상을 관찰해 가장 설득력 있는 설명을 만드는 귀추법 등을 적용할 필요가 있다"고 설명했다.
shjo@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포 금지>
LG AI연구원, CVPR 2023 앞두고 워크숍 주최…'이미지 캡셔닝' 주제 열띤 토론
(밴쿠버=연합뉴스) 조승한 기자·한국과학기자협회 공동취재단 = "편견과 고정관념을 지우고 상식·지식과 맥락을 파악하는 이미지 캡셔닝 기술로 진화시켜야 합니다."
캐나다 밴쿠버 컨벤션센터에서 20~22일(이하 현지시간) 열리는 세계 최대 컴퓨터 비전 학회 'CVPR 2023'에 앞서 LG AI연구원은 이미지에서 캡션과 키워드를 생성하는 '캡셔닝 인공지능(AI)'을 18일 공개하고, 서울대 AI대학원, 셔터스톡과 함께 '캡셔닝 AI' 기반 기술인 '제로샷 이미지 캡셔닝'을 주제로 워크숍도 처음 열었다.
워크숍에 강연자로 참석한 글로벌 전문가들은 이미지 캡셔닝 AI모델을 더 진보시키기 위한 기술적 과제가 필요하다고 입을 모았다.
LG AI연구원이 현지에서 첫선을 보인 '생성형 AI' 상용화 서비스인 '캡셔닝 AI'는 사람처럼 처음 보는 이미지를 자연어로 설명할 수 있다. 이미지 검색에 활용할 수 있는 정보인 문장이나 키워드 등 메타 데이터를 생성한다.
워크숍에서는 이처럼 이미지 캡셔닝 연구를 주도하는 세계 각국 연구자들이 이미지 캡셔닝 기술 구현의 조건과 어려움에 관해 의견을 주고받았다.
◇ 질 좋은 데이터로 맥락·지식 학습 늘려야
애나 로르바흐 미국 버클리 캘리포니아대(UC버클리) 리서치 사이언티스트(연구원)는 AI가 이미지를 이해하고 대표성을 확보한 설명을 만들어내려면 '맥락' 선택이 중요하다고 강조했다.
로르바흐 연구원은 "특히 뉴스의 경우 뉴스 캡션을 AI가 생성하려면 기사 내 데이터 문맥을 잘 선택하는 게 중요하다"며 "통상적으로 캡션은 일부 문장에 의해서 만들어지기 때문"이라고 말했다.
또 이미지 캡셔닝 AI의 대표적인 문제로 꼽히는 '환각'을 줄이는 기술도 필요하다고 강조했다.
AI 분야에서 환각은 AI가 주어진 데이터 또는 맥락에 근거하지 않은 잘못된 정보를 생성하는 경우를 말한다. 거짓을 마치 사실처럼 제시하는 경우다.
코르델리아 슈미드 프랑스 국립컴퓨터과학연구소 연구책임자 겸 구글 리서치 프랑스 연구원은 '위키피디아' 내 정보와 사진을 검색하며 지식을 늘려가는 방식으로 대규모 메모리를 만드는 이미지 캡셔닝 전략을 소개했다.
이를 활용하면 사진을 보고 지식이 필요한 질문을 할 때 컴퓨터가 정보를 빠르게 검색하고 답할 수 있다는 것이다.
슈미드 연구원은 "이런 방식으로 대규모 지식을 축적하면 시각적 질문에 대한 답변뿐 아니라 이미지 캡셔닝에서도 최고 성능을 얻을 수 있다"고 말했다.
그는 영상 인식에서는 화면 해설이 담긴 유튜브 영상 1500만개를 학습하는 방식으로 사건이 일어나는 기간과 설명을 동시에 파악하는 방식을 적용한 모델 'Vid2Seq'도 소개했다.
그는 "영상을 쪼개 사건을 파악하는 것은 사건 간 연결이 어렵다"며 "사건에 시간 정보를 부여하면 다양한 사건이 일어나는 고밀도 영상도 설명을 만들어낼 수 있다"고 말했다.
◇ 이미지 캡셔닝 AI 한계 지적도 이어져
하미드 팔랑기 마이크로소프트 리서치 수석연구원 겸 워싱턴대 교수는 '이미지 캡셔닝 평가의 어려움'을 주제로 한 발표에서 "AI가 생성한 이미지 캡션의 맥락은 이해하기 복잡하고 어렵다"며 "이미지 캡셔닝 평가가 어려운 이유는 AI 언어 모델 자체의 문제일 수도 있고 데이터나 다른 기능 등 여러 방면에서 문제가 발생할 수 있기 때문"이라고 설명했다.
그러면서 "이런 문제는 모든 AI 연구자가 함께 풀어야 하는 문제"라면서 "더 정교한 AI 모델을 만들기 위해 더 많은 문제 제기가 필요하다"고 말했다.
잭 헤셀 미국 앨런인공지능연구소 사이언티스트도 이미지 캡셔닝의 성능을 높이려면 AI가 상식을 뛰어넘는 추론을 할 수 있도록 정교해져야 한다고 강조했다.
그는 "대규모 어휘를 학습한 모델도 전체적인 장면 이해에 필요한 요소가 상식에 맞지 않아 놓치는 경우가 많다"며 "현상을 관찰해 가장 설득력 있는 설명을 만드는 귀추법 등을 적용할 필요가 있다"고 설명했다.
shjo@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포 금지>
관련뉴스
