국내 사용자 대상 서비스 중인 불법 포르노 사이트에선 유명 여성 가수의 딥페이크 성범죄 영상물을 찾는 데 17초가량 걸렸다. 이름을 검색하자 수십여개에 달하는 딥페이크물이 쏟아져나왔다. 이처럼 텔레그램이 아니라도 딥페이크물 유통 경로는 천차만별이라는 지적이 나온다.
이 가운데 한 영상을 틀고 얼굴이 나온 이미지를 캡처한 뒤 인공지능(AI) 보안기업 샌즈랩이 전날 시범 출시한 딥페이크 탐지 서비스 '페이크체크'에 올리자 5초 만에 '딥페이크' 판정이 나왔다. 페이크체크는 사용자가 올린 이미지의 딥페이크물 여부를 탐지하는 무료 서비스다. 이곳에 이미지를 올리면 몇 초 만에 딥페이크 여부를 판단한다.
딥페이크 여부는 AI 기반의 세 가지 탐지 모델로 각각 판정한 결과를 종합해 파악할 수 있다. 여가수 딥페이크물의 경우 두 가지 탐지 모델은 딥페이크일 확률이 90~100%라는 결과를 내놨고 나머지 한 모델은 '정상' 이미지로 분석했다. 모델마다 판정 기준에 차이가 있어 이 같은 차이가 나타난다는 설명이 뒤따랐다.
샌즈랩 측은 한 모델이라도 딥페이크일 확률이 높다는 결과를 제시하면 딥페이크물일 가능성을 의심해야 한다고 조언했다. 이미지 크기가 300픽셀일 경우 정확도는 90%를 넘는다.
별다른 인증 절차 없이 페이크체크 웹사이트에 접속하면 누구나 간편하게 딥페이크물 여부를 탐지해볼 수 있다. 동영상 탐지는 불가능하지만 대신 동영상에서 사람 얼굴이 나오는 장면을 캡처한 다음 이를 활용해 딥페이크물 여부를 확인하는 것은 가능하다. 다만 이 경우 화질이 좋은 이미지여야 판정할 수 있다.
당장은 시범 출시 단계인 만큼 보완이 필요한 대목도 있다. 스마트폰 기본 카메라 애플리케이션(앱)이 아닌 다른 앱을 이용해 촬영한 사진을 올릴 경우엔 딥페이크물로 판정되기도 한다. 이미지 크기가 작을 땐 정확도가 확연히 떨어진다. 실제로 이미지 크기가 작은 한 여성 아이돌 그룹 멤버의 딥페이크물은 페이크체크 내 세 탐지 모델 모두 딥페이크에 해당하지 않는다고 판정했다.
같은 딥페이크 성범죄 영상물에서 서로 다른 장면을 캡처한 경우엔 이미지마다 결과가 제각각이었다. 한 이미지는 두 모델이 딥페이크물이라고 판정한 반면 다른 이미지에 대해선 한 모델만이 딥페이크물로 판정했다.
이에 대해 샌즈랩 관계자는 "문제를 인지하고 있고 파인튜닝이 필요한 상황이어서 계속 이미지들을 넣고 결과에 따라 AI 탐지 모델들을 수정하고 있다"며 "초기라 버그도 수정하고 있고 AI 모델들도 학습을 시키는 단계여서 물리적 시간이 필요하다. 앞으로도 정교하게 (서비스를) 고도화해 나갈 예정"이라고 말했다.
샌즈랩은 최근 딥페이크 성범죄가 사회문제로 떠오르자 사회공헌 차원에서 무료 탐지 서비스를 제공하고 그에 따르는 클라우드 비용을 직접 부담하기로 했다.
이 서비스는 과학기술정보통신부·정보통신기획평가원 과제의 일환으로 연구 중인 생성형 AI 역기능 탐지·대응 기술 중 일부를 활용한 것이다. 과제는 샌즈랩과 LG유플러스·포티투마루·로그프레소·한국과학기술원(KAIST) 등이 컨소시엄을 꾸려 수행하고 있다. 2027년까지 딥페이크를 포함해 생성형 AI를 이용한 모든 악용 사례를 막을 체감형 플랫폼을 출시하는 게 목표다.
샌즈랩은 페이크체크 정식 출시에 맞춰 동영상 탐지 기능도 선보일 계획이다. 페이크체크가 지금보다 기능이 고도화될 경우 유료 서비스로 전환될 가능성도 있다.
김기홍 샌즈랩 대표는 "페이크체크는 딥페이크 침해 사고에 대한 대응책이 필요한 사회적 기대에 부응하기 위해 임직원들이 한마음 한뜻으로 만들어낸 실질적인 대안 확보 사례"라며 "미래 사이버 보안을 위한 AI 기술 개발로 사회에 이바지할 수 있도록 앞장서겠다"고 말했다.
김대영 한경닷컴 기자 kdy@hankyung.com
관련뉴스
