"가상훈련 중 AI가 통제관을 살해했다"…엄청난 뉴스의 실체 [긱스]

이 기사는 프리미엄 스타트업 미디어 플랫폼 한경 긱스에 게재된 기사입니다.

지난 주말, 엄청난 뉴스가 유수 언론을 흔들었다. 아놀드 슈왈제네거가 주연한 영화 ‘터미네이터’에서 나오는 AI(인공지능) 스카이보그를 연상시키는 실험 결과가 실제로 일어났다는 것이었다. 마치 영화 스토리처럼, AI가 인간의 명령을 무시하고 독단적으로 군사작전을 행동하는 시나리오가 실제로 일어났다는 실험 결과를 미국 공군의 터커 해밀턴 공군 대령이 발표했다는 내용이 문제가 됐다. 발표는 지난달 23일부터 24까지 열린 ‘The Royal Aeronautical Society’라는 단체에서 주최한 ‘Future Combat Air & Space Capabilities Summit’이라는 행사에서 나온 것이다.

AI 살해 사건, 두려움이 부른 ‘해프닝’

이 내용이 사실이라면, 영화에서나 보던 스카이보그의 능력을 갖춘 AI가 미 공군에서 실제 컴퓨터 실험으로 처음 확인되었다는 정말 충격적인 뉴스다. 문제는 이런 컴퓨터 시뮬레이션 실험이 실제로 일어나지 않았을뿐더러, 미 공군은 이런 위험하고 무책임한 AI를 개발하고 있지 않다는 점이다. 결국 해밀턴 대령은 자신의 발표가 ‘머릿속으로 상상한’ 시나리오를 설명한 것이 과장되고 왜곡되어 오해를 불러일으켰다고 정정 기사를 통해 바로잡았다.

하지만 정정 기사가 나갔음에도, 원문 기사는 한국을 포함한 전 세계적 언론들을 통해 여과 없이 노출됐다. 이는 많은 사람에게 AI에 대한 불필요한 공포를 심어주는 데 성공한 듯하여 안타깝고 착잡하다. 미국 국방부 방위고등연구계획국(DARPA)과 미국 공군 연구개발 과제를 통해 살상용 무인기와 전투기 그리고 미래의 스마트 무기체계에 신뢰기반 AI를 개발하고 공급하는 회사의 대표로서, 이 해프닝에 대해 몇 가지 중요한 점을 지적하고자 한다.

첫째, 오픈AI의 챗 GPT에서 발발된 AI 능력에 대한 과대평가가 자연어 분야에서 이제는 전 분야로 급속도로 퍼지는 현상이 확인됐다. 내용 자체가 충격적이다 보니 영어권 언론 포함하여 전 세계적으로 이 내용을 전문가 확인 없이 퍼뜨린 점은 우리가 그만큼 AI의 초인간 능력을 얼마나 두려워하는지를 알 수 있다.

둘째, 공군 관계자 한 사람의 해프닝으로 일단락되는 상황이기는 하지만, 이 관계자의 의도는 이런 실험이 존재했다는 것이 아니라 AI를 잘못 제작·디자인·구현하면 이런 무책임하고 위험한 AI가 충분히 만들어질 수 있음을 경고하는 것이었다. 윤리와 신뢰기반의 AI 기술개발은 자연어나 이미지 데이터 분석 분야에 비해, 살상용에 쓰일 수 있는 무기체계나 자율주행·자율비행에서 더 필요하고 어렵다. 한 번의 실수가 피할 수 있는 대량살상으로 이어질 수 있기 때문이다.

갈길 먼 국방 AI…철저한 ‘팩트체크’ 필요

셋째, 아마도 가장 중요한 교훈이라면 해밀턴 대령이 발표했던 ‘인간의 명령을 거역하고 명령자를 살상하는 AI’의 예시는 심층신경망 강화학습(Deep Reinforcement Learning)이라는 실제 기술을 통해 구현 자체는 가능하기는 하지만, 실제로 쓰이기에는 너무 위험천만하다는 점이다. 일단 기술적으로 구현이 가능하다는 관점에서 인간으로서 충분히 이런 능력을 두려워할 수는 있다. 하지만 간과하지 말아야 할 점은, 완벽하게 제어가 불가능한 AI 기술은 우리 적에게도 도움이 되지 않는다는 것이다.

우리도 해밀턴 대령과 같은 상상의 나래를 펼쳐, 이렇게 무책임하고 제어가 안 되는 AI를 중국이나 북한 같은 적대 국가에서 만들었다고 가정해보자. 그랬을 때 AI가 자신을 개발한 중국이나 러시아, 북한 같은 나라들이 인류에게 해가 된다고 스스로 판단해 그들의 명령을 따르지 않고 그들의 무기 체계나 국가를 파괴시킬 수도 있다.

마지막으로 이런 기사를 쓰시는 언론에 부탁하고 싶다. 이렇게 충격적이고 자극적인 내용일수록 전문가에 확인 후에 기사화하였으면 좋겠다. 이 경우는 영미권 언론사인 비즈니스 인사이더와 블로거 등이 먼저 발표 내용을 있는 그대로 기사화하고, 이를 한국 및 전 세계 언론들이 여과 없이 퍼뜨린 경우에 해당한다. AI 전문가 한두 명에게만 물어봤어도 아마 반론이나 이견이 바로 나왔을 상황이다. 이번 해프닝의 결론은, 신뢰와 윤리 기반의 AI 기술은 국방에서 더없이 필요한 분야이지만 아직 갈 길이 멀다는 점이다. 챗 GPT의 어이없는 실수를 보면 더더욱 그렇다. 특히 군 무기체계에 필요하고, 현재 진행 중인 기술개발은 초거대 모델과는 상당히 다른 방향으로 가야 함을 인지할 수 있다.

류봉균 | EpiSys Science 대표

△미국 콜럼비아대 전자공학 박사
△세이프가드AI 창업자
△보잉 팀장, 수석연구원, 및 개발책임자