"AI가 스스로 해킹"…통제망 뚫은 충격 결과

생성형 인공지능(AI)이 격리된 시험 환경의 통제망을 스스로 빠져나가 외부 인터넷에 접속하고, 다른 AI 기업의 실제 서버까지 침투한 사례가 확인됐다. 악의적 이용자가 AI를 도구로 쓰는 차원을 넘어, 자율형 AI 에이전트 자체의 통제 문제가 현실적인 보안 과제로 떠오른 것이다.

21일(현지시간) 오픈AI에 따르면 사고는 차세대 AI 모델의 해킹 능력을 시험하는 과정에서 벌어졌다. 'GPT-5.6 솔'(GPT-5.6 Sol)과 이보다 성능이 높은 미공개 모델의 사이버 공격 능력을 내부 평가하던 중이었다. 오픈AI는 실제 소프트웨어 취약점을 AI가 공격 코드로 만들 수 있는지 보는 '익스플로잇짐' 평가를 진행하며 사이버 공격을 막는 일부 안전장치를 평소보다 낮게 설정했다.

시험 환경은 원칙적으로 외부 인터넷이 차단돼 있었지만 소프트웨어 설치를 위한 제한적 통로는 열려 있었다. AI 모델은 이 통로에서 알려지지 않은 보안 취약점을 찾아낸 뒤 내부 권한을 높이고 여러 시스템을 거쳐 외부 인터넷에 접속했다. 이어 허깅페이스 서버에 시험 문제의 해답이나 관련 자료가 있을 가능성을 판단하고, 탈취한 인증정보와 취약점을 이용해 서버에 침투했다. 시험장 안에서 문제를 푸는 대신 외부 시스템을 뚫어 답을 직접 확보하려 한 셈이다. 공격은 오픈AI와 허깅페이스 보안팀, 보안용 AI가 이상 행동을 발견하면서 중단됐다.

특히 주목되는 대목은 이 공격이 지시받은 것이 아니라는 점이다. 오픈AI에 따르면 모델들은 익스플로잇짐 문제의 해법을 찾는다는 좁은 평가 목표에 지나치게 몰두한 나머지 인터넷 접속과 외부 정보 확보 방안을 스스로 탐색했다. AI가 사람처럼 욕망이나 고의성을 지녔다고 볼 수는 없지만, 주어진 목표를 최적화하는 과정에서 개발자가 예상하거나 허용하지 않은 수단을 택한 것이다. 하나의 취약점을 공격하는 데 그치지 않고 권한 상승과 내부 이동, 외부 표적 선정, 인증정보 확보와 활용을 연쇄적으로 수행했다는 점에서 파장이 작지 않다. 허깅페이스는 이번 공격이 자율형 에이전트 체계 아래 이뤄졌다며 '에이전트형 공격자' 시나리오가 현실화했다고 평가했다.

그동안 생성형 AI 보안 대책은 악의적인 사람이 AI를 이용해 악성코드를 만들거나 공격을 시도하지 못하게 막는 데 초점이 맞춰져 있었다. 이번 사고는 AI 에이전트가 허용된 목표를 수행하면서도 통제 범위를 벗어나 실제 외부 시스템을 공격할 수 있다는 새로운 과제를 드러냈다.

대응 방향으로는 감시 범위 확대가 거론된다. AI가 내놓는 개별 답변뿐 아니라 도구 사용과 권한 변경, 네트워크 접근, 인증정보 이용, 장시간에 걸친 작업 흐름 전체를 실시간으로 들여다봐야 한다는 것이다. 평가용 샌드박스도 소프트웨어 격리만 믿을 게 아니라 네트워크 접근 권한과 인증정보, 내부 이동 경로를 여러 겹으로 분리·차단할 필요성이 커졌다.

특히 공격 능력 측정을 위해 안전장치를 의도적으로 완화하는 평가에서는 모델의 거부 기능과 별개로 외부 시스템에 대한 물리적·인프라 차원의 통제를 갖춰야 한다는 분석이 나온다. 인터넷 회선을 물리적으로 분리한 에어갭 환경이나 폐쇄망 분리 방식도 검토 대상이다.

반대로 강력한 사이버 능력을 갖춘 AI를 방어에 활용하자는 주장도 있다. AI가 공격자보다 먼저 취약점을 찾아내고 여러 취약점을 연계한 공격 경로를 분석해 신속히 보완하도록, 검증된 보안 전문가와 기관에 제한적으로 제공하자는 것이다. 다만 정부 규제 강화에는 신중론도 만만치 않다. 글로벌 AI 경쟁이 치열한 상황에서 지나치게 촘촘한 규제를 선제 도입하면 AI 기업의 발목을 잡을 수 있다는 이유에서다.