인공지능(AI) 모니터링 해외 웹사이트 ‘트래킹 AI’(Tracking AI)가 매주 업데이트하는 AI 모델 대상 IQ 테스트가 화제다.
트래킹 AI는 17개의 텍스트 기반 AI 모델과 6개의 비전 기반 AI 모델을 대상으로 멘사 노르웨이 테스트와 오프라인 테스트를 진행하여 IQ를 측정했다. 멘사 노르웨이 테스트는 멘사에서 제작한 온라인 IQ 테스트이고 오프라인 테스트는 트래킹 AI가 직접 제작해 AI가 학습한 경험이 없는 문제로 구성되어 있다.
두 가지 테스트 종합 1등을 차지한 AI 모델은 구글의 제미나이 2.5 프로였다. 멘사 노르웨이 테스트에서 인간의 ‘매우 우수한’ 지능 수준으로 평가되는 IQ 128점을, 오프라인 테스트에선 115를 기록했다.
오프라인 테스트에서 특히 강세를 보인 모델은 앤트로픽의 클로드 3.7 소넷 익스텐디드로 107점을 기록했다.
전체 순위를 놓고 봤을 때 상위 10개 모델 중 6개는 오픈 AI의 모델이었다. o1 프로, o3 미니, o1, o3 미니하이, o1 프로(비전), GPT 4.5 프리뷰 모델이 모두 상위권을 차지했다. 앤트로픽은 클로드 3.7 소넷 익스텐디드와 클로드 3.7(비전) 모델이 각각 3위와 10위에 오르며 선방했다.
전세계 파장을 일으킨 딥시크의 R1, V3 모델은 각각 15위와 17위에 머물렀고 xAI의 그록3 씽크와 그록-3는 각각 12위, 18위에 올랐다. 메타는 라마 4 메버릭이 9위, 라마 3-2는 하위권에 올랐다.
그러나 IQ가 AI의 성능을 평가하는 기준이라고 볼 수는 없다. 영국 옥스퍼드대학의 기술 및 규제 연구자 산드라 왁터는 ‘인간과 AI를 같은 척도로 비교해선 안된다’며 ‘자동차는 인간보다 빠르고 잠수함은 잠수능력이 더 뛰어나지만 이것이 인간 지능을 능가한다는 것을 의미하지는 않는다’고 비판했다.
IQ 테스트 방식 자체에 대한 비판도 있었다. 킹스 칼리지 AI 전문 연구원 마이크 쿡은 ‘IQ 테스트는 매우 유사한 패턴을 반복하는 경향이 있다’며 그 패턴만 학습하면 되는 AI가 인간과 같은 기준으로 평가될 수 없다고 비판했다.
AI를 평가하는 별도의 기준이 필요하다는 목소리가 나오고 있다. AI 연구소 ‘AI 나우 인스티튜트’의 수석 과학자 하이디 클라프는 “기계 학습 모델의 성능을 인간 지능과 직접 비교하는 것은 비논리적”이라며 “AI를 평가하기 위한 별도의 척도를 마련해야 한다”고 말했다.
조수아 인턴기자 joshua@hankyung.com
관련뉴스
