중국과학원 물리연구소는 소셜미디어 공식 계정을 통해 최근 개최한 물리 경시대회의 AI 테스트 결과를 지난 30일 공개하며 이렇게 밝혔다.
딥시크의 AI 모델이 벤치마크 테스트 결과 복잡한 문제 해결에서 수학·코딩에 이르기까지 미국 주요 기업들의 최신 AI 모델을 능가한 것으로 알려진 가운데, 중국 국영 연구소에서 과학 수재들이 경쟁하는 경시대회 문제를 이용해 실험을 진행한 것이다.
연구소는 이달 17일 장쑤성에서 열린 '톈무(天目)배 이론물리 경시대회'에서 출제된 문제를 AI가 풀도록 한 결과 딥시크의 최신 모델인 R1의 점수가 오픈AI의 GPT-o1을 제쳤다고 밝혔다.
연구소는 딥시크의 R1, 오픈AI의 GPT-o1, 앤스로픽의 클로드 소넷 등 3개 AI 모델이 푼 문제의 답안을 실제 경시대회 채점위원단에게 전달했다고 밝혔다.
연구소는 "AI 응답을 통해 시험 진행 방식에 대한 이해도를 확인한 후 시험을 시작했다"면서 "총 문제 7개에 대해 순차적으로 답안을 받았으며, 답안에 대해서는 중간에 어떤 피드백도 제공하지 않았다"고 설명했다.
채점 결과 140점 만점에 딥시크가 100점으로 1등을 차지했고, 다음으로 챗GPT이 97점, 클로드 소넷이 71점을 받았다.
다만 이번 대회 참가자들과 진짜 경쟁할 경우 딥시크는 3등 수준의 성적이었으며, 인간 최고점인 '125점'과는 격차가 매우 컸다.
연구소는 "이제 연구원이나 박사후연구원(Postdoc·포닥)을 뽑을 필요도 없는 걸까"라면서도 "AI의 사고 과정이 뛰어난 것은 사실이나, 기본적 실수에서 헤매는 경향이 있는 것으로 나타났다"고 지적했다.
연구소는 항목별 채점 결과를 공유하며 흥미로운 사실도 분석했다.
연구소는 "딥시크와 비교하면 챗GPT의 답안은 인간이 작성한 것과 더 유사한 스타일을 보였다"면서 "챗GPT가 증명 문제에서 상대적으로 높은 점수를 기록했다"고 분석했다.
이어 "딥시크는 '증명'의 의미를 제대로 이해하지 못했다"면서 "증명해야 할 결론을 재서술했을 뿐 증명 과정을 답안에 포함하지 않았다"고 덧붙였다.
신민경 한경닷컴 기자 radio@hankyung.com
관련뉴스