고도의 문제 해결 능력이 필요한 전문직 시험에서도 인공지능(AI) 서비스가 사람의 능력을 뛰어넘고 있다. 리걸테크 기업 로앤컴퍼니는 자사의 AI 법률 비서 서비스 ‘슈퍼로이어’가 지난 1월 치러진 제14회 대한민국 변호사시험에서 74%의 정답률을 기록해 합격점을 넘겼다고 12일 밝혔다.
시험 과목인 공법과 민사법, 형사법 등 객관식 문항 150개에서 111개를 맞혀 최근 5년간 변호사시험 평균 합격 개수(103개)를 훌쩍 넘겼다. 슈퍼로이어는 작년 7월 법률가를 대상으로 출시한 생성 AI 기반 서비스다.
비영어권 국가 중 자국 언어로 AI 서비스를 활용해 변호사시험 객관식 전체 영역을 풀어 합격권에 든 것은 슈퍼로이어가 처음이다. 이전까지의 최고 성적은 로앤컴퍼니가 2023년 기록한 정답률 53.3%였다.
동일한 시험 문제를 입력해 평가한 결과 GPT-4.5는 정답률 49.3%, 앤스로픽의 최신 모델 클로드 3.7 소넷은 45.3%를 기록해 합격선에 미치지 못했다. 복잡한 법률 지식을 이해하고 실제 시험 수준의 문제를 해결하는 데 세계적인 경쟁력을 갖췄다는 평가가 나온다.
안기순 로앤컴퍼니 법률AI연구소장은 “답변 성능 고도화, 할루시네이션(환각) 현상 최소화를 위한 노력을 지속해 법률 업무 효율성을 제고하는 데 기여하겠다”며 “복잡한 법률 업무를 높은 수준으로 처리할 수 있도록 고도화된 에이전트 개발에 집중할 것”이라고 말했다.
안정훈 기자 ajh6321@hankyung.com
고도의 문제 해결 능력이 필요한 전문직 시험에서도 인공지능(AI) 서비스가 사람의 능력을 뛰어넘고 있다. 리걸테크 기업 로앤컴퍼니는 자사의 AI 법률 비서 서비스 ‘슈퍼로이어’가 지난 1월 치러진 제14회 대한민국 변호사시험에서 74%의 정답률을 기록해 합격점을 넘겼다고 12일 밝혔다.시험 과목인 공법과 민사법, 형사법 등 객관식 문항 150개에서 111개를 맞혀 최근 5년간 변호사시험 평균 합격 개수(103개)를 훌쩍 넘겼다. 슈퍼로이어는 작년 7월 법률가를 대상으로 출시한 생성 AI 기반 서비스다.
비영어권 국가 중 자국 언어로 AI 서비스를 활용해 변호사시험 객관식 전체 영역을 풀어 합격권에 든 것은 슈퍼로이어가 처음이다. 이전까지의 최고 성적은 로앤컴퍼니가 2023년 기록한 정답률 53.3%였다.
동일한 시험 문제를 입력해 평가한 결과 GPT-4.5는 정답률 49.3%, 앤스로픽의 최신 모델 클로드 3.7 소넷은 45.3%를 기록해 합격선에 미치지 못했다. 복잡한 법률 지식을 이해하고 실제 시험 수준의 문제를 해결하는 데 세계적인 경쟁력을 갖췄다는 평가가 나온다.
안기순 로앤컴퍼니 법률AI연구소장은 “답변 성능 고도화, 할루시네이션(환각) 현상 최소화를 위한 노력을 지속해 법률 업무 효율성을 제고하는 데 기여하겠다”며 “복잡한 법률 업무를 높은 수준으로 처리할 수 있도록 고도화된 에이전트 개발에 집중할 것”이라고 말했다.
안정훈 기자 ajh6321@hankyung.com
관련뉴스
