GPT-4 하위권…AI 투명성 지수 나와

미국 스탠퍼드대의 인간중심인공지능연구소(HAI)는 21일(현지시간) 주요 14개 AI 모델의 투명성 지수(FMTI)를 평가한 보고서를 발표했다.


이번에는 오픈AI의 GPT-4, 구글의 1.0 울트라, 메타의 라마2, 앤스로픽의 클라우드3, 미스트랄 7B 등 최신 AI 모델이 포함됐다.


HAI의 투명성 지수는 사회적으로 영향력 있는 AI 개발자들이 개발 과정 등을 더 많이 공개하도록 장려하기 위한 것이다.


매개변수와 훈련 방식, 데이터 공개 여부, 설명 가능성 등의 지표를 기준으로 100점 만점으로 평가했다.

평가에서 14개 모델 중 허깅페이스-서비스나우의 스타코더가 85점으로 가장 높은 점수를 받았다. 오픈AI의 GPT-4는 49점으로 11위에 그쳤다. GPT-4는 지난해 10월 지수에서는 48점이었다.

오픈AI는 최근 공개한 'GPT-4o'(포오)의 음성이 미국 유명 배우 스칼릿 조핸슨의 목소리를 모방했다는 논란에 휩싸여있다.

구글의 1.0 울트라 47점으로 12위였다. 작년 10월에는 구글의 팜2가 조사 대상에 포함됐는데 40점이었다.

앤스로픽의 클로드3(51점)는 10위를 차지했고, 마이크로소프트 파이-2(62점)는 5위, 메타 라마-2(60점)는 6위를 각각 기록했다.

조사 대상 모델의 평균 점수는 지난해 10월 37점에서 58점으로 올랐다.