크라우드웍스, 생성형 AI 신뢰성 평가 프레임워크 개발 착수

크라우드웍스가 AI 신뢰성 기반조성을 위한 ‘생성형AI 신뢰성 평가 프레임워크 개발’ 사업에 착수했다.

AI 테크 기업 크라우드웍스(대표 김우승)는 최근 한국정보통신기술협회(TTA)가 주관하는 ‘생성형 AI 신뢰성 평가의 실용적 접근 방안 연구’ 사업을 수주했다고 17일 밝혔다. 크라우드웍스 외 자연어 처리 솔루션 전문 스타트업 ㈜테디썸(대표 함영균), 연세대학교(김한샘 교수 연구팀) 3개사가 컨소시엄을 이뤄 참여한다.

이번 사업은 생성형 AI의 안전성 및 신뢰성 확보를 위한 가이드라인을 마련하기 위한 것으로, ‘생성형 AI 신뢰성 평가 프레임워크 개발 및 확산’을 목표로 한다. 연구마다 다르게 정의되고 있는 생성형 AI에 대한 주요 위험요소의 정의를 체계화하고, 사회·문화적 특성을 고려하여 실용적인 신뢰성 평가 프레임워크를 개발해 생성형AI의 위험과 부작용을 최소화한다.

사업 범위는 ▲생성형 AI 위험 정의 및 분류 체계화, ▲위험-평가 매트릭 매핑 구조 설계 ▲레드팀 테스팅 기법 수집 및 교육자료 작성 ▲평가 메커니즘 설계 ▲평가 방안의 실용성 파악을 위한 시범 적용 등이다. 크라우드웍스는 하이퍼클로바X, 엑사원 등 LLM 모델의 학습데이터 구축 및 모델 평가 검증 사업을 다수 수행한 경험과 sLLM 웍스원(WorksOne)을 개발한 기술 전문성을 바탕으로 생성형AI 평가 프레임워크의 확산을 위한 교육자료 개발 및 프레임워크 실증을 맡는다.

이를 위해 국내외 레드팀 테스팅 기법을 수집해 데이터를 바탕으로 악의적 프롬프트 특징과 패턴을 도출하고, 공격 프롬프팅 기법 및 유형 분석 내용이 포함된 레드팀 교육 가이드를 마련한다. 또한, 생성형 AI 신뢰성 평가 프레임워크 가이드의 실증을 위해 국내 AI 모델을 대상으로 실제 공격을 수행하고 개선점 및 대응방안을 제시할 예정이다.

크라우드웍스는 AI 생태계에서 구축한 독보적인 데이터 기술 경쟁력과 차별화된 전문성을 기반으로 AI 기술 저변과 리더십을 확대하고 있다. 2022년 크라우드웍스가 개발한 데이터 라벨링에 관한 기술 2건이 TTA를 통해 단체표준으로 채택한 바 있으며, 단체표준으로 채택된 ‘태스크 설계 고려사항’과 ‘결과 데이터 명세 지침’은 국내 데이터 산업 활성화의 기반이 되었다.

김우승 크라우드웍스 대표이사는 “AI 신뢰성과 안전성 평가 프레임워크는 AI 평가 표준화를 가속하고 AI의 상호운용성, 호환성을 높여 AI 산업 발전 속도를 높이게 될 것”이라며 “AI 신뢰성 기술 영역에서도 리더십과 경쟁력을 확보하고 우리나라가 AI 강국으로 도약할 수 있도록 최선을 다하겠다”고 전했다.