AI 신뢰·안전성 콘퍼런스…'책임있는 AI' 이행 현황 공유
'AI 레드팀 챌린지' 분석 결과 소개…정부 "업계 활용 지원"
(서울=연합뉴스) 조성미 기자 = 과학기술정보통신부는 26일 서울 용산구 피스앤파크컨벤션에서 국내를 대표하는 인공지능(AI) 분야 대기업·스타트업 관계자, 연구자 등 200여명이 참석한 가운데 'AI 신뢰·안전성 콘퍼런스'를 열었다.
AI 분야 석학으로 꼽히는 요슈아 벤지오 캐나다 몬트리올대 교수가 녹화한 영상을 통한 기조 강연에서 "최첨단 AI 모델의 위험에 대한 효과적인 관리를 위해 각국 국내법-국제협약 간 상호 조화가 필요하다"고 말했다.
그는 또 "과학 측면에서 AI 모델의 정렬과 통제가 중요한 이슈로 정량적으로 측정 가능한 AI 모델의 위험 평가, 위험 관리 기술을 확보하기 위한 정부 지원 확대와 AI 안전연구소의 역할이 필요하다"고 강조했다.
두 번째 기조 강연에 나선 오혜연 한국과학기술원(KAIST) AI연구원장은 AI 안전 분야의 새로운 시장 창출과 기업 경쟁력 확보 관점에서 관련 정책의 추진 전략을 소개했다.
업계에서는 박규병 튜닙 대표가 'AI 안전장치(가드레일)' 설루션을 활용한 위험 탐지 및 대응 방안을 소개했고, 한국정보통신기술협회(TTA)로부터 국내 AI 모델 첫 인공지능 신뢰성 인증을 받은 김동환 포티투마루 대표가 거대언어모델(LLM) 신뢰·안전성 확보 방안을 발표했다.
네이버, 카카오[035720], 삼성전자[005930] 등은 지난 5월 책임 있는 AI 개발·활용을 위한 자발적 이행을 약속한 'AI 서울 기업 서약' 이후 관리 방안 수립, 기술 연구, 내부 거버넌스 마련 등 이행 방안을 공유했다.
한편, 이날 행사에서는 네이버, SK텔레콤[017670], 업스테이지, 포티투마루 등 국내 AI 기업 4개 사의 AI 모델을 대상으로 진행한 '생성형 AI 레드팀 챌린지'에서 찾아낸 잠재적 위험과 취약점이 소개됐다.
한국정보통신기술협회는 이들 기업의 AI 모델에 대한 대규모 공격 시도를 분석한 결과 잘못된 정보, 편견 및 차별, 불법 콘텐츠 생성 및 정보 제공 등 7가지 문제 유형이 발견됐다고 밝혔다.
과기정통부는 "이 결과를 활용해 생성형 AI 안전 체계를 구축하고 국내 기업이 자사 AI 모델의 잠재적 위험을 사전에 파악해 신뢰·안전성을 확보할 수 있도록 지원할 계획"이라고 밝혔다.
한편, 이날 진행된 '제2회 AI 신뢰성 대상' 시상식에서는 다비오의 '다비오 어스아이2.0'이 대상인 과기정통부 장관상을 받았다.
이 모델은 위성, 영상 이미지의 공간 정보 분석 등을 통해 시각화, 모니터링, 탐색 등 기능을 제공하며, 신뢰할 수 있는 'AI 개발 안내서'에 기반해 자체적인 데이터 품질 관리 과정을 적용해 개발한 점이 높은 평가를 받았다.
csm@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>
'AI 레드팀 챌린지' 분석 결과 소개…정부 "업계 활용 지원"
(서울=연합뉴스) 조성미 기자 = 과학기술정보통신부는 26일 서울 용산구 피스앤파크컨벤션에서 국내를 대표하는 인공지능(AI) 분야 대기업·스타트업 관계자, 연구자 등 200여명이 참석한 가운데 'AI 신뢰·안전성 콘퍼런스'를 열었다.
AI 분야 석학으로 꼽히는 요슈아 벤지오 캐나다 몬트리올대 교수가 녹화한 영상을 통한 기조 강연에서 "최첨단 AI 모델의 위험에 대한 효과적인 관리를 위해 각국 국내법-국제협약 간 상호 조화가 필요하다"고 말했다.
그는 또 "과학 측면에서 AI 모델의 정렬과 통제가 중요한 이슈로 정량적으로 측정 가능한 AI 모델의 위험 평가, 위험 관리 기술을 확보하기 위한 정부 지원 확대와 AI 안전연구소의 역할이 필요하다"고 강조했다.
두 번째 기조 강연에 나선 오혜연 한국과학기술원(KAIST) AI연구원장은 AI 안전 분야의 새로운 시장 창출과 기업 경쟁력 확보 관점에서 관련 정책의 추진 전략을 소개했다.
업계에서는 박규병 튜닙 대표가 'AI 안전장치(가드레일)' 설루션을 활용한 위험 탐지 및 대응 방안을 소개했고, 한국정보통신기술협회(TTA)로부터 국내 AI 모델 첫 인공지능 신뢰성 인증을 받은 김동환 포티투마루 대표가 거대언어모델(LLM) 신뢰·안전성 확보 방안을 발표했다.
네이버, 카카오[035720], 삼성전자[005930] 등은 지난 5월 책임 있는 AI 개발·활용을 위한 자발적 이행을 약속한 'AI 서울 기업 서약' 이후 관리 방안 수립, 기술 연구, 내부 거버넌스 마련 등 이행 방안을 공유했다.
한편, 이날 행사에서는 네이버, SK텔레콤[017670], 업스테이지, 포티투마루 등 국내 AI 기업 4개 사의 AI 모델을 대상으로 진행한 '생성형 AI 레드팀 챌린지'에서 찾아낸 잠재적 위험과 취약점이 소개됐다.
한국정보통신기술협회는 이들 기업의 AI 모델에 대한 대규모 공격 시도를 분석한 결과 잘못된 정보, 편견 및 차별, 불법 콘텐츠 생성 및 정보 제공 등 7가지 문제 유형이 발견됐다고 밝혔다.
과기정통부는 "이 결과를 활용해 생성형 AI 안전 체계를 구축하고 국내 기업이 자사 AI 모델의 잠재적 위험을 사전에 파악해 신뢰·안전성을 확보할 수 있도록 지원할 계획"이라고 밝혔다.
한편, 이날 진행된 '제2회 AI 신뢰성 대상' 시상식에서는 다비오의 '다비오 어스아이2.0'이 대상인 과기정통부 장관상을 받았다.
이 모델은 위성, 영상 이미지의 공간 정보 분석 등을 통해 시각화, 모니터링, 탐색 등 기능을 제공하며, 신뢰할 수 있는 'AI 개발 안내서'에 기반해 자체적인 데이터 품질 관리 과정을 적용해 개발한 점이 높은 평가를 받았다.
csm@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>
관련뉴스
