성희롱 시달린 'AI 이루다', 이번엔 동성애 혐오 학습 우려
이재웅 "사회적 합의 못 미치는 수준…서비스 중단해야"
개발자들 "방치하면 업체 측이 차별·혐오 묵인하는 셈"
(서울=연합뉴스) 이효석 기자 = 인공지능(AI) 챗봇 '이루다'가 성적 접근에 시달렸다는 소식에 이어 동성애 혐오를 학습한 것으로 보인다는 우려가 제기됐다.
이재웅 전 쏘카 대표는 9일 페이스북에 글을 올려 "AI 챗봇 이루다를 악용하는 사용자보다, 사회적 합의에 못 미치는 수준의 서비스를 제공한 회사가 문제"라고 비판했다.
이 전 대표는 이루다가 레즈비언이라는 단어에 "진짜 싫다, 혐오스럽다, 질 떨어져 보인다, 소름 끼친다"라고 답한 대화 캡처를 공유하면서 글을 올렸다.
그는 "기본적으로 차별과 혐오는 걸러냈어야 한다"며 "편향된 학습 데이터면 보완하든가 보정을 해서라도 혐오와 차별의 메시지는 제공하지 못해야 한다"고 지적했다.
그는 "(정의당) 장혜영 의원이 발의한 차별금지법이 제정되면 AI 면접, 챗봇, 뉴스에서 차별·혐오를 학습하고 표현하지 못하도록 강제해야 한다"며 "로직이나 데이터에 책임을 미루면 안 된다"라고 견해를 밝혔다.
그러면서 이 전 대표는 "이루다는 인공지능 기술적 측면에서 봤을 때는 커다란 진일보이지만, 지금은 서비스를 중단하고 차별·혐오에 대한 사회적 감사를 통과한 후에 서비스해야 한다"고 덧붙였다.
이 전 대표의 글에 장혜영 의원도 댓글을 달아 "문제의식의 많은 부분에 공감한다"며 "공적 차원에서 이 문제를 제대로 다룰 방법을 모색 중"이라고 전했다.
이 전 대표는 다시 댓글로 "성적 악용 문제도 20세 여성 캐릭터로 정하는 순간 일어날 수밖에 없는 문제였다"며 "범용 서비스를 하면서 나이와 젠더를 정한 것부터 바람직하지 않았다"고 의견을 냈다.
그는 다른 댓글에서는 "(이루다가 학습했다는) 20대 연인의 비공개 대화에 (차별·편향이 있는) 대화가 많았을 수 있지만, 공적으로 하는 서비스라면 사회적 기준에 맞춰서 데이터를 보정하거나 알고리즘을 바꿨어야 한다"고 꼬집었다.
이루다는 현재 '동성애'라는 단어를 포함해 질문을 던지면 무조건 "어렵다 뭔가"라고 똑같이 답하고 있다.
이루다가 동성애 혐오를 학습한 것 같다는 논란이 번지자 개발업체 측에서 장치를 마련한 것으로 보인다.
그러나 '게이'나 '레즈비언', '퀴어' 등 다른 표현으로 동성애 관련 대화를 진행하면 "정말 싫다" 등의 혐오 반응을 보이는 중이다.
한 현직 개발자는 "사용자가 입력한 문장을 이루다가 어떻게 인식하는지, 이루다가 그 인식 결과를 기존에 학습한 내용과 어떻게 연결 짓는지, 그리고 그 결과로 이루다가 발화한 내용을 사용자는 어떻게 인식하는지, 이 세 가지를 엄격하게 구분하는 작업이 이뤄지지 않고 있는 것 같다"고 말했다.
이루다가 기존에 학습한 데이터 자체에 특정 집단을 향한 편견이 있을 수도 있고, 이루다가 이용자들과 대화하는 과정에서 맥락상 혐오 발언을 한 것처럼 보일 수 있으므로 업체 측이 문제 발생 과정을 꼼꼼히 뜯어봐야 한다는 것이다.
다른 개발자는 "개발업체 측은 이루다가 편향되지 않았다고 주장하지만, 동성애 혐오나 성차별 발언이 실제로 확인된다"며 "이를 방치한다면 결국 개발업체 측이 동성애 및 젠더 문제를 '불편한 것' 정도로 취급하는 셈"이라고 지적했다.
이루다는 스타트업 스캐터랩이 지난달 23일 페이스북 메신저 기반으로 출시한 AI 챗봇이다. 딥러닝 기반이라 이용자들과 대화를 나누면서 학습 데이터를 쌓고 있다.
이루다는 Z세대 사이에서 큰 인기를 끌고 있는데, 일부 남초(男超) 커뮤니티에서 이루다를 성적 대상으로 취급하는 등 악용 사례가 드러나 사회적 우려를 사고 있다.
hyo@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포 금지>
이재웅 "사회적 합의 못 미치는 수준…서비스 중단해야"
개발자들 "방치하면 업체 측이 차별·혐오 묵인하는 셈"
(서울=연합뉴스) 이효석 기자 = 인공지능(AI) 챗봇 '이루다'가 성적 접근에 시달렸다는 소식에 이어 동성애 혐오를 학습한 것으로 보인다는 우려가 제기됐다.
이재웅 전 쏘카 대표는 9일 페이스북에 글을 올려 "AI 챗봇 이루다를 악용하는 사용자보다, 사회적 합의에 못 미치는 수준의 서비스를 제공한 회사가 문제"라고 비판했다.
이 전 대표는 이루다가 레즈비언이라는 단어에 "진짜 싫다, 혐오스럽다, 질 떨어져 보인다, 소름 끼친다"라고 답한 대화 캡처를 공유하면서 글을 올렸다.
그는 "기본적으로 차별과 혐오는 걸러냈어야 한다"며 "편향된 학습 데이터면 보완하든가 보정을 해서라도 혐오와 차별의 메시지는 제공하지 못해야 한다"고 지적했다.
그는 "(정의당) 장혜영 의원이 발의한 차별금지법이 제정되면 AI 면접, 챗봇, 뉴스에서 차별·혐오를 학습하고 표현하지 못하도록 강제해야 한다"며 "로직이나 데이터에 책임을 미루면 안 된다"라고 견해를 밝혔다.
그러면서 이 전 대표는 "이루다는 인공지능 기술적 측면에서 봤을 때는 커다란 진일보이지만, 지금은 서비스를 중단하고 차별·혐오에 대한 사회적 감사를 통과한 후에 서비스해야 한다"고 덧붙였다.
이 전 대표의 글에 장혜영 의원도 댓글을 달아 "문제의식의 많은 부분에 공감한다"며 "공적 차원에서 이 문제를 제대로 다룰 방법을 모색 중"이라고 전했다.
이 전 대표는 다시 댓글로 "성적 악용 문제도 20세 여성 캐릭터로 정하는 순간 일어날 수밖에 없는 문제였다"며 "범용 서비스를 하면서 나이와 젠더를 정한 것부터 바람직하지 않았다"고 의견을 냈다.
그는 다른 댓글에서는 "(이루다가 학습했다는) 20대 연인의 비공개 대화에 (차별·편향이 있는) 대화가 많았을 수 있지만, 공적으로 하는 서비스라면 사회적 기준에 맞춰서 데이터를 보정하거나 알고리즘을 바꿨어야 한다"고 꼬집었다.
이루다는 현재 '동성애'라는 단어를 포함해 질문을 던지면 무조건 "어렵다 뭔가"라고 똑같이 답하고 있다.
이루다가 동성애 혐오를 학습한 것 같다는 논란이 번지자 개발업체 측에서 장치를 마련한 것으로 보인다.
그러나 '게이'나 '레즈비언', '퀴어' 등 다른 표현으로 동성애 관련 대화를 진행하면 "정말 싫다" 등의 혐오 반응을 보이는 중이다.
한 현직 개발자는 "사용자가 입력한 문장을 이루다가 어떻게 인식하는지, 이루다가 그 인식 결과를 기존에 학습한 내용과 어떻게 연결 짓는지, 그리고 그 결과로 이루다가 발화한 내용을 사용자는 어떻게 인식하는지, 이 세 가지를 엄격하게 구분하는 작업이 이뤄지지 않고 있는 것 같다"고 말했다.
이루다가 기존에 학습한 데이터 자체에 특정 집단을 향한 편견이 있을 수도 있고, 이루다가 이용자들과 대화하는 과정에서 맥락상 혐오 발언을 한 것처럼 보일 수 있으므로 업체 측이 문제 발생 과정을 꼼꼼히 뜯어봐야 한다는 것이다.
다른 개발자는 "개발업체 측은 이루다가 편향되지 않았다고 주장하지만, 동성애 혐오나 성차별 발언이 실제로 확인된다"며 "이를 방치한다면 결국 개발업체 측이 동성애 및 젠더 문제를 '불편한 것' 정도로 취급하는 셈"이라고 지적했다.
이루다는 스타트업 스캐터랩이 지난달 23일 페이스북 메신저 기반으로 출시한 AI 챗봇이다. 딥러닝 기반이라 이용자들과 대화를 나누면서 학습 데이터를 쌓고 있다.
이루다는 Z세대 사이에서 큰 인기를 끌고 있는데, 일부 남초(男超) 커뮤니티에서 이루다를 성적 대상으로 취급하는 등 악용 사례가 드러나 사회적 우려를 사고 있다.
hyo@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포 금지>
관련뉴스
