심사위원들 "인공지능 번역 문장, 90%가 어법 틀렸다"
세종대 '인간 vs AI' 번역 대결 심사평
(서울=연합뉴스) 김태균 기자 = 인공지능(AI) 번역기의 외국어 번역 실력은 아직 '낙제점' 수준이라는 것이 21일 서울 세종대에서 열린 '인간 vs 인공지능' 번역대결의 심사위원을 맡은 국내 통번역 전문가들의 총평이다.
한국외대 통번역대학원의 곽중철 교수와 현업 번역가 2명은 이날 대결에 참가한 3개 AI 번역기가 내놓은 번역을 채점하고 이를 전문 번역가의 번역과 비교했다.
대결에 참여한 AI 번역기는 네이버 파파고, 구글 번역기, 그리고 세계 1위 기계번역 기술업체 시스트란(Systran)의 번역기였다. 이들은 수필·방송뉴스(비문학)와 소설(문학)에서 발췌한 수백 단어 분량의 구절을 한국어와 영어로 옮겼다.
3개 서비스의 채점 결과는 모두 전문 번역가의 실력에 크게 못 미쳤다.
특히 성적이 나빴던 2개 서비스는 전체 문장 중 각각 90%와 85∼90%가 어법에 안 맞는 비문이라는 혹평을 받았다. '어법에 맞는 형태로 어순 재구성을 못 하고 원문의 단어 순서대로 나열', '고유명사와 일반명사를 분간 못 함', '원문의 단어를 한글 독음 그대로 풀어서 씀', '전후 맥락 파악을 전혀 못 함' 등 지적도 나왔다.
대충 원문의 뜻이 전달되는 정도 수준일 수는 있으나, 사람의 매끄러운 번역 실력과는 비교 자체가 어려울 정도로 수준이 낮다는 뜻이다.
3개 서비스 중 최고점을 받은 AI 번역기도 방송뉴스는 무난하게 옮겼으나 문학 부문에서 크게 고전했다. 심층적인 텍스트 이해력이 부족했던 탓이다.
주어의 성(性)을 혼동하는가 하면 문맥의 심층적 의미를 제대로 옮기지 못했으며 복잡한 문장에서는 번역 오류가 나왔다.
주최 측은 3개 서비스의 평을 공개하면서도 각 서비스 이름은 익명으로 처리했다. 그나마 우수했던 AI 서비스가 무엇인지에 관한 취재진의 질문에도 '공개하지 않기로 했다'며 함구했다.
이번 대결에서 인간 대표로는 경력 5년 이상에 통역대학원을 졸업한 번역가 4명이 참여했다.
심사위원들은 인간 대표들의 번역 결과에 대해 '글의 흐름이 매끄럽다', '한국어 번역에서 푸석푸석·방울방울 등 적절한 의태어를 써서 전달력이 좋음', '일부 어색한 대목이 있지만, 전체적으로 완성도가 있었음' 등 평가를 내렸다.
인간 번역사 4명은 한·영 번역에서 30점 만점에 평균 24점, 영·한 번역에서 30점 만점에 평균 25점 등 총 49점을 받았다.
반면 AI는 가장 점수가 좋았던 서비스가 한·영 13점, 영·한 15점으로 총점이 28점에 불과했다.
다른 AI의 총점은 각각 15점과 17점으로 사람 점수의 절반에도 못 미쳤다.
심사위원장을 맡은 곽 교수는 "작년 알파고와 이세돌 9단의 바둑 대결에서는 AI가 인간 최고의 바둑 챔피언과 맞붙었다"며 "이번 행사에서도 이세돌·알파고 대국때와 비교하긴 어렵지만 최소한 아마추어가 아닌 프로 번역가를 섭외해 실력을 비교했다"고 설명했다.
곽 교수는 "텍스트를 깊게 이해하는 능력은 아직 기계가 사람을 따라가지 못한다는 사실을 실감했다"며 "사람은 번역하고 나서 계속 검토해 '셀프 교정'을 하는데 AI는 그렇게 하지 못하는 점도 차이가 벌어진 이유인 것 같다"고 말했다.
tae@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포 금지>
세종대 '인간 vs AI' 번역 대결 심사평
(서울=연합뉴스) 김태균 기자 = 인공지능(AI) 번역기의 외국어 번역 실력은 아직 '낙제점' 수준이라는 것이 21일 서울 세종대에서 열린 '인간 vs 인공지능' 번역대결의 심사위원을 맡은 국내 통번역 전문가들의 총평이다.
한국외대 통번역대학원의 곽중철 교수와 현업 번역가 2명은 이날 대결에 참가한 3개 AI 번역기가 내놓은 번역을 채점하고 이를 전문 번역가의 번역과 비교했다.
대결에 참여한 AI 번역기는 네이버 파파고, 구글 번역기, 그리고 세계 1위 기계번역 기술업체 시스트란(Systran)의 번역기였다. 이들은 수필·방송뉴스(비문학)와 소설(문학)에서 발췌한 수백 단어 분량의 구절을 한국어와 영어로 옮겼다.
3개 서비스의 채점 결과는 모두 전문 번역가의 실력에 크게 못 미쳤다.
특히 성적이 나빴던 2개 서비스는 전체 문장 중 각각 90%와 85∼90%가 어법에 안 맞는 비문이라는 혹평을 받았다. '어법에 맞는 형태로 어순 재구성을 못 하고 원문의 단어 순서대로 나열', '고유명사와 일반명사를 분간 못 함', '원문의 단어를 한글 독음 그대로 풀어서 씀', '전후 맥락 파악을 전혀 못 함' 등 지적도 나왔다.
대충 원문의 뜻이 전달되는 정도 수준일 수는 있으나, 사람의 매끄러운 번역 실력과는 비교 자체가 어려울 정도로 수준이 낮다는 뜻이다.
3개 서비스 중 최고점을 받은 AI 번역기도 방송뉴스는 무난하게 옮겼으나 문학 부문에서 크게 고전했다. 심층적인 텍스트 이해력이 부족했던 탓이다.
주어의 성(性)을 혼동하는가 하면 문맥의 심층적 의미를 제대로 옮기지 못했으며 복잡한 문장에서는 번역 오류가 나왔다.
주최 측은 3개 서비스의 평을 공개하면서도 각 서비스 이름은 익명으로 처리했다. 그나마 우수했던 AI 서비스가 무엇인지에 관한 취재진의 질문에도 '공개하지 않기로 했다'며 함구했다.
이번 대결에서 인간 대표로는 경력 5년 이상에 통역대학원을 졸업한 번역가 4명이 참여했다.
심사위원들은 인간 대표들의 번역 결과에 대해 '글의 흐름이 매끄럽다', '한국어 번역에서 푸석푸석·방울방울 등 적절한 의태어를 써서 전달력이 좋음', '일부 어색한 대목이 있지만, 전체적으로 완성도가 있었음' 등 평가를 내렸다.
인간 번역사 4명은 한·영 번역에서 30점 만점에 평균 24점, 영·한 번역에서 30점 만점에 평균 25점 등 총 49점을 받았다.
반면 AI는 가장 점수가 좋았던 서비스가 한·영 13점, 영·한 15점으로 총점이 28점에 불과했다.
다른 AI의 총점은 각각 15점과 17점으로 사람 점수의 절반에도 못 미쳤다.
심사위원장을 맡은 곽 교수는 "작년 알파고와 이세돌 9단의 바둑 대결에서는 AI가 인간 최고의 바둑 챔피언과 맞붙었다"며 "이번 행사에서도 이세돌·알파고 대국때와 비교하긴 어렵지만 최소한 아마추어가 아닌 프로 번역가를 섭외해 실력을 비교했다"고 설명했다.
곽 교수는 "텍스트를 깊게 이해하는 능력은 아직 기계가 사람을 따라가지 못한다는 사실을 실감했다"며 "사람은 번역하고 나서 계속 검토해 '셀프 교정'을 하는데 AI는 그렇게 하지 못하는 점도 차이가 벌어진 이유인 것 같다"고 말했다.
tae@yna.co.kr
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포 금지>
관련뉴스
