학술지 영향력과 개별 논문 가치는 아무런 상관관계 없는데
SCI에 이어 영향력 지수(IF)란 정량적 평가에만 집착해
신뢰 부족에서 비롯되는 맹목적 평가 관행 타파해야
김도연 < 포스텍 총장 >
모든 것이 정량화되고 그로부터 얻어진 숫자에 따라 랭킹이 매겨지는 세상이다. 이는 대학 사회에서도 마찬가지여서 많은 언론사가 경쟁적으로 각 대학 순위를 발표하고 있는데, 이런 평가는 대부분 정량화가 가능한 연구 성과에 기초를 둔 것일 뿐이다. 대학의 가장 중요한 존재 가치인 교육은 학생에 대한 관심과 사랑이 최우선이며, 이는 결코 정량화할 수 없기 때문에 연구형(硏究型)이 아닌 대학들에 순위를 매겨 줄을 세우는 일은 의미도 없고 바람직하지도 않다.
그런데 연구 성과를 정량적으로 따지는 것도 실은 대단히 어려운 일이다. 열 편의 평범한 논문보다 한 편의 주옥 같은 논문이 훨씬 더 큰 가치를 지닌다는 원론에는 누구나 동의하지만, 그런 판단은 정성적이며 주관적일 수밖에 없다. 가치의 정량화를 위해서라면, 발표된 논문이 예를 들어 지난 10년간 다른 학자들에게 몇 번이나 인용됐는가를 헤아리는 것 정도가 의미가 있겠다. 하지만 이것도 절대적인 것은 아니며 또 그렇게 긴 시간을 기다릴 수 없는 것도 현실이다.
이공계의 경우 과학기술논문 인용색인(SCI : science citation index)에 포함되는 학술지 논문에 대해서는 피인용이 정확히 추적되는데, 이는 결국 SCI에 들어가야 세계 무대에서 학술지로 인정된다는 의미다. 따라서 SCI급 논문 발표는 한때 우리 사회에서 교수나 연구자의 능력을 가늠하는 지표였다. 실제로 “만물을 창조한 신(神)이 신임 교수 임용에 응했으나 대한민국 대학에서는 SCI 논문이 없다는 이유로 불합격시켰다”는 농담도 있었다. SCI에는 모두 1만3000여 개 학술지가 있는데 여기에 우리 학술지는 고작 80여 개뿐이다.
최근 들어 우리 사회는 연구 성과로 SCI 논문 건수를 헤아리는 수준에선 벗어나고 있는 것 같다. 그러나 학술지의 영향력 지수(IF : impact factor)란 또 다른 숫자에 매달리는 것은 마찬가지다. 이는 해당 학술지에 실린 논문이 지난 2년간 평균적으로 몇 번씩 인용됐는가를 나타낸 것인데, 잘 알려진 과학전문 학술지인 네이처나 사이언스의 IF는 40에 이른다.
반면 한국물리학회지는 0.5, 그리고 일본물리학회지는 1.5, 미국 물리학회 학술지는 8.0이다. 이는 한국과 일본의 연구 수준이 낮기 때문이 아니라 두 나라의 연구자들도 좋은 연구 성과는 모두 IF가 높은 학술지에 보내기 때문이다. 현대 사회의 다른 모든 분야와 마찬가지로 학술지들도 부익부 빈익빈이 심화되고 있는 것이 어쩔 수 없는 현실이다.
우리 사회에서는 네이처나 사이언스에 논문을 게재하면 일반 언론도 이를 뉴스로 삼아 크게 보도할 만큼 빼어난 연구 성과로 인정하지만, IF에 기초한 평가도 실은 모순이 대단히 많다고 할 수 있다. 우선 네이처나 사이언스는 학술단체가 아니라 수익을 목표로 하는 기관에서 발행하는 잡지이기 때문에 이들은 논문 게재 심사에 학문적 수월성과 더불어 일반 독자가 얼마나 흥미를 보일 것인가에 큰 비중을 두고 있다. 예를 들면 ‘오래 숙성된 된장 맛’에 대한 연구보다는 ‘하루 만에 된장 만드는 법’을 연구한 논문이 선호되고 있으며, 이에 따라 논문의 형식 자체도 전통적인 학술지와는 사뭇 다르다.
학술지 자체의 영향력과 개별 논문 가치 사이에 아무런 상관관계가 없다는 것은 너무나 당연하다. 그럼에도 불구하고 IF가 높은 학술지에 게재된 논문이라면 이를 무조건 우수하게 평가하는 일은 합리적이지 않다. 잠복기가 필요한 의미 있는 논문은 각 분야의 전문학술지에 훨씬 많으며 이들은 더욱 소중한 가치를 지닌다. 결국 연구 성과에 대한 판단은 정성적이고 주관적일 수밖에 없는데, 부족한 서로 간의 신뢰 때문에 아직도 이런 숫자에만 의존하고 있는 현실이 안타깝다.
어쨌든 이제는 IF에 의한 연구 성과 평가도 넘어서야 한다. 그리고 많은 기관에서 시행한, 혹은 지금도 시행하고 있는, 네이처나 사이언스에 논문을 게재하면 제법 큰 포상금을 주는 일도 없어져야 한다. 합리성을 추구하는 과학기술 분야에서 이런 일은 대단히 민망스럽다.
김도연 < 포스텍 총장 dohyeonkim@postech.ac.kr >
SCI에 이어 영향력 지수(IF)란 정량적 평가에만 집착해
신뢰 부족에서 비롯되는 맹목적 평가 관행 타파해야
김도연 < 포스텍 총장 >
모든 것이 정량화되고 그로부터 얻어진 숫자에 따라 랭킹이 매겨지는 세상이다. 이는 대학 사회에서도 마찬가지여서 많은 언론사가 경쟁적으로 각 대학 순위를 발표하고 있는데, 이런 평가는 대부분 정량화가 가능한 연구 성과에 기초를 둔 것일 뿐이다. 대학의 가장 중요한 존재 가치인 교육은 학생에 대한 관심과 사랑이 최우선이며, 이는 결코 정량화할 수 없기 때문에 연구형(硏究型)이 아닌 대학들에 순위를 매겨 줄을 세우는 일은 의미도 없고 바람직하지도 않다.그런데 연구 성과를 정량적으로 따지는 것도 실은 대단히 어려운 일이다. 열 편의 평범한 논문보다 한 편의 주옥 같은 논문이 훨씬 더 큰 가치를 지닌다는 원론에는 누구나 동의하지만, 그런 판단은 정성적이며 주관적일 수밖에 없다. 가치의 정량화를 위해서라면, 발표된 논문이 예를 들어 지난 10년간 다른 학자들에게 몇 번이나 인용됐는가를 헤아리는 것 정도가 의미가 있겠다. 하지만 이것도 절대적인 것은 아니며 또 그렇게 긴 시간을 기다릴 수 없는 것도 현실이다.
이공계의 경우 과학기술논문 인용색인(SCI : science citation index)에 포함되는 학술지 논문에 대해서는 피인용이 정확히 추적되는데, 이는 결국 SCI에 들어가야 세계 무대에서 학술지로 인정된다는 의미다. 따라서 SCI급 논문 발표는 한때 우리 사회에서 교수나 연구자의 능력을 가늠하는 지표였다. 실제로 “만물을 창조한 신(神)이 신임 교수 임용에 응했으나 대한민국 대학에서는 SCI 논문이 없다는 이유로 불합격시켰다”는 농담도 있었다. SCI에는 모두 1만3000여 개 학술지가 있는데 여기에 우리 학술지는 고작 80여 개뿐이다.
최근 들어 우리 사회는 연구 성과로 SCI 논문 건수를 헤아리는 수준에선 벗어나고 있는 것 같다. 그러나 학술지의 영향력 지수(IF : impact factor)란 또 다른 숫자에 매달리는 것은 마찬가지다. 이는 해당 학술지에 실린 논문이 지난 2년간 평균적으로 몇 번씩 인용됐는가를 나타낸 것인데, 잘 알려진 과학전문 학술지인 네이처나 사이언스의 IF는 40에 이른다.
반면 한국물리학회지는 0.5, 그리고 일본물리학회지는 1.5, 미국 물리학회 학술지는 8.0이다. 이는 한국과 일본의 연구 수준이 낮기 때문이 아니라 두 나라의 연구자들도 좋은 연구 성과는 모두 IF가 높은 학술지에 보내기 때문이다. 현대 사회의 다른 모든 분야와 마찬가지로 학술지들도 부익부 빈익빈이 심화되고 있는 것이 어쩔 수 없는 현실이다.
우리 사회에서는 네이처나 사이언스에 논문을 게재하면 일반 언론도 이를 뉴스로 삼아 크게 보도할 만큼 빼어난 연구 성과로 인정하지만, IF에 기초한 평가도 실은 모순이 대단히 많다고 할 수 있다. 우선 네이처나 사이언스는 학술단체가 아니라 수익을 목표로 하는 기관에서 발행하는 잡지이기 때문에 이들은 논문 게재 심사에 학문적 수월성과 더불어 일반 독자가 얼마나 흥미를 보일 것인가에 큰 비중을 두고 있다. 예를 들면 ‘오래 숙성된 된장 맛’에 대한 연구보다는 ‘하루 만에 된장 만드는 법’을 연구한 논문이 선호되고 있으며, 이에 따라 논문의 형식 자체도 전통적인 학술지와는 사뭇 다르다.
학술지 자체의 영향력과 개별 논문 가치 사이에 아무런 상관관계가 없다는 것은 너무나 당연하다. 그럼에도 불구하고 IF가 높은 학술지에 게재된 논문이라면 이를 무조건 우수하게 평가하는 일은 합리적이지 않다. 잠복기가 필요한 의미 있는 논문은 각 분야의 전문학술지에 훨씬 많으며 이들은 더욱 소중한 가치를 지닌다. 결국 연구 성과에 대한 판단은 정성적이고 주관적일 수밖에 없는데, 부족한 서로 간의 신뢰 때문에 아직도 이런 숫자에만 의존하고 있는 현실이 안타깝다.
어쨌든 이제는 IF에 의한 연구 성과 평가도 넘어서야 한다. 그리고 많은 기관에서 시행한, 혹은 지금도 시행하고 있는, 네이처나 사이언스에 논문을 게재하면 제법 큰 포상금을 주는 일도 없어져야 한다. 합리성을 추구하는 과학기술 분야에서 이런 일은 대단히 민망스럽다.
김도연 < 포스텍 총장 dohyeonkim@postech.ac.kr >
관련뉴스
