사회적 조사방법론을 공부하는 과정에서 지루하지만 실제적으로 매우 중요한 부분이 측정 오차를 줄이는 것에 관한 것이다. 객관적이고도 정확한 측정치를 구해야만 실체적 진실에 접근할 수 있다. 그러기 위해서는 측정도구가 정확해야 하고 측정단위가 통일되어 있어야 하겠다. 현대에는 미세한 영역을 측정해야 하거나, 심리적 또는 사회적 현상을 측정해야 하는 등의 복잡한 문제를 피할 수 없게 되었다. 물리적으로 식별이 어렵지만 실제로 존재하는 개념을 측정하고 사회의 다른 요인들과 상관관계를 파악하고 더 나아가서 예측의 단계로 가는 과정에서 과학적인 기준과 절차가 표준처럼 쓰이고 있다.어느 틈인가 사람들은 표준오차 플러스 마이너스 1.2%라든지 유의수준 5%라는 이야기를 수없이 반복해서 듣고 있지만, 그것이 의미하는 바는 잘 모를 수 있다. 실제로 누군가가 데이터를 검증해서 확인을 하는 지도 알 수 없다. 유의수준 5%라는 말은 1920년대의 통계학자인 로널드 피셔가 주장한 것으로, 연구결과를 통계적으로 유의미한 것으로 간주하는 기준으로 마구 사용되어 왔다. 하지만 과학자들이 사용하는 이러한 애매한 기준은 사회적으로는 혼란을 가져올 수도 있거니와 과학계 자체에도 부정적인 측면을 드러내고 있다.
과학의 잘못된 관행을 꼬집는 심리학자인 스튜어트 리치는 최근 저서인 사이언스 픽션(2020)에서 다양한 사례로 과학계의 치부를 들춰내고 있다. 과학자들이 연구의 궁극적인 목적보다는 통계적으로 유의한 결과를 얻는 것을 목표로 하고 있어서 일단 결과를 발표할 수 있는 수준에 이르면 더 이상의 연구로 진행하지 않는다는 것이다. 대부분의 연구 논문들에서 근거로 사용한 유의수준이 5% 근방에 몰려 있는 것이 그러한 방증이다. 이러한 추세를 부추기는 데는 논문을 출간하는 저널들의 책임도 무관하지 않다. 저명한 저널일수록 그럴듯한 논문만을 다루려고 하기 때문에 통계적으로는 유의하지 않지만 중요한 실패사례 같은 지식은 다루지 않는다. 이러한 경향을 ‘출판편향’이라고 한다. 이러한 출판편향은 상당수의 의미 있는 논문을 서랍속에서 잠자게 만든다.
또 하나의 현상은 유의수준 해킹이라고 불린다. 말이 그럴듯하지만 조금 세속적인 말로 바꾸어 본다면 논문조작이라고 할 수 있겠다. 조작된 논문에서 행해진 실험은 재현이 불가능하다. 데이터가 인위적으로 만들어진 것이기 때문이다. 그러나 조작된 논문일수록 멋진 결과를 만들어낼 수 있고, 결과적으로 출판편향을 가진 저널들의 입맛을 자극하기 마련이다. 이런 분야의 불명예 1위는 일본의 마취과 의사인 후지이 요시타카이다. 그는 총 187회의 논문 철회 기록을 보유하고 있다. 너무 완벽한 데이터를 제시했지만 여러 논문에서 동일한 데이터를 사용한 것이 발각되고 조작으로 드러났다. 잘못된 데이터는 당사자의 문제로만 끝나는 것이 아니라 수많은 다른 논문에 인용되는 파급이 있기 때문에 과학계의 정직성은 두텁게 강화해야 한다. 한국의 황우석 교수의 연구 사례도 주요 사례로 언급되고 있는데, 한국의 과학계가 예방주사를 맞은 것이라 생각한다.
연구를 진행하고 있는 과학자들의 입장에서는 프로젝트 자금도 모아야 하고 연구 실적도 쌓아야 하고 학위도 받아야 하니, 유의수준을 언어적 유희로 회피하려는 시도들도 나타나고 있다. “유의함에 근접하는 추세”나 “완벽하게 유의미하지는 않지만 매우 가능성이 높은” 등등의 문구가 학술지에 등장한다는 것은 연구자들의 강한 열망의 표현일 것이다. 유의수준 5%의 기준은 편의적이지만 절대적인 것은 아닌 데도 과학자들이 절절 매고 있는 것이다. 통계적인 신뢰도가 중요한 개념이긴 하지만 5%가 아닌 20%의 신뢰도에서도 중요한 결과가 있을 수 있다는 생각이다. 정직한 연구과정을 거치고 연구 방법의 차이가 있다면 결과의 의미 없음도 의미 있는 연구라고 인정해줘야 한다.
< 김동철 이스트시큐리티 고문 >
관련뉴스
