신호와 소음
네이트 실버 지음 / 이경식 옮김 / 더퀘스트 / 764쪽 / 2만8000원
인간을 만물의 영장으로 만든 것은 인간의 뇌다. 오랜 진화 과정에서 다른 종보다 우수한 뇌를 가지게 된 인류는 복잡한 현상의 패턴을 일반화해 앞날을 예측하고, 주어진 자극에 대한 대비책을 강구했으며, 습득한 노하우를 전달할 수 있었다. 인류의 지능은 호랑이의 이빨보다 더 예리하고 코뿔소의 뿔보다 더 뾰족한 무기였다.
하지만 때때로 이런 패턴화 과정이 엉뚱하게 작용하기도 한다. 인류의 조상들은 하늘의 별이 움직이는 패턴을 보고 나라의 운명을 예측했고 거북이 등껍질이 갈라지는 패턴을 보고 사람의 명운을 점치기도 했다. 데이터 간 상관성과 인과성에 대한 혼동 때문이었다.
21세기 인류는 갑골문의 시대와 얼마나 멀어졌을까. 여전히 우리는 조상들처럼 서로 관계 없는 현상 사이를 잘못 패턴화하거나 과거로부터 이어진 패턴이 앞으로도 아무런 단절 없이 꾸준히 선형적으로 이어질 것이라고 쉽게 가정한다. 일종의 데이터 점성술, 데이터 갑골문이다.
그 와중에 등장한 ‘빅데이터’는 인류에게 축복이자 저주다. IBM에 따르면 날마다 전 세계에서 25억기가바이트(GB)의 데이터가 쏟아지고 있다. 최근 2년 동안 생산한 자료가 인류 탄생 이후 축적한 모든 데이터의 90%에 달한다고 한다. 인간의 뇌가 저장할 수 있는 최대 용량이 약 3테라바이트(TB), 즉 3000GB인 점을 감안하면 정보 과부하 속에서 쓸데없는 데이터 간 관계를 성급하게 일반화하는 일이 더욱 빈번하게 일어날 것이라는 우려는 매우 합리적이고 타당한 지적이다.
그래서 빅데이터가 강조되면 될수록 데이터를 수집하는 능력보다 데이터를 잘 버리는 능력, 다시 말해 의미 없는 노이즈 데이터(소음)를 걸러내고 진짜로 가치 있는 ‘신호’들만 포착하는 역량이 중요해진다.
신호와 소음의 저자 네이트 실버는 책 제목 그대로 신호와 소음을 걸러내는 데 있어 최근 몇 년 사이에 놀라운 성공 사례를 만들어낸 사람이다. 그가 2003년 컨설팅 업무 중 소일거리로 만든 통계예측 프로그램 ‘페코타(PECOTA)’는 그 어떤 전문가보다 정확하게 메이저리그 야구 선수들의 성과를 예측했다. 2008년 개설한 블로그 ‘파이브서티에잇(538)’에 게재된 선거 결과 예측은 그 누구의 것보다 정확했다. 그는 2008년 미국 대선 때 50개주 중 인디애나주를 제외한 49곳의 결과를 정확히 예측했고, 총선에서 상원 당선자 35명 전원을 맞혔다. 2012년 대선에선 다른 유력 조사업체들이 박빙을 이야기할 때 버락 오바마의 낙승을 단언했고 이 또한 보기 좋게 적중했다.
통계학을 전공하지도 않은 그가 이처럼 놀라운 예측력을 선보인 비결은 ‘베이즈 정리’에 있다. 베이즈 정리는 쉽게 말해 모든 확률이 고정적이고 객관적으로 실재한다고 간주하는 대신 확률 측정 과정의 시행 착오나 환경으로 인한 다양한 변화의 ‘개연성’을 열어놓고 확률을 계산하는 방법이다. 대전제를 통한 연역→연역에서 도출된 가설로 데이터를 수집해 귀납→귀납을 통해 나온 새로운 대전제로 다시 연역→새로운 전제와 가설을 바탕으로 다시 귀납하는 이 접근법은 인간의 예측력과 판단력, 측정장치와 감각의 한계를 어느 정도 인정하는 겸손하고 유연한 접근이다. ‘참’이 ‘참’일 수 있는 것은 ‘참’을 전복할 또 다른 ‘참’이 나오기 전까지로 한정된다는 것이다.
저자는 정치, 경제, 스포츠, 기후, 전쟁, 테러, 전염병, 도박 등 다양한 분야에 걸쳐 ‘왜 어떤 예측은 틀리고, 어떤 예측은 맞는가’라는 문제를 탐구한다. 금융위기와 9·11 테러, 스포츠 유망주 성적 예측과 전염병 확산 등의 주제를 베이즈 정리를 통해 분석하며, 노벨 경제학상 수상자인 조지 애컬로프, 래리 서머스 전 재무장관, 도널드 럼즈펠드 전 국방장관 등을 인터뷰하고 관련 분야 전문가를 취재해 흥미로우면서도 깊이 있는 이야기들을 풀어놓는다. 실버는 이 책을 서술하기 위해 방대한 논문을 직접 탐독했는데, 한국어판으로도 100쪽이나 되는 주(註)의 양이 이를 대변해준다.
권위에 대한 맹신, 감과 경험에 대한 과신은 빅데이터 시대에 실패하는 이들을 위한 왕도가 될 것이다.
이종대 < 트리움 이사 >
[한경스타워즈] 증권사를 대표하는 상위권 수익률의 합이 110%돌파!! 그 비결은?
[한경닷컴 스탁론] 최저금리 3.5% 대출기간 6개월 금리 이벤트!
[한경컨센서스] 국내 증권사의 리포트를 한 곳에서 확인
네이트 실버 지음 / 이경식 옮김 / 더퀘스트 / 764쪽 / 2만8000원
인간을 만물의 영장으로 만든 것은 인간의 뇌다. 오랜 진화 과정에서 다른 종보다 우수한 뇌를 가지게 된 인류는 복잡한 현상의 패턴을 일반화해 앞날을 예측하고, 주어진 자극에 대한 대비책을 강구했으며, 습득한 노하우를 전달할 수 있었다. 인류의 지능은 호랑이의 이빨보다 더 예리하고 코뿔소의 뿔보다 더 뾰족한 무기였다.
하지만 때때로 이런 패턴화 과정이 엉뚱하게 작용하기도 한다. 인류의 조상들은 하늘의 별이 움직이는 패턴을 보고 나라의 운명을 예측했고 거북이 등껍질이 갈라지는 패턴을 보고 사람의 명운을 점치기도 했다. 데이터 간 상관성과 인과성에 대한 혼동 때문이었다.21세기 인류는 갑골문의 시대와 얼마나 멀어졌을까. 여전히 우리는 조상들처럼 서로 관계 없는 현상 사이를 잘못 패턴화하거나 과거로부터 이어진 패턴이 앞으로도 아무런 단절 없이 꾸준히 선형적으로 이어질 것이라고 쉽게 가정한다. 일종의 데이터 점성술, 데이터 갑골문이다.
그 와중에 등장한 ‘빅데이터’는 인류에게 축복이자 저주다. IBM에 따르면 날마다 전 세계에서 25억기가바이트(GB)의 데이터가 쏟아지고 있다. 최근 2년 동안 생산한 자료가 인류 탄생 이후 축적한 모든 데이터의 90%에 달한다고 한다. 인간의 뇌가 저장할 수 있는 최대 용량이 약 3테라바이트(TB), 즉 3000GB인 점을 감안하면 정보 과부하 속에서 쓸데없는 데이터 간 관계를 성급하게 일반화하는 일이 더욱 빈번하게 일어날 것이라는 우려는 매우 합리적이고 타당한 지적이다.
그래서 빅데이터가 강조되면 될수록 데이터를 수집하는 능력보다 데이터를 잘 버리는 능력, 다시 말해 의미 없는 노이즈 데이터(소음)를 걸러내고 진짜로 가치 있는 ‘신호’들만 포착하는 역량이 중요해진다.
신호와 소음의 저자 네이트 실버는 책 제목 그대로 신호와 소음을 걸러내는 데 있어 최근 몇 년 사이에 놀라운 성공 사례를 만들어낸 사람이다. 그가 2003년 컨설팅 업무 중 소일거리로 만든 통계예측 프로그램 ‘페코타(PECOTA)’는 그 어떤 전문가보다 정확하게 메이저리그 야구 선수들의 성과를 예측했다. 2008년 개설한 블로그 ‘파이브서티에잇(538)’에 게재된 선거 결과 예측은 그 누구의 것보다 정확했다. 그는 2008년 미국 대선 때 50개주 중 인디애나주를 제외한 49곳의 결과를 정확히 예측했고, 총선에서 상원 당선자 35명 전원을 맞혔다. 2012년 대선에선 다른 유력 조사업체들이 박빙을 이야기할 때 버락 오바마의 낙승을 단언했고 이 또한 보기 좋게 적중했다.
통계학을 전공하지도 않은 그가 이처럼 놀라운 예측력을 선보인 비결은 ‘베이즈 정리’에 있다. 베이즈 정리는 쉽게 말해 모든 확률이 고정적이고 객관적으로 실재한다고 간주하는 대신 확률 측정 과정의 시행 착오나 환경으로 인한 다양한 변화의 ‘개연성’을 열어놓고 확률을 계산하는 방법이다. 대전제를 통한 연역→연역에서 도출된 가설로 데이터를 수집해 귀납→귀납을 통해 나온 새로운 대전제로 다시 연역→새로운 전제와 가설을 바탕으로 다시 귀납하는 이 접근법은 인간의 예측력과 판단력, 측정장치와 감각의 한계를 어느 정도 인정하는 겸손하고 유연한 접근이다. ‘참’이 ‘참’일 수 있는 것은 ‘참’을 전복할 또 다른 ‘참’이 나오기 전까지로 한정된다는 것이다.
저자는 정치, 경제, 스포츠, 기후, 전쟁, 테러, 전염병, 도박 등 다양한 분야에 걸쳐 ‘왜 어떤 예측은 틀리고, 어떤 예측은 맞는가’라는 문제를 탐구한다. 금융위기와 9·11 테러, 스포츠 유망주 성적 예측과 전염병 확산 등의 주제를 베이즈 정리를 통해 분석하며, 노벨 경제학상 수상자인 조지 애컬로프, 래리 서머스 전 재무장관, 도널드 럼즈펠드 전 국방장관 등을 인터뷰하고 관련 분야 전문가를 취재해 흥미로우면서도 깊이 있는 이야기들을 풀어놓는다. 실버는 이 책을 서술하기 위해 방대한 논문을 직접 탐독했는데, 한국어판으로도 100쪽이나 되는 주(註)의 양이 이를 대변해준다.
권위에 대한 맹신, 감과 경험에 대한 과신은 빅데이터 시대에 실패하는 이들을 위한 왕도가 될 것이다.
이종대 < 트리움 이사 >
[한경스타워즈] 증권사를 대표하는 상위권 수익률의 합이 110%돌파!! 그 비결은?
[한경닷컴 스탁론] 최저금리 3.5% 대출기간 6개월 금리 이벤트!
[한경컨센서스] 국내 증권사의 리포트를 한 곳에서 확인
관련뉴스
