(51) 4차 산업혁명과 알고리즘 공정성
개발자의 편견이 담긴 모형은
오남용 되어 되레 피해를 초래
알고리즘도 객관적 표준이 필요
보스턴 레드삭스의 강타자 테드 윌리엄스가 타석에 들어서자 클리블랜드 수비수들은 오른쪽으로 이동하기 시작했다. 선수 겸 감독인 루 부드로가 좌타자이면서 당겨치기의 명수인 윌리엄스의 타구가 주로 오른쪽으로 치우친다는 점을 파악해 내린 지시였다. 결과는 성공적이었다. 많은 안타성 타구가 수비수들의 글로브에 걸려들었다. 1946년 당시로서는 획기적이었던 그의 수비전략을 사람들은 ‘부드로 수비(Boudreau shift)’라고 불렀다.
알고리즘과 수학모형
부드로 감독은 관찰을 통해 타구 데이터를 모으고, 이를 분석해 윌리엄스의 타구 방향을 예측해냈다. 승리를 위한 간단한 ‘모형’을 만들어 낸 것이다. 야구는 수학적인 예측 모형을 구축하기에 아주 이상적인 소재다. 엄격히 통제된 상황에서 거의 1년 내내 방대한 데이터가 지속적으로 업데이트되는 야구 경기의 특성으로 인해 보다 정교한 모형을 만들어낼 수 있다.
기본적으로 모형이란 복잡한 현실을 단순화한 개념이다. 모형을 만들기 위해서는 다양한 정보 가운데 모형에 포함시켜야 할 중요한 정보를 선택하고 단순화해야 한다. 모형을 구축하는 이유가 복잡한 세상을 쉽게 이해하고, 중요한 사실과 행동을 추론하기 위함이기 때문이다. 따라서 모형에 포함되지 않은 변수를 살펴보면 개발자의 판단기준과 우선순위를 살펴볼 수 있다. 이는 모형의 개발과정에 개발자의 목표와 이념이 반영된다는 것을 의미한다. 어떤 데이터를 수집할지, 어떤 변수를 모형에 넣을지 혹은 넣지 않을지 등의 과정에 가치관이 반영될 수밖에 없다. 모형을 이루는 알고리즘의 공정성 문제가 제기되는 이유다.
알고리즘의 공정성과 오남용
미국시민자유연맹에 따르면 흑인들에게 선고된 형량은 비슷한 백인 범죄자에 비해 20% 정도 더 길다고 주장한다. 인종이 판결에 영향을 미친다는 것이다. 빅데이터 경제라 불리는 오늘날, 수학모형은 편견을 가진 인간을 대신해 객관적인 데이터를 근거로 사심 없는 처리를 해줄 것처럼 보인다. 하지만 빅데이터의 기반인 수학모형은 인간의 선택에 기반해 구축되는 탓에 인간의 편견과 오해, 편향성이 담기게 마련이다.
문제는 오늘날 수학모형은 불투명해 이해하기 어렵고, 잘못되거나 유해한 결정에도 수정을 요청할 수 없다는 점이다. 현실에서 알고리즘 구축과 분석은 외부 프로그래머와 통계 전문가들에게 맡겨지고 이들은 ‘영업비밀’이라는 이유로 입력과 그에 따른 출력만 보여줄 뿐 어떤 과정을 거쳐 도출된 결론인지 공개하지 않는다. 수학기법으로 포장된 알고리즘을 전적으로 신뢰하는 실무자들의 태도도 그 원인 가운데 하나다. 무엇보다 알고리즘은 부정적인 피드백 순환을 형성한다. 최근 기업의 채용을 위한 수학모형에는 지원자의 신용평가점수를 참고하는 알고리즘이 반영돼 있다. 각종 비용을 제때 납부하는 사람은 성실하다는 추측이 반영된 알고리즘이다. 하지만 실제로는 책임감 있고 유능함에도 생활고로 인해 신용을 관리하지 못하는 사람이 많다. 신용평가점수가 업무 능력과 연관된다는 알고리즘으로 인해 가난한 사람들은 과거보다 더 일자리를 구하기 어려워지고, 이는 그들을 더욱 가난하게 만들어 신용평가 점수를 낮추는 요인으로 작용한다. 그 결과 가난한 사람들은 일자리를 구하기는 더욱 어려워진다. 수학자인 캐시 오닐은 이런 수학모형을 ‘대량살상무기’에 비유해 ‘대량살상 수학무기(Weapons of Math Destruction)’라고 표현한다.
새로운 표준을 통한 알고리즘 감시
인공지능, 빅데이터를 둘러싼 규제 완화 및 철폐에 대한 목소리가 높다. 새로운 시도를 가로막는 규제들이 정비돼야 한다는 데는 많은 사람이 동의한다. 하지만 새로운 시도의 혜택이 사회 전체적으로 확산되기 위해서는 새로운 규제도 필요하다. 과거 산업혁명 시기에 기술혁신으로 평균적인 삶의 수준이 높아졌지만 그 이면에는 노동 착취도 존재했다. 많은 아동이 노동현장에 끌려갔고, 건강 및 안전에 대한 규제가 없어 노동자들이 일하다 죽음을 맞이했다. 1907년 한 해에만 탄광노동자 3200명이 목숨을 잃었다. 이후 정부가 개입해 규제를 신설하고 감시하자 노동자들에게도 기술진보의 혜택이 돌아갈 수 있었다.
4차 산업혁명 시대의 수학모형도 이와 닮았다. 이견이 없는 새로운 시대의 강력한 동력원이지만, 아직 감시되지 않는 탓에 모형의 오남용으로 피해를 보는 사람들이 생겨날 수 있다. 그 혜택이 사회 전반에 골고루 퍼지기 위해서는 관리가 필요하다. 규제가 사회 전반에 도움이 될 때 비로소 표준이 된다. 알고리즘은 언제나 과거를 코드화할 뿐이다. 알고리즘이 모든 것을 다 할 수 있다는 환상에서 깨어나 우리가 원하는 미래를 만들기 위한 구체적인 활용방안을 고민해야 할 시점이다.
개발자의 편견이 담긴 모형은
오남용 되어 되레 피해를 초래
알고리즘도 객관적 표준이 필요
보스턴 레드삭스의 강타자 테드 윌리엄스가 타석에 들어서자 클리블랜드 수비수들은 오른쪽으로 이동하기 시작했다. 선수 겸 감독인 루 부드로가 좌타자이면서 당겨치기의 명수인 윌리엄스의 타구가 주로 오른쪽으로 치우친다는 점을 파악해 내린 지시였다. 결과는 성공적이었다. 많은 안타성 타구가 수비수들의 글로브에 걸려들었다. 1946년 당시로서는 획기적이었던 그의 수비전략을 사람들은 ‘부드로 수비(Boudreau shift)’라고 불렀다.알고리즘과 수학모형
부드로 감독은 관찰을 통해 타구 데이터를 모으고, 이를 분석해 윌리엄스의 타구 방향을 예측해냈다. 승리를 위한 간단한 ‘모형’을 만들어 낸 것이다. 야구는 수학적인 예측 모형을 구축하기에 아주 이상적인 소재다. 엄격히 통제된 상황에서 거의 1년 내내 방대한 데이터가 지속적으로 업데이트되는 야구 경기의 특성으로 인해 보다 정교한 모형을 만들어낼 수 있다.
기본적으로 모형이란 복잡한 현실을 단순화한 개념이다. 모형을 만들기 위해서는 다양한 정보 가운데 모형에 포함시켜야 할 중요한 정보를 선택하고 단순화해야 한다. 모형을 구축하는 이유가 복잡한 세상을 쉽게 이해하고, 중요한 사실과 행동을 추론하기 위함이기 때문이다. 따라서 모형에 포함되지 않은 변수를 살펴보면 개발자의 판단기준과 우선순위를 살펴볼 수 있다. 이는 모형의 개발과정에 개발자의 목표와 이념이 반영된다는 것을 의미한다. 어떤 데이터를 수집할지, 어떤 변수를 모형에 넣을지 혹은 넣지 않을지 등의 과정에 가치관이 반영될 수밖에 없다. 모형을 이루는 알고리즘의 공정성 문제가 제기되는 이유다.
알고리즘의 공정성과 오남용
미국시민자유연맹에 따르면 흑인들에게 선고된 형량은 비슷한 백인 범죄자에 비해 20% 정도 더 길다고 주장한다. 인종이 판결에 영향을 미친다는 것이다. 빅데이터 경제라 불리는 오늘날, 수학모형은 편견을 가진 인간을 대신해 객관적인 데이터를 근거로 사심 없는 처리를 해줄 것처럼 보인다. 하지만 빅데이터의 기반인 수학모형은 인간의 선택에 기반해 구축되는 탓에 인간의 편견과 오해, 편향성이 담기게 마련이다.
문제는 오늘날 수학모형은 불투명해 이해하기 어렵고, 잘못되거나 유해한 결정에도 수정을 요청할 수 없다는 점이다. 현실에서 알고리즘 구축과 분석은 외부 프로그래머와 통계 전문가들에게 맡겨지고 이들은 ‘영업비밀’이라는 이유로 입력과 그에 따른 출력만 보여줄 뿐 어떤 과정을 거쳐 도출된 결론인지 공개하지 않는다. 수학기법으로 포장된 알고리즘을 전적으로 신뢰하는 실무자들의 태도도 그 원인 가운데 하나다. 무엇보다 알고리즘은 부정적인 피드백 순환을 형성한다. 최근 기업의 채용을 위한 수학모형에는 지원자의 신용평가점수를 참고하는 알고리즘이 반영돼 있다. 각종 비용을 제때 납부하는 사람은 성실하다는 추측이 반영된 알고리즘이다. 하지만 실제로는 책임감 있고 유능함에도 생활고로 인해 신용을 관리하지 못하는 사람이 많다. 신용평가점수가 업무 능력과 연관된다는 알고리즘으로 인해 가난한 사람들은 과거보다 더 일자리를 구하기 어려워지고, 이는 그들을 더욱 가난하게 만들어 신용평가 점수를 낮추는 요인으로 작용한다. 그 결과 가난한 사람들은 일자리를 구하기는 더욱 어려워진다. 수학자인 캐시 오닐은 이런 수학모형을 ‘대량살상무기’에 비유해 ‘대량살상 수학무기(Weapons of Math Destruction)’라고 표현한다.
새로운 표준을 통한 알고리즘 감시
인공지능, 빅데이터를 둘러싼 규제 완화 및 철폐에 대한 목소리가 높다. 새로운 시도를 가로막는 규제들이 정비돼야 한다는 데는 많은 사람이 동의한다. 하지만 새로운 시도의 혜택이 사회 전체적으로 확산되기 위해서는 새로운 규제도 필요하다. 과거 산업혁명 시기에 기술혁신으로 평균적인 삶의 수준이 높아졌지만 그 이면에는 노동 착취도 존재했다. 많은 아동이 노동현장에 끌려갔고, 건강 및 안전에 대한 규제가 없어 노동자들이 일하다 죽음을 맞이했다. 1907년 한 해에만 탄광노동자 3200명이 목숨을 잃었다. 이후 정부가 개입해 규제를 신설하고 감시하자 노동자들에게도 기술진보의 혜택이 돌아갈 수 있었다.
4차 산업혁명 시대의 수학모형도 이와 닮았다. 이견이 없는 새로운 시대의 강력한 동력원이지만, 아직 감시되지 않는 탓에 모형의 오남용으로 피해를 보는 사람들이 생겨날 수 있다. 그 혜택이 사회 전반에 골고루 퍼지기 위해서는 관리가 필요하다. 규제가 사회 전반에 도움이 될 때 비로소 표준이 된다. 알고리즘은 언제나 과거를 코드화할 뿐이다. 알고리즘이 모든 것을 다 할 수 있다는 환상에서 깨어나 우리가 원하는 미래를 만들기 위한 구체적인 활용방안을 고민해야 할 시점이다.
관련뉴스
