[2018-028] 대량살상 수학무기

제목 : 대량살상 수학무기

작가 : 캐시오닐

번역 : 김정혜

출판사 : 푸른출판

읽은날 : 2018/05/09 - 2018/05/20

분류 : 일반

우리가 사용하고 있는 빅데이터와 인공지능에 의해 생성된 가치판단모형이 얼마나 위험하게 사용되고 있는지에 대해서 신랄하게 비판한 책.

우리 인간들이 가지고 있는 편견을 더 강화하고 효율적으로 차별하게 만드는게 이 책에서 이야기하는 WMD, 즉 대량살상 수학무기다.

당연하다고 생각했던 많은 가치판단 모형들이 사실은 얼마나 부실하게 운영되고 있는지를 교사 평가 모형이나 범죄 예방 모형을 통해서 알려준다.

나도 별 생각도 없이 긍정하고 끄덕여왔던 내용들이 참 많았구나 하는 생각이 든다. 

앞으로 인공지능이 가미된 가치평가모형은 더욱 무섭다. 모형이 블랙박스이기 때문이다. 아무도 왜 그런 판단을 내렸는지 알지 못하지만 사회는 그 모형을 기준으로 돌아갈 것이기 때문이다. 마이너리티 리포트가 따로 없다.

우리 사회가 이미 이런 모형들에 너무나 많이 의존하고 있다는 것이 문제다. 

사실과 data에 의해서 검증받고 도전받지 않는 모든 모형들은 다 이런 WMD가 될 위험을 가진다. 

무섭기도 하고, 그런 사회에서 어떻게 나의 존엄성을 지켜갈 수 있을지 걱정도 된다. 많은 사람들이 같이 깨닫기를 바란다. 

p16 대다수 모형은 인간의 편견, 오해, 편향성을 코드화했다 

p19 교육청 관리들은 숫자는 사실만을 말할 거라고, 다르게 표현하면 객관적이고 공정할 것이라고 설명했다 

p23 WMD는 진실을 찾는 대신에 스스로 진실을 구현했다 

p24 특권층은 주로 개별적인 대인면담을 통해 평가받고, 대부분의 평범한 사람들은 기계가 일괄적으로 처리한다 

p39 예측하려는 행동에 대한 데이터가 부족한 상태에서 WMD를 개발하는 경우는 매우 흔하다 

P45 어떤 데이터를 수집할지부터 무엇을 질문할지까지, 우리 자신의 가치관과 바람은 우리의 선택에 영향을 미친다. 요컨대, 모형들은 수학에 깊이 뿌리내린 지극히 개인적인 의견이라고 할 수 있다 

p60 WMD의 세 가지 요소를 알아보았다. 바로 불투명성, 확장성, 피해다 

p73 수학모형은 본질적으로 과거와 기존 패턴들이 반복될 것이라는 가정에 기반을 두기 때문이다.  

P79 자사 모형의 정확도를 높이기보다는 고객만족도를 높이는 데 더 많은 관심을 기울였다 

p91 이런 흐름에 반대하는 사람들은 향수에 젖은 러다이트라고 매도했다 

p115 2000여명이 고사장이었던 학교 앞 거리에 모여 "우리는 공정함을 원한다. 우리에게 부정행위를 허용하지 않는다면 공정함이란 없다"라는 구호를 외치며 투석시위를 벌였다 

p119 부유층부터 노동자 계층까지 모든 학생이 거대한 기계에 맞도록, 즉 WMD를 충족시키도록 단순히 훈련될 뿐이다 

p126 영리대학들의 마케팅은 평등과 민주화를 위한 위대한 도구가 될 것이라는 초기 인터넷의 약속과는 전혀 방향이 다르다 

p141 영리 대학들은 부유한 학생들에게는 관심을 두지 않는다. 이들은 이미 너무 많은 것을 알고 있기 때문이다. 

p152 경찰활동 자체가 새로운 데이터를 생성시키고, 이런 데이터가 다시 더 많은 경찰활동을 정당화해준다. 그리고 교도소는 피해자가 없는 범죄를 저지른 수많은 범죄자들로 넘쳐나게 된다 

p166 프로그램 개발자들은 공정성을 어떻게 코드화할 지 알지 못한다. 사실 그들에게 그렇게 하라고 지시하는 상사도 거의 없다 

p178 평소 그런 행동을 일삼는 미국인이 수백만 명이나 되는데도, 법 집행당국이 맥다니엘에게 훨씬 엄중한 잣대를 들이댈 것은 어렵지 않게 짐작할 수 있다 

p197 승리의 비결은 기계들이 무엇을 원하는지 알아내는 것이다. 그러나 공정하고 과학적이며 민주적이라고 칭송받는 오늘알의 디지털 세상에서도 내부자들은 여전히 중대한 우위를 차지하는 비결을 알아낸다 

p199 인간에게서 지원자들을 차별하는 법을 배운 컴퓨터는 인간들보다 한술 더 떠서 기가 막힐 만큼 효율적으로 차별적인 심사를 했다 

p214 스타벅스 같은 상장기업들의 사업모델은 회사의 수익을 최대한 늘리도록 설계되기 마련이다 

p225 재범위험성 모형부터 교사평가모형에 이르기까지 대다수 WMD는 모형에 현실을 반영해 수정하기보다는 원하는 현실을 창조한다 

p258 WMD모형에는 실수를 학습의 기회로 삼는 과정이 빠져있다 

p265 스타트업들이 WMD에 의존한다면, 의도가 아무리 좋아도 사회에 악영향을 끼칠 수 밖에 없다 

p287 우리는 이런 과정이 이뤄지는 내내 자신이 '속한' 부족이 무엇이며, 자신이 왜 그런 부족에 포함됐는지에 대해 거의 알지 못할 것이다. 기계지능, 다른 말로 인공지능의 시대에 거의 모든 변수는 미스터리로 남게된다 

p296 개인적인 성공사례를 널리 홍보하는 것과 달리 웰니스 프로그램이 건강관리비용을 낮추지 못한다는 연구결과가 있다 

P306 연구진의 결론은 이랬다. "누군가의 감정상태는 다른 사람들에게 전이될 수 있고, 자신도 모르는 사이에 그 사람과 똑같은 강점을 경험하게 만든다" 

p319 이런 현상은 참신하고 유의미한 데이터에 대한 수요가 막대하다는 사실을 깨닫게 해준다 

p324 TV는 더 광범위하고 신뢰할 수 있는 메시지를 전달하는 반면, 마이크로 타기팅은 어둠의 장막을 두르고 은밀하게 전개된다 

p329 앞에서는 효율성과 공정성을 약속하지만 뒤에서는 고등교육을 왜곡하거나 부채를 증가시키고 대량투옥을 촉발한다 

p334 대부분의 경우 공정성은 부산물이었다 

p337 데이터 처리과정은 과거를 코드화할 뿐, 미래를 창조하지 않는다. 미래를 창조하려면 도덕적 상상력이 필요하다