2018년 최고의 문제작
빅데이터 혁명은 지금부터!

스티븐스 다비도위츠의 연구가 처음부터 인정받았던 것은 아니다. 인종주의에 관한 그의 박사논문은 학술지 다섯 곳에서 거부당했다. 그렇게나 많은 미국인이 인종주의자일 리가 없다는 것이었다. 하지만 세계적인 학술지 [퍼블릭 이코노믹스 저널]이 최종적으로 이 논문을 실었고, 스티븐스 다비도위츠는 많은 학자들에게 충격을 주며 학계의 슈퍼루키로 떠올랐다.

[모두 거짓말을 한다]에 대한 반응은 뜨거웠다. 출간 즉시 [뉴욕타임스] [월스트리트저널] [아마존] 베스트셀러에 오르고 [이코노미스트] [포춘] 등 여러 매체에서 ‘2017년 올해의 경제경영서’로 선정됐다. 미국 재무장관을 지낸 로렌스 서머스는 스티븐스 다비도위츠를 따로 불러 연구를 요청할 정도였고, 심리학자 스티븐 핑커는 이 책의 서문에서 오랫동안 사람을 연구한 자신 역시 이 책에 담긴 내용에 여러 차례 놀랐다고 밝혔다.

하지만 이 책에 소개된 인간 본성은 아직 빙산의 일각의 작은 스크레치에 불과하다. 구글, 페이스북, 데이트 사이트, 포르노 사이트 등에 축적된 디지털 금광을 분석하면 사람들이 정말로 어떤 생각을 하는지, 정말로 원하는 것이 무엇인지, 정말로 무슨 일을 하고 있는지 알 수 있다. 혁명은 지금부터다!

미국 대선과 브렉시트를 예견한 유일한 데이터,
구글 트렌드로 잡아낸 인간의 진짜 속마음

[아마존] 올해의 책
[뉴욕타임스] 베스트셀러
[월스트리트저널] 베스트셀러
[포춘] 최고의 경제경영서
[이코노미스트] 올해의 책

계속 속을 것인가, 진실을 볼 것인가?
검색창에 드러난 가장 사적인 욕망

하버드대학교 경제학과 박사과정에 있는 동안 스티븐스 다비도위츠는 구글 트렌드를 이용해 오바마가 흑인이라는 이유로 손해 본 표가 얼마나 되는지 연구했다. 구글 트렌드는 특정 단어가 지역별, 시간별로 얼마나 자주 검색되는지를 알려주는 구글 서비스다. 2008년 11월 오바마가 당선된 그날, 일부 주는 ‘최초의 흑인 대통령’보다 ‘깜둥이 대통령’을 더 많이 검색했다. 그리고 ‘오바마’가 들어간 검색어 100개 중 1개에는 ‘kkk’나 ‘깜둥이’가 포함돼 있었다. 백인 국수주의자들의 사이트 [스톰프런트]의 검색과 가입도 평소보다 10배 늘었다. 설문조사에서 아닌 척 숨겼지만 사람들은 사적 공간에서 흑인을 조롱하는 마음을 마음껏 드러내고 있었다. 스티븐스 다비도위츠는 지역별 인종차별적 검색률을 토대로 미국의 인종주의 지도를 만들었는데 놀랍게도 트럼프 지지율을 표시한 지도와 일치했다. 지금 학계는 미국 대선과 브렉시트를 예견한 유일한 데이터인 구글 트렌드가 앞으로도 국제적으로 굵직굵직한 사건들을 예견할 것으로 주목하고 있다.
구글 검색이 그토록 귀중한 이유는 데이터가 많아서가 아니다. 사람들이 솔직한 생각을 내놓기 때문이다. 사람들은 다른 사람에게는 하지 않을 이야기를 구글, 네이버, 다음과 같은 거대 검색엔진에는 한다. 겉으로 드러나지 않을수록 밝혀지는 것도 많은데 그 대표적인 주제가 성생활이다. 구글에 드러난 결혼생활의 가장 큰 불만이 뭔지 알고 있는가? 섹스를 하지 않는 것이다. ‘섹스 없는 결혼생활’이 ‘불행한 결혼생활’보다 3.5배 많이 검색되고 ‘사랑 없는 결혼생활’보다 8배 많이 검색된다. 그리고 대화하지 않는 배우자에 대한 불만보다 성관계를 원하지 않는 배우자에 대한 불만이 16배 많다. 결혼하지 않은 커플도 마찬가지다. 문자메시지에 답을 하지 않는 애인보다 성관계를 원하지 않는 애인에 대한 불만이 5.5배 많다. 그리고 그 불만은 놀랍게도 남자친구보다 여자친구 쪽에서 두 배 많다. 구글에는 ‘게이 포르노’와 ‘게이 테스트’를 번갈아 검색하는 성정체성에 혼란을 보이는 사람들도 포착된다. 모두 전통적인 설문조사에서는 감춰져 있던 모습이다.

* 남성 중 동성애자는 얼마나 많은가?
* 어떤 사람이 탈세를 하는가?
* 두 번째 데이트를 하려면 첫 번째 데이트에서 어떤 이야기가 오가야 하는가?
* 부모는 아들과 딸을 어떻게 차별하는가?
* 사는 곳에 따라 수명이 달라지는가?
* 광고는 효과가 있는가?

사람의 생각을 연구하는 완전히 새로운 방법
모든 학문 분야에서 빅데이터 분석이 유행할 것

사람들은 자주 거짓말을 한다. 의사, 친구, 연인, 설문조사원은 물론 자기 자신에게도 거짓말을 한다. 기업 엔지니어의 40퍼센트 이상이 자신의 실력이 상위 5퍼센트에 든다고 말하고, 대학교수의 90퍼센트 이상은 자신이 평균 이상의 성과를 내고 있다고 말한다. 고등학교 졸업생의 4분의 1은 자신의 사교성이 상위 1퍼센트에 든다고 생각한다. 이렇게 사람들의 보고가 부정확한데도 사회과학 연구의 많은 부분이 여기에 의존한다.
데이터 과학이 앞으로 무궁무진하게 활용될 수 있는 분야가 바로 사회과학이다. 데이터 과학은 사회과학 이론을 검증 가능하게 한다. 한 예로 2장 [프로이트가 옳았을까?]는 무의식적 욕구(특히 성적인 욕구)가 말실수로 드러난다는 ‘프로이트의 말실수’가 진짜인지 확인한다. 프로이트 이론은 귀에 걸면 귀걸이, 코에 걸면 코걸이라는 비판을 받아왔다. 성적 욕구가 말실수로 세어 나온다는 ‘프로이트의 말실수’를 검증하기 위해 마이크로소프트 연구자들은 오타 데이터세트 4만 개를 모아 성적인 의미로 볼 수 있는 오타가 불균형적으로 많이 나타나는지 확인했다. 그 데이터세트에는 ‘rock’을 ‘cock(음경)’으로 ‘security’를 ‘sex(섹스)urity’라고 쓴 것도 있었지만 ‘window’를 ‘pindow’라고 쓴 것처럼 별 의미 없는 실수도 있었다. 연구팀은 사람들과 똑같은 빈도로 문자를 바꿔 쓰는 로봇을 만들어 수많은 오타를 내게 했고 그 결과 성적으로 해석되는 실수는 우연으로 볼 수 있는 수준보다 많지 않은 것을 확인했다.
사회과학의 많은 질문은 연구하기가 까다롭다. 폭력적인 영화가 개봉하면 범죄가 늘어날까? 광고는 효과가 있을까? 언론은 진보나 보수 쪽으로 편향되어 있을까? 거의 모든 주제에 빅데이터를 모을 수 있게 된 지금은 데이터 과학을 조금만 첨가하면 그 해답을 찾을 수 있다.