데이터의 시대

빅 데이터는 우리가 사는 방식, 일하는 방식, 생각하는 방식을 바꿔놓을 만반의 준비를 하고 있다. 어떤 면에서 지금 우리는 정보의 범위와 규모를 극적으로 확장시켰던 이전의 그 어떤 획기적인 혁신들보다 더 큰 변화와 마주하고 있다. 이것은 내 발 아래 땅이 흔들리는 변화인 것이다. 오래된 확실성이 의심받고 있다. 의사 결정과 운명, 정의의 본질에 관해 새로운 토론이 필요하다. 원인들로 구성되었다고 생각했던 세계관이 상관성의 우세 앞에 도전받고 있다. 한때 지식을 가졌다는 말은 과거를 이해한다는 뜻이었지만 앞으로는 미래를 예측할 수 있다는 뜻이 될 것이다. (347쪽)   빅토르 마이어 쇤버거 등의 '빅 데이터가 만드는 세상' 중에서(21세기북스)   (예병일의 경제노트) 한달쯤 전, 빅데이터 시대에는 '인과성'을 포기하고 '상관성'에 만족해야하는가에 대한 글을 경제노트에서 쓴 적이 있습니다. 그래서 그런 주장을 하고 있는 빅토르 마이어 쇤버거 옥스포드대 교수의 책을 찾아보았습니다.   마이어 쇤버거는 '인과성'이라는 세계관이 '상관성'이라는 세계관에게 도전을 받고 있다, 그래서 지식은 '과거를 이해한다'는 의미에서 '미래를 예측할 수 있다'는 의미로 바뀔 것이라고 말했습니다. 인상적인 표현입니다.   앞으로 참고하기 위해 그의 생각을 몇개 정리해보았습니다.   - 물론 인과관계는 좋은 것이다. 알 수 있을 때는 말이다. 문제는 인과관계는 찾기 어려운 경우가 많고, 찾았다고 생각했는데 착각인 경우도 자주 있다는 점이다. - 상관성은 인과성보다 훨씬 빠르고, 절겸하게 찾아낼 수 있기 때문에 더 좋은 경우가 많다. - 약물의 부작용을 테스트하거나 비행기의 주요 부품을 설계할 때처럼,  조심스럽게 정돈된 데이터를 가지고 대조 실험과 인과관계 조사를 해야 하는 경우도 여전히 있을 것이다. - 하지만 많은 일상적인 용도에서는 '이유'가 아니라 '결론'을 아는 것으로 충분하다. 게다가 빅 ㄷ이터가 찾아낸 상관성은 인과관계를 탐구해서 결과를 얻기 위한 방향을 제시할 수도 있다. - 이런 상관성은 비행기 티켓에 쓰는 돈을 절약해주고, 독감 발발을 예상해주며, 신체검사 없이도 건강보험회사가 보험 서비스를 제공하게 해주고, 언어가 번역되며 무인 자동차가 굴러간다.   그의 말대로, 데이터가 우리의 일하고 생각하는 방식을 바꾸고 있습니다.   * 한국기자협회보 이번호에 실린 제 칼럼 <'데이터의 시대'와 미디어>입니다.   http://www.journalist.or.kr/news/article.html?no=37101   <'데이터의 시대'와 미디어> (예병일)   ‘데이터의 시대’다.  데이터를 통해 고객이 ‘말’을 한다. 고객은 행동 데이터를 통해 자신의 의사를 표현한다. 그 데이터는 고객 자신도 모르는 그의 본심을 우리에게 말해주기도 한다.    데이터가 ‘결정’도 한다. ‘무얼 읽을지 고민되면 우리가 골라 줄께’라며 아마존이 책을 추천해주기 시작한 건 이미 오래전 일이다. 검색어 분석으로 구글이 보건당국보다 더 빨리 독감 발생 지역을 예상해준다. 이제는 교통정보 데이터가 무인자동차를 운전하기까지 한다.    ‘데이터의 시대’는 미디어에게도 변화를 요구하고 있다. 데이터의 중요성을 이해하고 미디어 운용에 적극 활용해야 한다고 이야기하고 있다. 데이터를 통해 독자와 시청자가 하고 있는 말에 귀 기울이고, 데이터로 많은 사항을 ‘결정’해야 한다고 강조하고 있다.   그 변화의 모습을 우리는 워싱턴포스트에서 찾아볼 수 있다. 판매부수 급감으로 경영난에 시달리던 신문사에서 대표적인 ‘혁신 미디어’로 변신에 성공한 미국의 ‘전통 유력지’ 워싱턴포스트. 아마존의 최고경영자 제프 베조스가 인수한 게 2013년 8월이었으니, 정확히 2년 만에 워싱턴포스트는 ‘디지털 기업’으로 다시 태어났다.   언론계의 혁신 아이콘이 된 워싱턴포스트는 물론 이 ‘데이터 시대’에도 잘 대응하고 있다. 스티브 힐스 워싱턴포스트 사장은 지난달 조선일보에 실린 인터뷰 기사에서 자사의 혁신전략을 ‘최고의 저널리즘’과 ‘최고의 기술’ 두 가지로 요약했다. 물론 현 단계에서 방점은 ‘최고의 기술’에 찍혀있을 것이다.    이를 위해 워싱턴포스트는 빅데이터를 분석하는 팀을 설치했다. 박사학위를 갖고 있는 다수의 데이터 전문가들이 고객이 왜 이 기사를 읽었는지 분석한다. 그리고 그 결과를 가지고 소비자가 원하는 기사를 예측해 제공한다. 정교한 데이터 분석을 통해 특정 기사를 읽은 고객이 그 후에는 어떤 기사를 찾을지 추천해준다. 물론 광고도 정교한 데이터 분석을 통해 적절한 기사와 매칭시킨다.    실제로 베조스와 힐스의 주도하에 워싱턴포스트는 이제 단순한 신문사가 아닌 ‘기술 회사(technology company)’로 성장하고 있다는 평가를 받고 있다. 새로운 웹과 앱을 계속 실험하고 내놓으면서 홈페이지 순 방문자 수가 크게 늘어났고, 자체 개발한 미디어 관련 소프트웨어를 판매하기도 한다.   ‘기술 회사답게’ 회사 내부에서 ‘독자(reader)’라는 말 대신, ‘고객(customer)’이나 ‘소비자(consumer)’라는 단어를 사용한다. 과거의 독자들과 달리 이제 소비자들은 텍스트 기사는 물론 사진과 동영상을 보고 댓글로 참여하며 다양한 소셜네트워크서비스에 콘텐츠를 공유하고 있기 때문이다.    힐스 사장은 콘텐츠에 관한 ‘고객 경험’을 가장 중시한다고 말했다. 데스크톱 PC에서 스마트폰, 태블릿까지, 킨들에서 웨어러블 기기인 ‘애플워치’까지, 워싱턴포스트는 출시된 대부분의 디지털 기기에 맞는 앱과 웹페이지를 만들고 해당 디바이스에 최적화된 UI(사용자 인터페이스)와 UX(사용자 경험)로 콘텐츠를 가공해 제공하려 노력한다. 그 시도를 과학적으로 뒷받침해주는 것이 바로 ‘데이터’이다.    데이터의 시대다. 소비자가 데이터로 자신의 의사를 표현하고 있다. 신문사든, 방송사든, 고객이 데이터로 속삭이고 있는 말을 ‘경청’할 수 있는 조직만이, 데이터로 많은 사항을 ‘결정’할 수 있는 조직만이 생존하고 번영할 수 있는 시대다.

원인을 설명할 수는 없으나 관계가 있다는 것을 알게 하는 빅데이터

자연도 그렇지요 

인간이 말로는 설명할 수 없으나 마음으로 알 수 있는 것들이 많이 있죠