데이터가 많아도 너무 많아 데이터 분석가들은 집에도 가질 못하고 자신들이 데이터 분석을 통해 얻어낸 통찰들을 공유하지도 못한다. 이 때문에 데이터에 아무리 투자해도 효과가 나지 않는다. 조금은 다른 방향에서 데이터 활용 문제에 접근할 필요가 있다.

[보안뉴스 문정후 기자] 데이터 분석가들이 겪는 어려움들이 있고, 이 어려움들은 시간에 따라 변하기도 하고 유지되기도 한다. 변하지 않는 과제 중 하나는 데이터 분석과 처리에 대한 투자가 회사의 수익 증대에 긍정적인 영향을 준다는 것을 증명하는 것이다. 마케팅 책임자나 CFO에게 제시해야 할 ‘숫자’가 늘 데이터 분석가들의 마음에 부담을 준다.


분석하고 처리해야 할 정보의 양이 끝없이 늘어난다는 것 또한 분석가들이 평생토록 해결해야 할 과제다. 데이터를 모으고 정리하고 분석하고 처리하는 데에만 들어가는 시간이 부족하니, 그런 활동을 통해 얻어낸 성과를 정리하는 시간이 있을 리 없다. CEO를 비롯해 임원진들이 데이터로부터 어떤 통찰을 얻을 수 있고, 그러므로 어떤 결정을 내려야 할 지 궁금해 하는데, 데이터 분석가들은 이를 매끄러운 이야기로 풀어낼 시간이 없다. 그래서 이전에 했던 추상적인 이야기를 하고 또 한다. 데이터 분석에 대한 가치가 하락하는 주요한 이유다.

데이터 분석가들, 왜 아직도 과거의 문제를 해결하지 못하나
데이터를 올바르게 활용하여 가치를 끌어내기 위해서는 데이터 분석가들이 이전에 데이터 엔지니어나 소프트웨어 엔지니어들이 하던 일까지 어느 정도 해야 한다. 직무가 복잡해졌다. 게다가 여러 곳에서 데이터를 모으고 저장하고 처리하는 것은 당연히 해야 하는데, 자신의 그러한 활동이 프라이버시 관련 규정을 위반하고 있지는 않은지까지 끊임없이 검토해야 한다. 사업적으로 필요한 데이터를 수집하기 위해서 규정이라는 장애물을 뛰어넘어야 할 때도 적잖이 생긴다.

데이터베이스를 개발하고, 모델링하고, 구조화 하는 것도 역시 데이터 분석가들의 몫이다. 요즘은 데이터베이스로부터 API를 생성하는 것까지도 해야 한다. 그래야 자기들이 애써 모으고 수집한 데이터와, 구조를 갖춘 데이터베이스가 실제 업무 및 비즈니스 인텔리전스 도구들에 접목돼 가치를 발휘할 수 있게 되니까 말이다. 분석가 스스로만 아끼고 들여다보는 데이터베이스는 기업 입장에서 아무런 쓸모가 없다.

위에서 묘사된 모든 업무 하나하나가 대단히 오랜 시간이 걸리는 일이다. ‘모든 데이터를 분석하는 일’부터가 사람 한두 명이 몇날 며칠 밤을 새도 안 되는 임무다. 데이터 분석의 어려움은 차치하고, 데이터의 양 자체가 끝없이 불어나기 때문이다. 그러니 세상은 데이터 분석가들로부터 여러 가지를 기대하고 있는데, 데이터 분석가들은 골방에서 한 발짝도 나갈 수가 없는 상황이다. 데이터의 바다에서 그들을 자유롭게 풀어줄 뭔가가 필요한데, 상황은 전혀 나아지지 않는다.

데이터 분석가가 뭔가 기쁜 소식을 들고 그 골방을 박차고 나올 때, 어떤 일이 벌어질까? 시간이 너무나 지나버렸기 때문에 그 기쁜 소식이란 게 이미 옛날 소식이 되어버린다. 예를 들어 기업에서 마케팅을 대대적으로 진행했는데, 그에 대한 데이터 분석 결과가 2주나 있다가 나와버리면 그 분석 결과는 부정확하게 된다. 유통기한이 지난 것이다. 데이터 분석가들의 업무 환경이 유통기한을 제대로 지키는 것 자체를 어렵게 만든다. 이 모든 게 데이터 분석가들을 과거에 갇히게 만든다.

현대 기술이라고 큰 도움이 되는 건 아니다
위의 문제들을 요약하자면 ‘데이터 분석가가 즉시 활용이 가능한 통찰을 끌어내지 못한다’는 것이 된다. 지난 해 컨설팅 업체 맥킨지(McKinsey)는 여기에 두 가지 이유가 있다고 제시했다. 하나는 기술적 한계였고, 다른 하나는 현대 아키텍처 구축의 어려움이었다. 그러면서 “클라우드를 기반으로 하고 있는 도구들이 이 문제를 해결할 것”이라고 내다봤다.

필자의 의견이긴 하지만 맥킨지의 이러한 예측이 ‘지금으로서는’ 옳다고 하기는 힘들어 보인다. 클라우드를 기반으로 한 아키텍처와 도구들이 데이터 분석이 사용된다면 분명 여러 가지 이점이 있을 것이다. 하지만 그것만으로 맥킨지가 지적한 두 가지 문제가 해결될까? 필자는 회의적이다. 왜냐하면 현대의 기술과 아키텍처라고 하는 것들 역시 문제를 가지고 있기 때문이다. 데이터 분석가들이 느끼는 기술적 한계라는 게 현대 클라우드라고 해서 없어질까? 클라우드이니 현대 아키텍처 도입이라는 게 쉬워질까? ‘아니오’가 될 수밖에 없는 이유가 깊이 생각하지 않아도 막 떠오른다.

분석가들이 어려움을 느끼게 되는 이유는 ‘기술에만’ 있지 않다. 기술 발전이 어느 정도 도움이 되는 건 사실일 것이다. 클라우드가 그런 기술이 될 가능성이 높다. 하지만 기술이 어느 정도 발전해야 데이터의 홍수로부터 분석가들을 구해줄 수 있을까? 어느 정도 수준이 되어야 솔루션이 자동으로 분석한 내용을 분석가가 온전히 신뢰할 수 있을까? 데이터 품질에 대한 보장은 언제쯤 확실히 이뤄질까? 이 모든 걸 충족시키는 기술을 기존 업무 프로세스에 접목하는 게 과연 간단한 일일까? 솔루션 설치하듯 쉽게 되는 걸까?

최소화를 통한 최대화
데이터 분석가들이 현재 겪고 있는 어려움들은 보다 근원적인 것이다. 조직 차원에서 데이터와 관련된 전략을 전반적으로 수정해야 이들의 어려움은 해결의 가능성을 갖게 된다. 데이터 분석가만이 아니라 데이터를 생산하는 자와 데이터를 사용하는 자들까지도 전부 아우르는 그런 총체적인 전략이 필요하다. 데이터와 관련된 각 사람들의 역할과 책임이 정해지지 않으면 첨단 기술도 소용이 없어진다.

전략의 핵심은 다른 게 아니다. 일단 데이터 분석가에게 무엇을 요구해야 하는가부터 정해야 한다. 모든 데이터를 다 수집해서 몽땅 분석한 후 통찰을 이끌어내라는 무리한 요구를 중단해야 한다는 것이다. 우리 사업부나 회사 전체가 어떤 목적을 가지고 있고, 지금 당장 해결해야 하는 문제가 무엇인지 명확히 알고 그에 관한 해결책을 바늘로 찌르듯 찾는 과정에서 데이터 분석을 요구해야 하지 아무런 목적의식 없이 무조건 데이터를 모으고 저장하고 분석하는 건 효율적이지도 않고 효과적이지도 않다. 데이터 분석가의 업무를 줄여줄 때 오히려 데이터로부터 꼭 필요한 통찰을 얻어내는 게 가능해진다.

데이터 분석가가 답을 내기 위해서는 질문이 정확하고 적어야 한다. 데이터 분석가 외의 모든 사람들은 질문에 대한 책임을 져야 한다. 분석가가 가장 능률적으로 일을 함으로써 가장 정확한 답을 낼 수 있도록 하려면 나는 어떤 질문을 해야 하는 것인가를 깊이 있게 고민할 필요가 있다. 대충 정제되지도 않은(심지어 다운로드도 되지 않은) 데이터를 뭉텅이로 던져주면서 ‘분석해 와’라고 하는 건 데이터 분석가만이 아니라 조직 전체를 좀먹는 일이다.

조직 내 데이터 분석가들을 이렇게 아껴줄 때 스타트업들은 보다 빠르고 효율적으로 ‘데이터 드리븐’ 체제를 구축할 수 있게 된다. 그리고 거기서부터 데이터 위주의 경제 체제에서 빛을 발할 수 있게 된다.

글 : 마틴 브룬테일러(Martin Brunthaler), CTO, Adverity
[국제부 문정후 기자(globoan@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>