데이터에 대한 관리 개념이 점점 달라지고 있다. 팬데믹이 끝나가면서 이 변화는 더 극심해질 것으로 예상된다. 그럴 때 기존 데이터 관리 체계의 부족한 부분을 보충해 주는 ‘데이터 패브릭’이라는 개념이 급성장 할 수 있을 것으로 예상되고 있다.

[보안뉴스 문정후 기자] 2021년은 많은 기술 분야에 있어 대단히 중요한 해였고, 데이터 패브릭이라는 기술 역시 중요한 시기를 지나고 있다. 데이터 패브릭은 현존하는 데이터 관리 체제의 허점들이 드러나면서 염려가 되었던 부분을 많이 보충해주는 기술이며, 2026년까지 시장 규모는 42억 달러로까지 성장할 것으로 기대되고 있다.


데이터 패브릭은 데이터에 대한 가시성을 확보해 주는 아키텍처의 일종이다. 그리고 데이터를 원하는 곳 어디든 전송할 수 있도록 해 주는 구조를 가지고 있기도 하다. 데이터 복제도 간편해지고, 클라우드나 하이브리드 환경 어디에서든 쉽게 접근할 수도 있다. 2022년 한 해 동안 데이터 패브릭 기술은 보다 빠르게 발전할 것으로 예상된다.

구축의 어려움
어떤 기술이나 기존 환경으로의 구축과 통합이 기술 그 자체 만큼 중요하다. 아무리 좋은 기술이라도 통합과 구축에 실패하면 제 기능을 발휘하지 못하기 때문이다. 이미 많은 조직들이 이 점을 알아채고 데이터 플랫폼들에 투자를 하는 상황이다. 다양한 사용자들의 상황과 인프라의 각 요소들을 통해 데이터가 유연하게 활용될 수 있도록 플랫폼들을 구성하고 있다. 데이터가 각종 프로젝트의 핵심이고, 그렇기 때문에 데이터가 유연하게 운영될 수 있도록 여건을 마련하는 게 여러 산업 내 핵심 사안이다.

IBM의 예를 보자. IBM은 다양한 통합 도구들을 제공하여 온프레미스 환경에서만이 아니라 클라우드 환경에서도 새로운 장비와 기술을 보다 쉽게 통합할 수 있도록 해 준다. 온프레미스 데이터 통합 도구의 경우 데이터 복제, 처리에서부터 싱크 맞추기와 시각화까지 예전에 필요했던 것들과 현대화 된 환경에서 필요한 것들을 모두 충족시킨다. 여기에 더해 미리 탑재된 커넥터와 기능들도 추가되며, 계속해서 새로운 것들을 더해주기도 한다. IBM이 통합의 중요성과 어려움을 잘 알고 있다는 걸 드러낸다.

데이터 패브릭을 위한 마이크로 데이터베이스
통합과 구축의 난이도는 차치하고 이야기를 진행해보자. 데이터 패브릭이라는 기술 혹은 개념이 떠오르게 된 이유는 간단하다. 고객, 지역, 제품, 주문 등 조각조각 온 사방에 흩어진 데이터들을 모아서 조직 및 관리할 수 있게 해 주기 때문이다. 마이크로 데이터베이스의 경우 한 데 모아서 조직하고 관리하는 데이터들을 보다 세밀하게 구분할 수 있게 해 준다. 예를 들어 고객 한 사람 한 사람의 데이터를 고유한 마이크로 데이터베이스에 별도로 지정해 저장할 수 있는 것이다. 그리고 이런 마이크로 데이터베이스를 한 데 모으면, 고객 전체의 데이터베이스가 된다.

데이터 패브릭은 통합에만 능한 것이 아니다. 데이터를 변형시키고 조합하기도 한다. 그리고 실시간으로 마이크로 데이터베이스에 안전하게 저장하기까지 한다. 이 마이크로 데이터베이스들은 웹 서비스를 통해 접근할 수도 있고, 분석을 위한 데이터 저장소로 전송될 수도 있다. 이렇게 해서 데이터가 일목요연하게 정리되고, 거기서부터 통찰의 결과들이 나오면 조직 내에서 인원들이 같은 언어를 사용하고, 같은 이해도를 갖게 된다. 데이터를 필요할 때마다 안전하게, 실시간으로 활용할 수도 있게 된다. 데이터 패브릭은 유연하기 때문에 수백만에 달하는 마이크로 데이터베이스들과 항상 연결 상태를 유지할 수 있다.

인간의 지능과 하이퍼 오토메이션
이처럼 데이터를 활발히 사용할 수 있어야 하는 이유는 무엇일까? 현대 기업들 직면한 과제 때문이다. 출시일을 앞당겨야 하고, 그러면서도 안정적인 성장을 도모하는 것이 바로 그것이다. 그래서 기업들은 어지간해서는 모든 부분에서 자동화를 하고 싶어 하고, 인간의 수작업을 최소화 하려 한다. 매분 매초가 싸움이고, 단 1분도 가치를 발생시키고 지나가면 안 되는 것만 같은 분위기가 요즘 기업들 사이에 팽배하다.

그렇기 때문에 가트너는 앞으로 하이퍼 오토메이션(hyper-automation)이라는 극단적 자동화 기술이 유행할 것이라고 내다보고 있다. 머신러닝과 인공지능 등 각종 신기술 혹은 고급 IT 기술들이 대대적으로 활용되어야 구현할 수 있는 게 바로 이 하이퍼 오토메이션이다. 중요한 건 하이퍼 오토메이션이 인간을 대체하는 기술은 아니라는 것이다. 오히려 인간이기에 발휘할 수 있는 각종 지능과 기술들을 극대화하는 것이 하이퍼 오토메이션의 목적이다. 가트너는 하이퍼 오토메이션의 목적이 업무 질의 향상과 빠른 결정 프로세스라고 정의한다.

클라우드 네이티브 플랫폼들
데이터 패브릭과 같은 신형 데이터 아키텍처는 사실 클라우드가 있기에 존재할 수 있다. 온갖 데이터를 실시간으로 수집하고 조사하고 모니터링 해서 어딘가에 저장하거나 전송하고, 또 분석하는 것은 클라우드 없이는 하기 힘들다. 클라우드 없이 하려면 데이터 통제 및 시스템 성능 유지에 어마어마한 비용이 들어갈 것이다. 플랫폼의 유연성과 확장성을 생각하면 클라우드가 대단히 비싸다고 말하기 힘들다.

실제로 코로나 팬데믹이 진행되는 동안 많은 조직들이 클라우드 플랫폼으로 옮겨갔다. 클라우드 컴퓨팅을 본격적으로 공부/연구/조사하고 도입하기까지 했다. 유연하고 언제든지 확장 가능한 IT 인프라가 필요하다는 걸 코로나를 지나며 절실히 느꼈기 때문이다. 앞으로 디지털 전환 프로젝트의 95%는 클라우드로부터 시작할 가능성이 높다고 가트너는 점치고 있다.

데이터 스토리지와 관리
실시간에 가깝게 데이터를 분석할 수 있게 되면서 데이터 소유자들은 자신들의 데이터가 올바른 위치에 있는지 올바른 시기에 확인할 수 있게 되었다. 뿐만 아니라 이런 부분을 제어하는 것도 가능하게 되었다. IT 관리자들과 스토리지 전문가들이 점점 ‘스토리지 위주’에서 ‘데이터 위주’로 넘어가고 있기 때문이다.

이는 어떤 차이를 만들어낼까? 예를 들어 예전에는 모든 의료 관련 데이터와 이미지들을 같은 NAS에 저장했다면, 지금은 사용자의 피드백을 듣고 파일들을 분리하여 따로따로 저장할 수 있게 된다. 이런 분리와 구분 작업을 머신러닝을 통해 자동으로 하는 것도 가능하다. 이러한 관리 기법을 통해 랜섬웨어에 맞서는 것도 가능하다.

결론
2022년은 데이터 관리 및 저장 기술 분야에 있어 매우 중요한 한 해가 될 전망이다. 어쩌면 팬데믹으로부터 돌아서 정상적인 생활을 시작할 수 있는 해가 될 수 있기 때문이다. 일상으로 돌아가면서 우리의 데이터 사용량은 비교할 수 없을 정도로 늘어날 것이고, 더 빠르고 조직적이며 안전한 데이터 관리 기술을 필요로 할 것이다. 데이터 패브릭은 이런 시장의 상황 가운데 핵심적인 역할을 하게 될 것으로 예상되며 좀 더 보편화 된 일상 용어로서 자리를 잡게 될 것이다.

글 : 제시카 데이비스(Jessica Davis), IT 칼럼니스트
[국제부 문정후 기자(globoan@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>