데이터 과학의 필요성은 여전하나, 데이터 과학 학위가 예전만큼 ‘프리패스’로 취급되지는 않는다. 오히려 데이터 엔지니어라는 전문가들에 대한 수요가 높아지는 추세다. 데이터 과학이 아니라 데이터 엔지니어가 되어야 하는 이유를 4가지로 꼽아본다.

[보안뉴스 문정후 기자] 약 10년 전만 해도 데이터 과학자는 대단히 촉망 받는 직업이었다. 하버드 비즈니스 리뷰에서는 21세기에 가장 ‘섹시한 직업’으로 데이터 과학자를 꼽기도 했다. 하지만 이제 그러한 다소 흥분된 분위기는 가라앉아 있고, 데이터 과학에 대한 열망 역시 예전과 같은 수준은 아니다. 데이터 과학의 필요가 사라진 것은 아니지만 말이다.


데이터를 다루는 분야에서 커리어를 시작하고 싶고, 마침 프로그래밍을 어느 정도 할 줄 안다면 이제는 데이터 과학자가 아니라 데이터 엔지니어가 되는 게 낫다고 필자는 생각한다. 여기에는 크게 네 가지 이유가 있다.

1. 수요와 공급
초급 데이터 과학자 자리를 놓고 벌어지는 시장 내에서의 경쟁은 치열하다는 말이 부족할 정도다. 지금 이 순간에도 데이터 과학자 자리에 입사 원사를 내는 사람은 셀 수도 없이 많다. 링크드인에서 2020년 조사한 바에 의하면 데이터 과학자 입사 지원자가 데이터 엔지니어 입사 지원자보다 2배 가까이 많았었다.

왜 그런 걸까? 일단 데이터 과학자가 되고 싶어하는 사람들이 많다 보니 대학에서 이를 아주 잘 반영했다. 데이터 과학 코스와 졸업장을 제공하는 곳이 무척 많으며, 대학이 아니더라도 부트캠프가 수없이 많이 존재한다. 공부를 시작하려는 입장에서는 데이터 과학만큼 접근성이 좋은 분야도 드물다. 그러니 많은 이들이 지원하고, 공부하고, 수료해서 입사 지원서를 내는 것이다.

데이터 엔지니어링은 사정이 정 반대다. 일단 미국에서는 데이터 엔지니어링이라는 학사나 석사 코스를 제공하는 기관이 단 하나도 없다. 심지어 원격 학습 기업이나 부트캠프에서도 데이터 엔지니어링 학습 코스를 찾기 힘들다.  그런 상황에서 데이터 엔지니어에 대한 수요가 점점 높아지고 있어 학술 기관들이 조금씩 관심을 갖기 시작했다. 곧 데이터 엔지니어 붐이 일어날 조건들이 갖춰지는 중이다.

2. 연봉
평균 연봉이라는 게 그리 큰 의미를 가지고 있지도 않고, 데이터 엔지니어들의 연봉 수준을 가늠할 만한 데이터가 존재하는 건 아니지만 현재까지 시장 상황을 보면 데이터 과학자와 비슷하거나 더 높은 수준으로 보인다. 미국 기준 데이터 과학자들의 평균 초봉은 102,000 달러로 현재까지 집계되고 있다. 이것도 대단히 높은 수준이라고 볼 수 있다. 데이터 엔지니어들은 이것보다 약 15% 정도 높은 것으로 알려져 있다.

3. 스타트업
대단히 당연한 말이지만, 데이터 과학자가 회사에서 실력을 발휘하고 회사의 발전에 공헌하려면 데이터가 있어야 한다. 데이터가 없으면 데이터 과학자의 분석 실력이나 머신러닝 모델 구축 실력이 발휘될 수가 없다. 그러니 어지간한 스타트업에서는 데이터 과학자들이 활동하기 힘들다. 구직의 기회를 셈할 때 어지간한 스타트업들은 제해야 한다는 뜻이 된다. 하지만 데이터를 캡처하고, 변형하고, 이동시키는 데이터 엔지니어들은 어느 스타트업에서나 일할 수 있다.

실제 스타트업을 전문으로 하는 구인구직 사이트인 앤젤리스트(AngelList)에 의하면 데이터 엔지니어를 구하는 기업의 수가 데이터 과학자를 구하는 기업의 수보다 약 15% 이상 많다고 한다. 스타트업으로의 취직을 꿈꾸고 있거나, 스타트업을 운영하고 싶다면 데이터 엔지니어가 훨씬 유리하다.

4. 데이터 엔지니어링 시작하기
위에서 데이터 엔지니어링이라는 학위를 대학교에서 취득하는 게 현재로서는 불가능하다고 말했었다. 그 말은 곧 데이터 엔지니어가 될 수 있는 정규 코스가 없다는 뜻이고, 다시 그 말은 학위나 타이틀이 아니라 오로지 실력으로 데이터 엔지니어가 될 수 있다는 뜻이 된다.

물론 학위를 따는 게 진짜 실력을 쌓는 것보다 더 쉬운 게 보통이기 때문에 어떤 사람들에게는 이게 좋은 소식이 아닐 수 있다. 하지만 ‘실력만 있으면 직업을 구할 수 있다’는 건 데이터 분야에 도전하려는 대부분의 사람들이 반길 것이라고 필자는 생각한다.

한 가지 강조하고 싶은 건, 데이터 엔지니어가 되는 정규 코스가 아직 없다고 해서 아무나 데이터 엔지니어가 될 수 있는 것 아니라는 점이다. SQL과 파이선은 반드시 다룰 수 있어야 한다. 그리고 점점 더 클라우드에 대한 전문성도 요구되는 게 현장에서의 분위기다. AWS, MS 애저, 구글 클라우드 등 유명 공공 클라우드 정도는 당연하다는 듯이 다룰 수 있어야 회사들이 선호한다. 여기에 더해 프리펙트(Prefect), 에어플로우(Airflow), dbt, 에어바이트(Airbyte)와 같은 서비스들을 습득한다면 데이터 엔지니어로서의 매력을 강력히 어필할 수 있게 된다.

데이터 과학자를 좀 무시하는 듯 말했지만, 사실 데이터 과학 학위를 가진 것에 더해 프로그래밍 기술과 클라우드 기술을 익힌 사람들이 현장에서 대부분 데이터 엔지니어로 활동을 시작한다. 데이터 과학과 데이터 엔지니어는 매우 유사하며, 서로에게 깊은 관련성을 찾는 분야들이다. 데이터 엔지니어가 되고 싶은데 어디서부터 시작해야 될지 모르겠다면 데이터 과학 부트캠프부터 신청해도 된다.

빠르게 변하는 현대 사회에서 높은 연봉과 세련된 직업을 가지고 싶다면 데이터 엔지니어링에 도전하라.

글 : 제프 헤일(Jeff Hale), 개발자,  Prefect
[국제부 문정후 기자(globoan@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>