안녕하세요.
오늘은 빅데이터전문가 되는법, 하는일, 연봉 등에 대해서 알아보겠습니다.
빅데이터전문가란?
빅데이터는 쉽게 데이터라고 생각을 해보면 보통 숫자로 된 각종 수치자료들을
떠올리게 되는데 빅데이터는 그 이름에 해당하는 "BIG"처럼 숫자뿐 아니라 문자와 영상등
모든 형식의 데이터를 다 포괄하는 대규모 데이터라고 생각하면 됩니다.
아무래도 빅데이터는 규모가 방대하고 생성주기도 짧은 편인데, 방대하고 거대한 정보 속에서
필요한 데이터를 찾아내 분석하는 직업이 바로 빅데이터전문가입니다.
빅데이터의 큰 수요층 중 하나가 정부기관인데요.
정부사업에서 빅데이터 필요가 커지면서 빅데이터 사업에 할당된 예산이 점점 커지고 있습니다.
빅데이터의 3대요소 (3V)
양(volume), 속도(velocity), 종류(variety)
기존통계와 차이는 정해진 숫자를 통계로 봤다고 하면
통계 : 매장의 손님의 명수만 확인하는 것
빅데이터 : 손님과 매장에 손님의 동선까지도 확인가능하다.
IOT가 나오면서 빅데이터라는 분야가 부각이 된것도 있다.
빅데이터전문가의 역할, 빅데이터전문가 되는법
빅데이터 전문가는 3가지로 분류된다.
데이터 분석가, 데이터 사이언티스트, 데이터엔지니어
데이터 분석가 (애널리스트)
데이터 분석, 처리 및 비즈니스에 유의미한 결과 창출
분석 도구를 활용해서 데이터 보고서 설계 및 작성ㅁ
데이터 사이언티스트
과거 패턴으로부터 미래 예측
비즈니스에 여러 알고리즘을 적용시켜 새로운 분석 모델 및 머신러닝 모델 수정 및 개발
통계학과, 수학과 출신들이 많다.
R같은 툴, 엑셀 등 데이터 분석에 대한 툴을 이용한다.
모델링을 하는 역할을 한다.
데이터 엔지니어
데이터 웨어하우스, 데이터베이스 구축 및 관리
데이터 파이프라인 구축
SQL 튜닝, 대용량/실시간 시스템 개발(Hadoop, Spark)
시스템개발자는 쉽게 말해 엔지니어 대량의 데이터를 다루는 것은 맞지만 상관관계를 분석하거나
인사이트를 뽑아내거나 데이터 분석가와는 다르다
진로를 정할때 시스템엔지니어로서의 빅데이터전문가가가 될지
데이터전문가가 될지에 대해 알아보고 판단하여 공부를 시작하는것이 좋다.
빅데이터전문가가 하는일
데이터 분석가는 주로 프로모션 KPI를 수립하거나 비즈니스 의사결정에 필요한 데이터
분석 업무를 한다. 그래서 무엇보다도 해당 비즈니스 전반에 대한 도메인 지식이 중요하다.
도메인을 잘 이해하고 있어야 어떤 데이터가 필요할지 정의하고 데이터를 분석해서
개선안을 마련할 수 있기 때문입니다.
빅데이터 전문가는 거의 모든 분야의 기업에서 내/외부 데이터를 이용하여 분석하게되고
기업경영에 도움이 되는 정보를 만들어 제공하게 됩니다.
빅데이터 전문가는 정보통신 기술(ICT) 분야의 직업인 컴퓨터 시스템 설계 분석가, 시스템 소프트웨어 개발자, 응용 소프트웨어 개발자 등의 직업과 관련성이 높습니다.
도메인에 대한 전문성을 갖는 것이 중요하고 또한 의사결정권자들 앞에서 분석된 데이터를
보고하고 설득해야 하기 때문에 데이터 시각화 능력과 커뮤니케이션 능력이 중요하다.
데이터 시각화에는 Power BI 나 Tableau, Google Analytics 등 툴들이 있고
데이터 분석가 업무에는 프로그래밍 능력이 필수로 요구되는 것은 아니지만 데이터를 가공하여
분석하는 과정에서 SQL, Pyhon, R등의 언어를 사용하기 때문에
최소한 데이터 분석을 위한 수준으로 공부를 하면 좋다.
데이터 사이언티스트는 주로 특정 비즈니스 도메인 안에서 머신러닝, 딥러닝 모델을 연구 및 개발하고
서비스 품질을 개선하는 역할을 하고 있습니다. 그러므로 데이터사이언티스트 역시 데이터분석가와 마찬가지로
도메인 지식이 굉장히 중요합니다. 도메인을 정확하게 알고 있어야 문제를 파악하고 이를 위한 예측 모델을 설계할 수 있기 떄문입니다. 또 모델을 개발하기 위해서 수학, 통계, 프로그래밍 능력이 필요한데요.
모델을 개발할 때, 가령 쿠폰을 보내줘야 되는 고객을 정확하게 예측할 수 있는 알고리즘을 설계하는 데에
수학과 통계적인 지식들이 요구되기 때문입니다.
데이터 사이언티스트는 통계학과나 수학과, 컴퓨터공학과 출신을 선호하는 경향이 있습니다.
프로그래밍은 Python, scala 등을 공부해야하고 딥러닝 모델을 다루는 pytorch, tensorflow와 같은 라이브러리들도
능숙하게 다룰수 있어야 한다. 또 직접 빅데이터 저장 플랫폼에서 데이터를 읽어와야 하다보니 Hadoop이나 Spark에 대한 지식이 플러스 요인으로 작용할 수 있습니다.
데이터 엔지니어는 사실상 개발자라고 생각하시면 됩니다.
데이터 파이프라인을 구축하고 성능을 최적화 하는 등의 업무를 주로 담당하므로
프로그래밍 지식 외에도 데이터웨어하우스, Hadoop이나 Spark 같은 빅데이터 플랫폼 관련 업무 경험과
지식을 필요로 합니다.
이런 것들은 학생들이 학교에서 배우기 어려운 주제들인데요. 그렇다보니 백엔드 개발자로 커리어를 시작해서
직무를 변경하여 데이터 엔지니어가 되는 케이스들을 종종 보게 되는 것 같습니다.
또한 데이터 엔지니어에게도 당연하게 도메인 지식이 필요로 한데 도메인에대한 이해가 있어야
효율적으로 데이터를 수집/가공/저장 할 수 있기 때문입니다.
요즘에는 데이터 엔지니어와 데이터 사이언티스트의 업무가 겹치는 경우도 많아서
머신러닝 관련 지식이나 기술을 요구하는 경우도 있습니다.
빅데이터관련 직종 연봉
빅데이터분석가
초봉 : 3,357만 ~ 3,500만
평균연봉 : 5,000만
빅데이터 개발자
초봉 : 3,391만 ~ 3,500만
평균연봉 : 5,200만
빅데이터사이언티스트
초봉 : 3,500만 ~
평균연봉 : 5,300만
연봉은 석사 이상부터 7천~8천 만원 이며 해외에서는 빅데이터 전문가에 대한 대우가
더 좋다고 앍고 있습니다.
빅데이터전문가 관련 자격증
ADsp, SQLD, 빅데이터분석기사, 컴퓨터활용능력1급, 정보처리기사, OCP, CCNA, CCNP, AWS, ZURE,
GCP 등
빅데이터전문가 현실
현재 빅데이터전문가로서의 교육을 받을수 있는 국내 대학교의 수가 굉장히 적은 편이기에
타학과에서 교육을 받고 직무를 변경하는 경우가 굉장히 많으며 딥러닝을 통한 빅데이터에
대한 개념에 대해서도 아직 우리나라는 잘 알려지지 않은 것이 현실입니다.
또한 빅데이터전문가로서 기업에 취업을 하려고 한다면 최소 학력이 석사학위 입니다.
단기간에 배울수 있는 학문은 아니기 때문에 경력을 필요로하는 직업군입니다.
빅데이터전문가 전망
대부분의 기업들에서는 빅데이터 전문가를 정말 많이 필요로 합니다.
그에비해 아직 정규교육과정에서는 교육이 제대로 제공이 되지 않고 있고
빅데이터라는 분야 공부에 몰두를 한다면 취업시장에서는 큰 메리트가 있으며 전망은
굉장히 밝다고 예상됩니다.
이상으로 빅데이터전문가 되는법, 연봉, 하는일에 대해 알아봤습니다.
열심히 노력한다면 얼마든지 가능하니 화이팅!
궁금하신것들은 하단 통해 댓글 남겨주시면 답변드리겠습니다.
댓글