빅데이터 전문가 되는 법

오늘은 빅데이터 전문가 되는 법에 대해서 소개한 서대호 님의 1년 안에 AI 빅데이터 전문가가 되는 법이라는 책을 리뷰해보도록 하겠습니다. 출간이 2020년이고 읽는지는 꽤 지났지만 빅데이터 전문가란 무엇이고 어떻게 공부해야 하는지에 대해서 가이드가 잘 되어 있기 때문에 기록으로 남깁니다.

 

책을 읽게 된 배경

저는 HW 엔지니어로 근무하는 15년 차 회사원입니다. 몇 년 전에 데이터 분석을 접하게 되었는데 데이터 분석을 통해서 올바른 의사결정을 할 수 있다는 게 매력적이었습니다. 그때부터 데이터 분석이라는 분야에 대해서 관심을 갖게 되었습니다. 관심이 생기니 이것저것 공부를 했습니다. 하지만 데이터 분석이라는 분야도 워낙 다양하고 공부할 것도 상당히 많아서 어떻게 공부하고 어떻게 효율적으로 실력을 쌓아나갈 수 있는지 궁금했습니다. 그러던 와중에 서대호 님의 1년 안에 AI 빅데이터 전문가가 되는 법이라는 책을 알게 되어 읽어보게 되었습니다.

 

AI 빅데이터 전문가란 누구인가

AI 빅데이터 전문가는 복잡한 대량의 데이터를 구조화하고 분석하는 일을 하는 사람을 말합니다. 하버드 비즈니스 리뷰에서는 21세기 가장 섹시한 직업으로 데이터 과학자를 뽑았다고 합니다. 4차 산업혁명이 키워드로 대두되고 있는 현실에 점점 더 촉망받는 직업이라고 할 수 있습니다. 수요는 많은데 공급이 부족한 상황이라 연봉도 높다고 합니다. 또한 AI 빅데이터 전문가는 컴퓨터만 있으면 어디든 일을 할 수 있고 다수의 업체에 소속이 되어 자유롭게 일할 수 있는 장점도 있습니다. 정말 매력적인 직업이라고 할 수 있겠습니다.

 

AI 빅데이터 전문가는 어떤 능력이 필요한가?

우선 데이터에 대한 지식이 필요하기에 데이터베이스에 대한 사전 지식이 필요합니다. 과거 RDB뿐만 아니라 최근에 많이 쓰는 No-SQL까지 알아야 합니다. 또한 이와 관련해서 서버에 대한 지식도 어느 정도 필요합니다. 다음으로 데이터 전처리 및 가공 능력은 당연히 필수적입니다. 또한 수학, 통계학적 지식이 있어야 이를 응용해 가공된 데이터로 모델을 만들기 때문에 수학, 통계학적 지식도 필요합니다. 이러한 과정은 다 코딩으로 이루어지는데 파이썬, R, 스파크와 같은 언어도 다룰 줄 알아야 합니다. 분석을 마친 이후에는 결과를 더 잘 알아보기 위해 시각화를 하는 능력도 필요합니다. 분석 결과를 보고서로 작성할 때에는 인문학적 언어 능력, 경영학적 능력도 필요합니다. 분석 결과를 자동화 솔루션으로 제작하기 위해서는 웹 개발 능력까지 필요합니다. 마지막으로 사람들 앞에서 결과를 전할 때에는 뛰어난 의사소통 능력까지 요구됩니다. 정말 이과 문과를 모두 아우르는 만능 능력자입니다.

 

효율적인 공부방법은 무엇인가?

일반적으로 잘 알려진 공부 방법은 학원 또는 국비 지원 프로그램 이용, 자격증 취득, 학위 취득, 회사에서 경력 쌓기가 있습니다. 물론 안 하는 것보다 하는 것이 좋겠죠. 하지만 학원은 단순 코딩 위주의 교육이 이루어져서 깊은 실력을 쌓긴 어렵습니다. 자격증도 알고리즘에 대한 깊은 이해와 데이터를 다룰 수 있는 코딩 능력을 채워주지 못하는 한계가 있습니다. 학교도 아직은 AI 빅데이터 관련 수업이 적다는 문제가 있습니다. 대학원 랩실도 각종 잡무에 시달리느라 공부할 시간이 별로 없습니다. 회사도 관련성 없는 일에 매몰되기 쉬운 문제가 있습니다. 그러면 어떻게 실력을 쌓을 수 있을까요? 모든 공부가 마찬가지로 AI 빅데이터 공부도 단순 암기나 읽기보다는 공부하며 깨닫는 즐거움이 있어야 합니다. 스스로 공부해야 하는 것이지요. 재미있게 스스로 공부하려면 내게 가장 쉽고 편한 것으로 공부해야 합니다. 책, 논문, 강의, 구글링 등 수많은 방법 중에서 내게 맞는 방법으로 내게 맞는 분야를 정하여 깊이 있게 공부하는 게 중요합니다. 자신에게 맞는 공부법 및 분야를 발견하여 이를 계속 갈고닦으면 전문가가 되어 있을 것입니다.

 

AI 빅데이터 전문가 되는 실전 공부법 및 추천 책

1. AI 빅데이터 공부 입문 : 적용 사례 및 기초 개념이 담긴 책을 읽으며 시작하길 추천합니다. 추천 책으로는 <빅데이터 기초 : 개념, 동인, 기법>, <인공지능 시대의 비즈니스 전략>, <빅데이터가 만드는 제4차 산업혁명>, <빅데이터 비즈니스 이해와 활용> <빅데이터 분석과 활용> 등이 있습니다.

2. 데이터 마이닝 분석 방법론에 대한 기본 원리 및 활용 사례를 공부 : 분류, 회귀, 군집, 연관 규칙, 아웃라이어 분석 등 다방면으로 아는 게 중요합니다. 각 알고리즘 원리를 수학적으로 증명할 필요 없고 읽고 이해하고 넘어가는 식으로 공부합니다. 추천 책으로는 <데이터 마이닝 개념과 기법>, <패턴 인식>, <데이터 마이닝 기법과 응용> 등이 있습니다.

3. 실질적으로 도움이 되는 최소한의 자격증 : 한국데이터 산업 진흥원에서 시행하는 '데이터 분석 자격 검정', 'SQL 자격 검정'이 있고 한국 경제에서 시행하는 '경영 빅데이터 분석사'가 있습니다. 또한 한국산업인력공단에서 시행하는 '사회조사 분석사 필기' 시험 정도가 있습니다. 자격증을 취득함으로써 무언가 이득을 얻는다기보다는 취득하는 과정에서 공부가 꽤 도움이 됩니다.

4. 파이썬과 R 코딩 공부 : AI 빅데이터 관련한 라이브러리들은 거의 파이썬과 R에 집중되어 있습니다. 누구나 노력한다면 다른 프로그래밍 언어보다 빠르고 쉽게 익힐 수 있습니다. 추천 책은 <파이썬 라이브러리를 활용한 데이터 분석>, <파이썬으로 데이터 주무르기>, <빅데이터 분석 도구 R프로그래밍> <R라뷰> 등이 있습니다.

5. 수리 통계학 공부 : AI 빅데이터 분석을 위해서 가장 많이 쓰이는 수학은 수리 통계학과 선형대수학입니다. 우리는 AI 빅데이터 분석의 알고리즘 들을 이해할 수 있는 정도로만 공부하면 됩니다. 책을 읽으면서 수식이 나오면 연습장에 적으면서 이해를 합니다. 이해가 되면 넘어가고 이해가 안 되면 인터넷에서 개념을 찾아봅니다. 수식은 외우지 않습니다. 연습문제는 해답을 펼쳐 이해하고 증명이나 유도 문제는 건너뜁니다. 추천 책으로는 <수리 통계학 개론> 이 있습니다.

6. 딥러닝에 관한 서적을 읽기 : 딥러닝 추천 책으로는 <딥러닝 제대로 시작하기>, <밑바닥부터 시작하는 딥러닝><케라스 창시자에게 배우는 딥러닝> 등이 있습니다. 홍콩 과기대 김성훈 교수가 올린 강의도 들을만합니다. CNN, LSTM, 오토 인코더, GAN 등 다양한 딥러닝 모델들을 공부하고 실제 예제 세트를 코드로 돌려보는 것도 도움이 됩니다.

7. 데이터베이스에 대한 기본적인 이론 익히기 : 입문자들은 RDB부터 공부해야 합니다. 오라클 MsSQL, MySQL 등이 모두 RDB입니다. 중급 수준 이상의 RDB에 대한 지식을 쌓아야 합니다. No-SQL은 몽고 DB만 공부하면 됩니다. 추천 책으로는 <Database Concepts>, <SQL 전문가 가이드>, <몽고 디비 인 액션> 등이 있습니다.

8. 캐글 경연대회를 통해 경험 쌓기 : 엄청나게 많은 실전 데이터 세트와 솔루션들이 저장되어 있고 누구나 연습할 수 있습니다. 의지만 있으면 웹상의 수많은 사람들과 협업하며 실력을 키울 수 있습니다.

9. 전문 분야에 대한 논문 읽기 : 자신의 분야 논문을 많이 읽을수록 좋습니다. 정리를 하면서 읽으면 도움이 됩니다. 논문은 구글 학술검색에 키워드로 검색하면 무료로 다운로드하여서 읽을 수 있습니다.  

10. 기타(서버, API, UI 개발) : 서버, API, UI 개발까지 알면 가치가 천정부지로 오릅니다. 서버는 AWS를 공부하는 게 좋고 추천 책은 <아마존 웹 서비스 AWS Disco very Book>이 있습니다. API에 대해서 공부하면 좋은데 대부분 프로젝트가 API를 활용해서 모델 예측 결과를 실시간으로 송신하고 이를 애플리케이션이 수신해서 화면에 뿌려주는 구조이기 때문입니다. 파이썬으로 API를 만들 수 있는데 Flask 라이브러리를 활용하면 좋습니다. 추천 책으로는 <깔끔한 파이썬 탄탄한 백엔드>가 있습니다. 앱 개발은 자바나 코틀린을 이용하고 웹 개발도 자바 또는 자바스크립트를 많이 사용해서 언어가 익숙치 않습니다. 또한 디자인 부분이 들어가면 전문 디자이너의 손길이 필요한 경우가 많습니다. 따라서 간단한 UI개발만이라도 직접 하는 것을 목표로 하고 협업 하는 것도 방법입니다. 파이썬을 이용한 UI 개발은 PyQT나 Tkinter와 같은 라이브러리를 이용해서 C/S방식의 UI소프트웨어를 개발할 수 있습니다. 추천책으로는 <파이썬으로 배우는 알고리즘 트레이팅>, <파이썬 GUI 프로그래밍 쿡북> 등이 있습니다.

 

책을 읽은 소감

책을 읽고 AI 빅데이터가 매력적인 분야이긴 하지만 공부할 것도 상당히 많고 분야도 상당히 많다는 것을 알게 되었습니다. 그러나 가장 중요한 것은 지치지 않고 재미있게 공부하는 게 중요한 것 같습니다. 너무 조급해하지 말고 책의 공부법을 참고하여 방향성을 설정하고 나만의 방식 나만의 속도로 차근차근 공부해야 하겠습니다. 이상으로 빅데이터 전문가 되는 법에 대해 소개한 1년 안에 AI 빅데이터 전문가가 되는 법 리뷰 마치겠습니다.