[15일간의 빅데이터 파일럿 프로젝트] 듣게 된 계기

모델이 어떻게 서빙되는지 몰랐었던 나

자연어처리 교육과정을 듣고 개발자, 쿠버네티스분들과 프로젝트를 진행하게 되었습니다. 데이터분석가로 일도 하고 빅데이터/AI에 대해 열심히 공부하였기에 데이터 수집, 처리, 분석, 모델링에 어느 정도 자신있었습니다. 하지만 다른 분들과 협업하면서 실제 프로젝트를 서빙하는 과정에서 분석 외의 서비스 환경 및 기술, 아키텍처에 대해서 아무것도 모른다는 생각을 하였습니다. 내가 만든 모델이 어떻게 서버에 올라가서 작동하고 유저에게 서비스되는지 이렇게 모를수가 있나... 회사에서는 분석만 잘하면 되었는데... 그렇게 점점 개발자들과 커뮤니케이션이 어려워졌고 의기소침해졌습니다. 하지만 모르는채로 넘어갈 수 없었기에 교육 강의들을 찾아보았습니다. 그렇게 인프런에서 "15일간의 빅데이터 파일럿 프로젝트"하는 강의를 찾게 되었고 수강하게 되었습니다. 

 

강의 수강 후 기대되는 나의 모습

1. 빅데이터를 통해 머신러닝, 딥러닝으로 이어지는 모델들이 어떻게 서빙이 되는지 구조를 안다.

2. 수집, 적재, 처리, 탐색, 분석 등 빅데이터의 프로세스에서 사용되는 오픈소스와 시스템들에 대해서 안다.

3. 막연하게만 느껴지는 빅데이터, AI 시스템의 구조와 분산 환경의 동작 원리를 더 쉽게 이해하게 된다.

4. 데이터레이크 구축과 분석 주제 영역별 마트 구축할 수 있다

5. 배치 데이터, 리얼 타임 데이터의 수집 정재되는 과정 이해할 수 있다

6. API를 개발하여 호출하며 서비스에 활용할 수 있다 .

 

강의 OT 내용

파일럿 프로젝트 종류

PoC : 프로젝트에 사용되는 기술과 아키텍처들에 대한 컨셉을 증명하는 것

PoV : 프로젝트가 비즈니스적으로 어떠한 효익이 있는지 그 가치를 증명해 보는 것

BMT : 대규모 인프라에 대한 성능과 가용성을 테스트하기 위한 파일럿

 

프로젝트 환경 구성

 

데이터 처리와 분석의 특성에 따른 데이터 유형

- 리얼타임 데이터 : 운전자의 이벤트 정보 (HBase에 적재)

- 배치 데이터 : 스마트카의 상태 정보 (하둡에 적재)

 

 

 

참고 강의 

인프런 "15일간의 빅데이터 파일럿 프로젝트(Big.D)" :