SI에서 일을 하다보니 그룹사의 다양한 곳으로 파견을 다니면서 일을 한 한 해였습니다. 2021년 회고록을 돌아보며 일상의 루틴과 계획했던 부분에 대해 현재까지 잘 지켜진 부분도 있고 페이퍼 리뷰나 기술블로그 관련해서는 아쉬운 점들도 있는 거 같습니다.
선, 후배, 팀 동료를 만나 사회생활을 많이 배웠으며 2022년에 데이터 엔지니어로 성장을 한 경험을 정리하고 합니다.
데이터 엔지니어로의 실무
이커머스 영역에서 2개의 애플리케이션 데이터 파이프라인을 관리하고 있으며 추천을 위한 데이터 전처리를 하였습니다. 운이 좋겠도 대기업 벤처 프로젝트 현장에 투입되어 AWS 환경 속에서 다양한 툴을 사용해서 경험을 하게 되었습니다. 주요 업무는 데이터 ELT와 BI를 위한 마트 생성, 빅데이터 인프라 운영이였습니다. 정말 좋은 사수분들 아래서 많이 배우게 되었고 개인공부를 통해서 실무에 많이 적용을 해보게 되었습니다. 사수분들에게 배울 때는 내가 적용해본 코드를 비교해볼 수 있었고 트러블슈팅 시 어떻게 해결을 했는지, 그리고 노하우 같은 것도 많이 들었던 거 같습니다. 또한 좋았던 점은 다양한 프로젝트 현장에서 나온 경험들을 간접경험 할 수 있었던 거 같습니다. 사수분들의 퇴사로 인해서 2달 정도 혼자 시스템을 운영을 하였는데 이 당시에 운영을 하면서 그동안 모르고 있었던 부분들이 하나하나 보이기 시작했습니다. 많은 파트에서 데이터의 문제로 문의가 들어오게 되면서부터 시스템 공부를 뎁스 있게 하기 시작했고 혼자 운영하는 2달에 스킬업이 엄청 되었던 거 같습니다. 새벽에 추천 배치관련해서 장애대응을 많이 하여 몸은 힘들었지만 기술적인 성장과 애플리케이션과 같이 성장하는 모습이 좋았고 데이터 엔지니어로서 커리어 전환을 시작하려는 계기가 되었습니다.
조직의 내부사정으로 인해 기존에 있었던 프로젝트를 철수하게 되었고 7일 정도의 휴가를 간 뒤에 렌탈 고객 데이터 플랫폼 운영 프로젝트 투입이 되었습니다. IT 붐에 SI 업체이다 보니 조직내부적으로 많은 이탈이 있었고 그로 인해서 프로젝트에서 의사결정에 많은 부분을 하게 되었습니다. 운영하는 플랫폼이 솔루션 베이스다 보니 많이 제한적인 부분도 있었고 기술환경도 많이 바뀌어서 아쉬운 부분이 많았습니다. 또한 도메인이 바뀌면서 적응하는데 시간이 어느 정도 소요되었고 같이 손발을 맞추던 팀동료 분들이 바뀌는 게 많은 아쉬움을 남겼던 거 같습니다. 시니어의 피드백이 없었고 나의 지식 부족으로 많은 깨달음을 얻었던 경험들이 있습니다. 그중 하나는 운영을 하면서 이건 왜 이렇게 짰을까?라는 의문이 알고 보니 Kimball의 다차원 모델로 DW의 효율성을 고려해서 짰던 부분이었고 이를 통해 아는 만큼 보이는구나라며 조금 더 폭넓은 공부를 해야겠다는 자극을 받았습니다. 플랫폼을 만든 회사가 Fluentd를 만든 회사로 클라우드 하둡 플랫폼에 엔지니어링적으로 많은 부분을 오픈해 놨습니다. 엔지니어링적으로 다양하게 적용을 해볼 수 있어서 하둡부터 시작해서 DW, DM 그리고 BI까지 많은 부분을 경험하고 실무에 적용시키려고 하였습니다. 렌탈에 플랫폼을 이제 막 도입을 하게 되면서 데이터 ELT 파이프라인을 개발하고 워크플로우 개발 및 Data Quality 검증까지 엔지니어링 쪽으로 많은 부분을 하게 되었습니다. 또한 현업의 마케팅 분석에 대한 니즈로 인해 MTA나 클릭스트림분석 등 마케팅 분석과 태블로 시각화를 위한 ETL과 대시보드 생성까지 다양한 영역에 기여를 하였습니다. 데이터 엔지니어링뿐만 아니라 분석과 BI까지 다양하게 실무에 적용해봐서 좋았습니다.
스킬업
운영하면서 튜닝 포인트나 트러블 슈팅이나 타사 회사에서는 어떻게 데이터를 처리하는지 궁금하게 되면서 기술블로그를 많이 보게 되었습니다. 다양한 회사에서 너무나 양질의 글을 올려주어서 많이 배우는 거 같습니다. 구글링 하면서 포스팅된 게시글을 읽거나 국내 기술블로그 같은 경우에는 TechBlogPosts나 FooBar에서 엔지니어링 관련된 주제로 많이 보는 거 같습니다. 해외 기술블로그 같은 경우 에어비앤비나 넷플릭스, 우버 등 포스팅된 글을 읽고 정리하려는 습관을 가지려고 하고 있습니다.
사내강의, 인프런이나 udemy 등 프로젝트 스택과 관련된 부분에 대해서 인강을 들었고 조금 더 디테일하게 배우고자 관련된 책을 읽게 되었습니다. 사놓고 아직 읽지 못한 책(쿠버네티스, 카프카, 테라폼 등), 선물 받았지만 아직은 안 읽은 책(데이터 과학자와 데이터 엔지니어를 위한 인터뷰 문답집, 언젠간 읽으려고 생각 중인데 동기에게 많은 미안함을 표현하고 있습니다.)을 내년에는 읽어보려고 합니다. 또한 이종립님, 한정수님 등 개발에 관련된 책뿐만 아니라 다양한 분야의 책을 읽으시는 걸 보고 본받아야겠다는 생각을 하게 되었습니다.
위키독스의 책까지 포함하면 2022년에는 나이만큼 책을 읽었던 거 같습니다.
올해 근무지가 코엑스 근처여서 종종 세미나를 들으러 갔습니다.세미나 참석을 하게 된 이유는 기술의 호기심과 다른 개발자나 데이터에 종사하시는 분들은 어떻게 일을 하는지 궁금한 부분이었던 거 같습니다.
AWS 온라인 세미나 및 오프라인 세미나를 참석해서 시야를 넓혔으며 다양한 분들을 만나며 많은 자극을 받게 되었습니다.
기록
해보고 싶은 것은 많지만 주니어로서 견해를 넓히는 것과 실무에 적용해볼 기술 위주로 커밋을 했던 거 같습니다. 팀동료분이 무엇을 물어볼 때 깃허브에 정리해 놓은 것을 활용해서 많이 대답을 하는데 조금 더 체계적으로 정리를 하는 것과 이제 조금은 오픈소스 느낌의 리포지토리를 만들어 보고자 합니다.
고성능 파이썬의 저자인 이안 오스발트는 다음과 같은 말을 서술하였습니다. 축하할만한 일의 로그를 작성하라는 것입니다. 성취했던 일을 잊고 일상에 묻혀 지내기 쉽습니다. 사람들은 쉴 새 없이 달리기 때문에 번아웃되는 게 아니라, 자신이 얼마나 발전했는지 잊어버려서 번아웃된다. 축하할만한 일의 목록을 만들고, 각각 어떻게 축하할지 적어보아라. 이런 의미에서 회고를 하면서 한 해를 돌아보는 과정이 새로운 해에 번아웃은 없이 기술을 갈고닦는데 도움이 된다고 생각합니다.
해당 서적을 읽으면서 많은 생각이 들게 되었고 깃허브에 개인 공부를 커밋하면서 축하할만한 로그를 작성하고 있다 생각이 들었습니다.
계획
- 2022년에는 수행하던 프로젝트 위주로 기본기를 닦는 해였다면 2023년에는 관심 있는 주제로 사이드 프로젝트를 진행하고자 합니다.
- 데이터 엔지니어링 스터디를 참여하여 다양한 사람들을 만나려고 합니다. 먼저 상반기에는 쿠버네티스에 대해 스터디를 시작하려고 합니다. 하반기에는 자바 언어에 대해 배우려고 합니다.
- 실무를 하면서 모르는 엔지니어링 지식에 대해 따로 기록을 해놨지만 이 부분들을 노션에 체계적으로 기록하려고 합니다.
- 부족한 CS 지식과 자료구조, 알고리즘에 대해 많은 시간을 쏟긴 힘들겠지만 꾸준히 공부하려고 합니다.
- 영어에 대해 많은 필요성을 느끼며 기술블로그 및 원서를 최대한 영어로 읽으려고 노력하려고 합니다.
- 마지막 20대에 크로스핏 대회나 스파이더 SAC 트라이아웃 플레티넘에 참가하는 것입니다.
- 23년에는 해외여행을 다녀오거나 맥북을 사는 것입니다.
'About me' 카테고리의 다른 글
| 2021년 1년차 주니어 데이터 사이언티스트의 회고록 (5) | 2022.01.02 |
|---|---|
| [온라인강의들] python 독학했던 온라인강의들 (0) | 2019.12.01 |
