잘될 수밖에 없는 너에게라는 책을 회사 동료로부터 선물을 받아서 읽게 되었습니다. 간절한 마음으로 저자의 이야기를 읽고 있을 독자를 위해 작은 도움이라도 되고 싶은 마음으로 책을 출간하였으며 읽으면서 정서관리가 되었고 많은 부분이 가슴에 와닿으며 많은 생각을 하게 되었습니다. - 욕심쟁이는 스스로의 욕망을 인정하고 삶에 한계를 두지 않는, 두려움 없이 스스로에게 솔직한 사람이다. - 우리가 집중해야 할 것은 잘못하지 않고 미움받지 않는 게 아니라 같은 실수를 반복하지 않는 것, 어제의 나보다 좀 더 나아지는 것뿐이다. - 지금보다 더 나은 내가 되기 위해 하는 노력 중 가장 신경 쓰는 것은 글쓰기다. 머릿속에서 흘러 다니는 수많은 생각을 글로 기록하고 자료로 만든다. 현재 내 지적 수준이나 감정 상태를 ..

데이터 엔지니어로 실무를 하면서 2년차에 접어들게 되었는데 조직의 다양한 개편으로 인해 작년과 다르게 데이터를 바라보는 시각이 넓어지게 되었습니다. 세미나를 참석하면서 다양한 데이터를 다루는 조직을 간접 경험하게 되었고 tech 블로그를 통해서 다른 기술사의 조직 운영 및 기술 발전과 커리어에 대해 관심이 많이 가지게 되었습니다. 구글이 일하는 방식이 궁금하고 수만 명의 엔지니어가 다듬어온 소프트웨어 엔지니어링 지식에 대해 더 자세히 알고자 책을 선택하게 되었습니다. - 이 책은 소프트웨어 조직이 설계, 아키텍처 잡기, 코드 작성 시 명심해야 한다고 믿는 세 가지 기본 원칙을 강조고 있습니다. 코드가 수명을 다할 때까지 새로운 요구사항에 잘 적응하려면 어떻게 해야 하는가? 에 대한 시관과 변경, 커져가는..

스파크를 공부하면서 하둡에 관심이 가기 시작했고 실무로 배우는 빅데이터 기술의 책을 읽고 간단한 사이드 프로젝트를 진행하면서 하둡 에코시스템에 대해 디테일하게 알고 싶어 책을 선택하게 되었습니다. - 2005년 더크 커팅이 오픈 소스로 공개한 하둡은 분산 저장 파일시스템인 HDFS와 분산 병렬 처리를 담당하는 맵리듀스로 구성되어 있음, 하둡이 나온 후 이를 기반으로 피그, 하이브, HBase, 스쿱, 플룸 등의 오픈 소스 기술이 등장했고, 이들을 모두 결합한 빅데이터 기술은 통칭하여 하둡 에코시스템이라고 부르게 되었음, 스파크의 등장으로 대용량 데이터를 저장하고 일괄 처리하는 수준에서 벗어나 머신러닝과 실시간 분석까지 아우르게 되었음 - 이 책은 하둡의 핵심, 하둡 에코시스템 관련 프로젝트, 하둡 사례 ..

- 데이터 플랫폼을 운영하면서 ELT 데이터 파이프라인을 관리하면서 이러한 시스템에 대한 구조를 조금 더 깊게 파악하고 싶어서 책을 읽게 되었습니다. 이 책은 데이터 파이프라인을 소개하며 최신 데이터 인프라와 ETL 구조의 예시를 사례와 코드를 통해서 정리해놨으며 파이프라인 오케스트레이션에 대한 설명도 하고 있어서 전반적인 구조를 알 수 있어서 유익하였습니다. - 데이터 분석이 잘 이뤄지기 위해서는 분석에 필요한 형태로 잘 정리된 데이터가 필요하고, 원하는 분석 결과를 얻기 위해서는 적합한 기간의 정확한 데이터가 필요함, 이러한 데이터들은 잘 구성된 데이터 파이프라인 안에서만 만들어질 수 있는데 이 책은 데이터 파이프라인의 전반적인 소개와 패턴을 다룸, 데이터 파이프라인 각 단계를 계획할 때부터 구성 후..

- 선배의 선물로 읽게 된 책은 오랜만에 IT 서적이 아닌 힐링 에세이를 읽게 되었다. 책 표지에 근데 어차피 뛰어내릴 거, 그러기 전에 네가 꼭 하고 싶었던 거 하고 와. 의 부분에 많은 감정을 느끼게 되었다. 이 책은 1장 바들바들 덜덜덜 떨린다, 2장 뭐야 인생 생각보다 기네, 3장 두 발 딱 붙이고 검을 뽑아보자, 4장 푸하하가 모여서 행복이 되는구나, 5장 가장 행복한 순간은 아직 안 왔다 로 이루어져 있다. - 책은 비교적 가벼운 소재와 이야기로 서술되어 있으며 그 안의 내용으로 하여금 독자에게 많은 상상과 감정을 주는 거 같았다. 여러 에피소드 중에서 가장 기억에 남는 에피소드 몇 가지를 기록하고자 합니다. - 언제 나을지도 모르지만 그냥 놔두는 고통스러운 입병처럼 내가 겪는 아픔도 언젠가 ..

- 이 책은 Apache Airflow의 개념과 적용 방법에 대한 설명뿐만 아니라, 실제 서비스 운영 시 고려해야 할 모니터링, 확장, 보안 등에 관한 내용에 관한 내용을 상세하게 안내하고 있으며 , 다양한 클라우드 환경에서 활용하는 방법까지 다루고 있습니다. 또한 Airflow 설치부터 파이프라인 작성, 테스트, 분석, 백필 그리고 배포 실습까지 한 번에 해결할 수 있어 많은 도움이 되었습니다. 책에서는 전반전익 Airflow에 대해 설명하고 있으며 기초, 중급, 실습으로3단계에 나눠서 소개하고 있습니다. 특히 클라우드에서 Airflow 관리에 대해서 AWS, GCP, Azure에 대해서 실습을 통해 더 자세하게 알 수 있었으며 운영하고 있는 Airflow에 대해서 시스템적으로 돌아보게 되는 계기가 되..

- 클라우드 기반의 데이터 엔지니어 운영 업무를 하면서 하둡 에코시스템에 대해 구축하는 것과 클라우드가 아니라 온프레미스 일 경우에 시스템 구축하는 법에 관해 관심을 가지다가 이 책을 접하게 되었습니다. 빅데이터 수집/적재, 처리/탐색, 분석/응용까지 스마트카의 빅데이터 파일럿 프로젝트를 단계별로 진행하면서 각 영역의 아키텍처와 활용 기술들에 대해 배울 수 있어서 좋았습니다. 또한 해당 책은 인프런에서 15일간의 빅데이터 파일럿 프로젝트 강의까지 있어서 공부하는 데 있어서 많은 도움이 되었습니다. - 빅데이터 프로젝트중 플랫폼 구축형 프로젝트, 빅데이터 분석 프로젝트, 빅데이터 운영 프로젝트에 관해서 배우며 빅데이터 R&R에 대해 생각을 하게 되는 계기가 되었고 스마트카라는 서비스와 도메인에 대해 설명을..

- 이 책은 스파크의 기초적인 내용부터 처리, 운용, 관리, 모니터링, 그리고 머신러닝, 그래프에 이르기까지 다양한 내용을 종합적으로 잘 설명하고 있습니다. 스파크의 기본부터 심화까지 책을 읽고 스파크에 대해 더 깊게 알게 되었으며 스파크에 대해 어느 정도 알고 있는 분이라면 재밌어서 금방 읽게 될 것입니다. 해당 코드는 저자의 깃허브에서도 확인할 수 있으며 Scala와 Pyspark 코드를 통해서 이해하는데 많은 도움이 되었습니다. - 책의 유형은 크게 스파크에 대해서, 구조적 API로 Dataset, DataFrame, SQL과 구조적 스트리밍에 관하여 자세하게 설명하고 있고 스파크 튜닝부터 모니터링과 디버깅까지 많은 내용을 담고 있어서 스파크를 공부하는데 있어서 많은 도움이 되었습니다. 또한 스파크..