이 책은 데이터 엔지니어로서 필요한 지식과 실무적 통찰을 제공하는 97가지 조언을 담고 있습니다. 책에는 데이터 전문가들이 다양하고 구체적인 문제를 극복하면서 얻은 경험과 교훈을 담고 있어서 가볍게 읽기 좋았습니다.주요 내용으로는 일관성과 최종 일관성에 대한 개념, 스토리지 계층의 효율적인 사용, 데이터 파이프라인의 설계 패턴, 그리고 변경 데이터 캡처(CDC)와 메시징 시스템의 중요성입니다. 또한, 데이터 레이크와 데이터 사일로, 데이터 계보 추적 및 관측 가능성의 필요성도 다루고 있으며 실용적이고 확장 가능한 데이터 시스템 구축을 위한 다양한 접근법을 제시하고 있습니다. 데이터 엔지니어링의 이론적 기반부터 실무적 적용까지 폭넓게 다루며, 새로운 기술 트렌드를 가볍게 소개하는 동시에 효율적인 설계 방법..

데이터 엔지니어로 실무를 하면서 연차가 쌓일수록 데이터 신뢰성과 품질에 대해서 많은 중요성을 느끼게 되었고 데이터 카탈로그나 데이터 계보, 데이터 품질 문제 해결, 신뢰성 높은 데이터 시스템을 구축 및 운영에 대해서 인사이트를 얻고자 책을 읽게 되었습니다.데이터 품질의 비밀은 데이터 시스템의 신뢰성 확보와 데이터 품질 관리에 중점을 둔 책입니다. 저자는 데이터 정제와 분석을 넘어서, 신뢰할 수 있는 데이터 시스템을 구축하는 모범 사례와 기술을 소개하며, 데이터 파이프라인에서 다운타임을 방지하고 품질을 유지하는 방법을 강조하고 있습니다.이 책은 데이터 엔지니어와 분석가를 대상으로 하며, 데이터 파이프라인의 복잡성과 다운타임 문제를 해결하는 실용적인 가이드를 제공합니다. 특히 데이터 레이크, 웨어하우스, 레..

이 책은 CKA 취득 후에 Kubernetes 환경에서 airflow와 trino 그리고 kubeflow를 활용한 MLops 프로젝트를 위해서 사전에 공부를 하게 될 겸 읽게 되었습니다. 책을 읽으면서 예제 코드를 실습할 때 CKAD를 병행하여 재밌게 읽었던 거 같습니다. 이 책은 쿠버네티스에 애플리케이션을 배포하거나 쿠버네티스 기반 애플리케이션에 적용할 수 있는 패턴과 사례를 배우려는 실무자를 대상으로 하고 있습니다. 쿠버네티스를 활용한 애플리케이션 개발, 운영 환경 구축에 필요한 포괄적인 지식을 제공하며 각 패턴별로 모범 사례를 소개하고 있어 실무를 하는데 많은 도움이 될 거 같습니다. 글로벌 애플리케이션 분산: 사용자 경험 향상을 위해 애플리케이션을 글로벌하게 분산 배포하는 전략을 탐구합니다. 레이..

이 책은 빅데이터를 지탱하는 기술, 데이터 파이프라인 핵심 가이드와 더불어 데이터 엔지니어링에 관한 기본서로 많은 내용을 담고 있습니다. 또한, 많은 분들께 추천을 받아 읽게 되었으며 데이터 수명 주기에 관해서 많이 공감하며 재밌게 읽었습니다. 이 책을 읽기 전까지 엔지니어가 결국 기업의 의사결정을 효율적으로 지원하는 역할을 해야 한다고 생각했습니다. 이에 따라 백엔드부터 비즈니스 인텔리전스, 인공지능, 머신러닝, 그리고 MLOps까지 다양한 분야를 고려해야 한다고 생각했습니다. 그러나 이 책을 통해 데이터 엔지니어의 궁극적인 목적과 역할에 대해 새롭게 조명을 받게 되었습니다. 데이터 엔지니어링의 생명주기는 데이터의 생성부터 저장, 수집, 변환, 그리고 서빙까지 이르며, 이 전 과정에 걸쳐 보안, 데이터..

이 책은 Python 코드 포매팅과 Docstring에 대해서 실무를 하게 될 일이 있어 읽게 되었습니다. 현재는 오픈소스 기여를 하고 있는 데 있어서 많은 도움이 되었습니다. 이 책의 독자는 이미 객체지향 소프트웨어 디자인 원리에 어느 정도 익숙하고 코드를 작성해본 경험이 있는 사람을 대상으로 하고 있으며 파이썬 3.9 버전의 새로운 기능에 맞춰 코드와 내용이 업데이트되어 있습니다. 책에서는 클린 코드로서의 코드 포매팅과 좋은 코드의 특징 그리고 객체 지향 디자인에 대해서 소스코드를 통해 세세하게 알려주고 있습니다. 또한 파이썬의 리팩토링과 유닛 테스트에 대한 부분도 자세하게 설명하고 있어서 많은 도움이 되었습니다. 이 책을 통해서 프로퍼티, assertion , 데코레이터, 제너레이터, 이터레이터, ..

Infrastructure-as-Code (IaC)에 대해 공부하다가 테라폼에 알게 되었고 GCP kubernetes의 교육을 들으러 갔을 때 책을 쓰신 역자님을 만나 테라폼에 대해 궁금하게 되어 읽게 되었습니다. 이 책은 코드를 관리하는 모든 사람을 위한 것으로 시스템 관리자, 운영 엔지니어, 릴리스 엔지니어, 사이트 안전성 엔지니어, 데브옵스 엔지니어, 인프라 개발자, 풀스택 개발자, 엔지니어링 관리자 및 CTO가 포함됩니다. 이 책의 목표는 왜 테라폼을 사용하려 하는지, 워크플로에 어떻게 적용할 것인지, 그리고 어떤 모범 사례가 가장 잘 작동하는지에 대해 논의함으로써 테라폼을 제대로 운영할 수 있도록 하는 것입니다. 책을 읽으면서 코드형 인프라를 왜 사용하는지 알게 되었으며 테라폼에 대해 전반적인 ..

이 책은 도메인 주도 설계 첫걸음과 같이 추천을 받아서 읽게 된 책입니다. 이 책은 12가지의 시스템 설계에 대해서 문제 이해 및 설계 범위 확정, 개략적인 설계안 제시 및 동의 구하기, 상세 설계, 마무리라는 4단계 접근법을 통해서 공략하고 있습니다. 책을 읽으면서 시스템에 대해서 많은 생각이 들었고 아키텍처 그림과 실제 시스템 디자인 면접을 보는 듯한 느낌이 좋았습니다. 이 책의 목적은 시스템 설계 면접 문제를 푸는 데 안정적으로 적용할 수 있는 전략을 제시하는 것으로 규모 확장성을 갖춘 시스템을 만들기 위 해 필수적인 지식도 제공하고 있습니다. 이 책에서는 시스템 설계 면접 문제들을 공략하는 단계적 접근법도 다루고 있어서 해당 접근법을 실제로 따라 하면서 배울 수 있도록 많은 예제를 상세한 설명과 ..

"데이터 리더 9인이 말하는 데이터 과학자의 원칙과 철학"은 한데모 책나눔 이벤트를 통해 운이 좋게도 책을 받아 읽을 수 있었습니다. 이 책은 데이터 과학자로서의 성장에 관한 내용을 다루고 있으며, 개인의 성장부터 팀과 조직의 성장까지 다양한 주제를 다루고 있습니다. 이 책은 데이터로 실무를 하는 엔지니어부터 분석가 및 과학자들까지 읽으면 좋을 것 같습니다. 책에는 데이터 리더들의 많은 철학과 경험을 통해 데이터를 다루는 방향을 제시해 주는데, 이는 데이터 업무에 종사하는 사람들에게 매우 유익한 내용일 거 같습니다. 각 저자들은 자신의 경험과 사례를 통해 이야기를 전달하고 있으며, 그들의 경험과 철학을 통해 데이터 과학자로서 성장하고 방향을 잡을 수 있을 것입니다. 이 책은 데이터 과학자로서의 역할과 책..