융무의 기술블로그
article thumbnail

- 데이터 플랫폼을 운영하면서 ELT 데이터 파이프라인을 관리하면서 이러한 시스템에 대한 구조를 조금 더 깊게 파악하고 싶어서 책을 읽게 되었습니다. 이 책은 데이터 파이프라인을 소개하며 최신 데이터 인프라와 ETL 구조의 예시를 사례와 코드를 통해서 정리해놨으며 파이프라인 오케스트레이션에 대한 설명도 하고 있어서 전반적인 구조를 알 수 있어서 유익하였습니다.


- 데이터 분석이 잘 이뤄지기 위해서는 분석에 필요한 형태로 잘 정리된 데이터가 필요하고, 원하는 분석 결과를 얻기 위해서는 적합한 기간의 정확한 데이터가 필요함, 이러한 데이터들은 잘 구성된 데이터 파이프라인 안에서만 만들어질 수 있는데 이 책은 데이터 파이프라인의 전반적인 소개와 패턴을 다룸, 데이터 파이프라인 각 단계를 계획할 때부터 구성 후 검증하고 유지 관리하는 전체 과정에서 고려할 점들과 활용할 수 있는 예시 코드를 함께 제공하고 있습니다. 
- 파이프라인 유지 및 관리에 대해 모범 사례를 알 수 있어 운영하고 있는 플랫폼의 데이터 파이프라인에 대해 되돌아보는 계기가 되었으며 빅데이터를 지탱하는 기술을 읽고 나서 파이프라인에 관련해서 이 책을 읽으면 데이터 엔지니어 업무의 전반적인 구조를 조금 더 쉽게 알 수 있을 거 같아서 추천하고자 합니다.

profile

융무의 기술블로그

@융무

포스팅이 좋았다면 "좋아요❤️" 또는 "구독👍🏻" 해주세요!