이 책은 데이터 엔지니어로서 필요한 지식과 실무적 통찰을 제공하는 97가지 조언을 담고 있습니다. 책에는 데이터 전문가들이 다양하고 구체적인 문제를 극복하면서 얻은 경험과 교훈을 담고 있어서 가볍게 읽기 좋았습니다.주요 내용으로는 일관성과 최종 일관성에 대한 개념, 스토리지 계층의 효율적인 사용, 데이터 파이프라인의 설계 패턴, 그리고 변경 데이터 캡처(CDC)와 메시징 시스템의 중요성입니다. 또한, 데이터 레이크와 데이터 사일로, 데이터 계보 추적 및 관측 가능성의 필요성도 다루고 있으며 실용적이고 확장 가능한 데이터 시스템 구축을 위한 다양한 접근법을 제시하고 있습니다. 데이터 엔지니어링의 이론적 기반부터 실무적 적용까지 폭넓게 다루며, 새로운 기술 트렌드를 가볍게 소개하는 동시에 효율적인 설계 방법..
데이터 엔지니어로 실무를 하면서 연차가 쌓일수록 데이터 신뢰성과 품질에 대해서 많은 중요성을 느끼게 되었고 데이터 카탈로그나 데이터 계보, 데이터 품질 문제 해결, 신뢰성 높은 데이터 시스템을 구축 및 운영에 대해서 인사이트를 얻고자 책을 읽게 되었습니다.데이터 품질의 비밀은 데이터 시스템의 신뢰성 확보와 데이터 품질 관리에 중점을 둔 책입니다. 저자는 데이터 정제와 분석을 넘어서, 신뢰할 수 있는 데이터 시스템을 구축하는 모범 사례와 기술을 소개하며, 데이터 파이프라인에서 다운타임을 방지하고 품질을 유지하는 방법을 강조하고 있습니다.이 책은 데이터 엔지니어와 분석가를 대상으로 하며, 데이터 파이프라인의 복잡성과 다운타임 문제를 해결하는 실용적인 가이드를 제공합니다. 특히 데이터 레이크, 웨어하우스, 레..
AWS All Certification을 준비하면서 마지막 자격증인 SCS에 대해서 공부하였습니다. 그동안 공부해 왔던 내용들과 겹치는 부분들이 있어서 수월하게 준비를 하였던 거 같습니다.시험 범위자세한 내용은 AWS Certified Security - Specialty(SCS-C02) 시험 안내서를 참고하시는 게 좋을 거 같습니다.섹션시험 비율도메인 1: 위협 감지 및 인시던트 대응14%도메인 2: 보안 로깅 및 모니터링18%도메인 3: 인프라 보안20%도메인 4: Identity and Access Management16%도메인 5: 데이터 보호18%도메인 6: 관리 및 보안 거버넌스14%합계100%공부 방법시험 안내서에 나온 AWS 내용에 대해서 FAQ를 적극 활용하였으며, Exam Prep Of..
AWS All Certification을 준비하면서 SOA에 대해 공부하였습니다. 그전에 공부했던 AWS 자격증덕에 시험을 빠르게 진행하였습니다. AWS 공인 시스템 운영 관리자 시험은 현재 시험 실습이 포함되지 않고 65개의 선다형 문제와 복수 응답 문제로 구성되어 있습니다.시험 범위자세한 내용은 AWS Certified SysOps Administrator – Associate AWS 공인 시스템 운영 관리자 – 어소시에이트 (SOA-C02) 시험 안내서를 참고하시는 게 좋을 거 같습니다.섹션시험 비율영역 1: 모니터링, 로깅 및 문제 해결20%영역 2: 안정성 및 비즈니스 연속성16%영역 3: 배포, 프로비저닝 및 자동화18%영역 4: 보안 및 규정 준수16%영역 5: 네트워킹 및 콘텐츠 전송18%..
올해는 AWS 자격증을 하나씩 준비하려는 목표를 세우면서 ANS-C01을 공부하기로 하였습니다. 네트워크에 대한 딥다이브를 하기 위해 5월 연휴기간 동안 네트워크 공부를 진행하였습니다.시험 범위자세한 내용은 AWS Certified Advanced Networking - Specialty(ANS-C01) 시험 안내서를 참고하시는 게 좋을 거 같습니다.섹션시험 비율도메인 1: 네트워크 설계30%도메인 2: 네트워크 구현26%도메인 3: 네트워크 관리 및 운영20%도메인 4: 네트워크 보안, 규정 준수 및 거버넌스24%합계100% 공부 방법시험 안내서에 나온 AWS 내용에 대해서 FAQ를 적극 활용하였으며, AWS Certified Advanced Networking - Specialty Official P..
DVA-C02 시험을 붙은 후에 DevOps에 대해서 바로 공부하고자 시험을 진행했습니다. Data Engineer에 대해서 공부하면서 DevOps나 MLOps, LLMOps 등 관련하여 데이터 엔지니어는 어디까지 관여를 할 지에 대해서 많은 관심을 가지고 있었고 관련하여 서적이나 테크블로그를 계속 봐왔던 게 이번에 AWS 시험을 준비하는 데 있어서 많은 도움이 되었습니다.시험 범위 자세한 내용은 AWS Certified DevOps Engineer - Professional(DOP-C02) 시험 안내서를 참고하시는 게 좋을 거 같습니다.섹션시험 비율도메인 1: SDLC 자동화22%도메인 2: 구성 관리 및 IaC17%도메인 3: 탄력적인 클라우드 솔루션15%도메인 4: 모니터링 및 로깅15%도메인 5:..
AWS 자격증을 하나씩 공부하면서 이번에는 AWS Certified Developer - Associate(DVA-C02) 시험을 진행했습니다.시험 범위자세한 내용은 AWS Certified Developer - Associate(DVA-C02) - 시험 안내서를 참고하시는 게 좋을 거 같습니다.섹션시험 비율도메인 1: AWS 서비스를 사용한 개발32%도메인 2: 보안26%도메인 3: 배포24%도메인 4: 문제 해결 및 최적화18%합계100% 공부 방법시험 안내서에 나온 AWS 내용에 대해서 FAQ를 적극 활용하였으며, AWS Certified Developer - Associate Official Practice Question Set를 통해서 시험에 나오는 유형에 대해서 살펴보며 모르는 내용을 채워나..
MLS 취득 후에 Data Engieer - Associate 자격증을 공부하였습니다. 평소에 ML과 DE에 개념을 꾸준히 공부하고 있어서 DEA-C01 관련해서 준비를 하는데 수월했습니다.시험 범위 자세한 내용은 AWS Certified Data Engineer - Associate(DEA-C01) 시험 안내서를 참고하시는 게 좋을 거 같습니다.섹션시험 비율도메인 1: 데이터 수집 및 변환34%도메인 2: 데이터 저장소 관리26%도메인 3: 데이터 운영 및 지원22%도메인 4: 데이터 보안 및 거버넌스18%합계100%시험 콘텐츠는 다음과 같습니다.도메인 1: 데이터 수집 및 변환1.1 데이터 수집을 수행합니다.1.2 데이터를 변환하고 처리합니다.1.3 데이터 파이프라인을 오케스트레이션합니다.1.4 프로..