- 선배의 선물로 읽게 된 책은 오랜만에 IT 서적이 아닌 힐링 에세이를 읽게 되었다. 책 표지에 근데 어차피 뛰어내릴 거, 그러기 전에 네가 꼭 하고 싶었던 거 하고 와. 의 부분에 많은 감정을 느끼게 되었다. 이 책은 1장 바들바들 덜덜덜 떨린다, 2장 뭐야 인생 생각보다 기네, 3장 두 발 딱 붙이고 검을 뽑아보자, 4장 푸하하가 모여서 행복이 되는구나, 5장 가장 행복한 순간은 아직 안 왔다 로 이루어져 있다. - 책은 비교적 가벼운 소재와 이야기로 서술되어 있으며 그 안의 내용으로 하여금 독자에게 많은 상상과 감정을 주는 거 같았다. 여러 에피소드 중에서 가장 기억에 남는 에피소드 몇 가지를 기록하고자 합니다. - 언제 나을지도 모르지만 그냥 놔두는 고통스러운 입병처럼 내가 겪는 아픔도 언젠가 ..
- 이 책은 Apache Airflow의 개념과 적용 방법에 대한 설명뿐만 아니라, 실제 서비스 운영 시 고려해야 할 모니터링, 확장, 보안 등에 관한 내용에 관한 내용을 상세하게 안내하고 있으며 , 다양한 클라우드 환경에서 활용하는 방법까지 다루고 있습니다. 또한 Airflow 설치부터 파이프라인 작성, 테스트, 분석, 백필 그리고 배포 실습까지 한 번에 해결할 수 있어 많은 도움이 되었습니다. 책에서는 전반전익 Airflow에 대해 설명하고 있으며 기초, 중급, 실습으로3단계에 나눠서 소개하고 있습니다. 특히 클라우드에서 Airflow 관리에 대해서 AWS, GCP, Azure에 대해서 실습을 통해 더 자세하게 알 수 있었으며 운영하고 있는 Airflow에 대해서 시스템적으로 돌아보게 되는 계기가 되..
- 클라우드 기반의 데이터 엔지니어 운영 업무를 하면서 하둡 에코시스템에 대해 구축하는 것과 클라우드가 아니라 온프레미스 일 경우에 시스템 구축하는 법에 관해 관심을 가지다가 이 책을 접하게 되었습니다. 빅데이터 수집/적재, 처리/탐색, 분석/응용까지 스마트카의 빅데이터 파일럿 프로젝트를 단계별로 진행하면서 각 영역의 아키텍처와 활용 기술들에 대해 배울 수 있어서 좋았습니다. 또한 해당 책은 인프런에서 15일간의 빅데이터 파일럿 프로젝트 강의까지 있어서 공부하는 데 있어서 많은 도움이 되었습니다. - 빅데이터 프로젝트중 플랫폼 구축형 프로젝트, 빅데이터 분석 프로젝트, 빅데이터 운영 프로젝트에 관해서 배우며 빅데이터 R&R에 대해 생각을 하게 되는 계기가 되었고 스마트카라는 서비스와 도메인에 대해 설명을..
- 이 책은 스파크의 기초적인 내용부터 처리, 운용, 관리, 모니터링, 그리고 머신러닝, 그래프에 이르기까지 다양한 내용을 종합적으로 잘 설명하고 있습니다. 스파크의 기본부터 심화까지 책을 읽고 스파크에 대해 더 깊게 알게 되었으며 스파크에 대해 어느 정도 알고 있는 분이라면 재밌어서 금방 읽게 될 것입니다. 해당 코드는 저자의 깃허브에서도 확인할 수 있으며 Scala와 Pyspark 코드를 통해서 이해하는데 많은 도움이 되었습니다. - 책의 유형은 크게 스파크에 대해서, 구조적 API로 Dataset, DataFrame, SQL과 구조적 스트리밍에 관하여 자세하게 설명하고 있고 스파크 튜닝부터 모니터링과 디버깅까지 많은 내용을 담고 있어서 스파크를 공부하는데 있어서 많은 도움이 되었습니다. 또한 스파크..
데이터 엔지니어에 대해서 공부를 하다가 빅데이터를 지탱하는 기술을 읽고 나서 데이터 중심 애플리케이션 설계 책을 읽었습니다. 본 책은 내용에 깊이가 있기 때문에 읽는데 어려움이 있었지만 엔지니어로써 배우는데 많은 도움이 되었습니다. - 데이터 처리의 기본기를 다지기에 좋은 참고서로 데이터 모델 설계, 질의 언어 , 복제, 트랜잭션, 일괄 처리, 스트림 처리 등 데이터 처리의 다양한 측면을 다루고 있다. 이 책의 목적은 다양하고 빠르게 변하는 데이터 저장과 처리 기술 분야를 탐험하는데 도움을 준다. 책의 서문에는 다음과 같은 독자에게 추천하고 있다. 데이터 시스템을 확장성 있게 만드는 방법을 알고 싶은 사람(웹 또는 모바일 앱이 수백만 명의 사용자를 감당할 수 있게 하고 싶다) 애플리케이션이 고가용성을 갖..
이 책은 리트코드 88가지 알고리즘 문제와 7가지의 카카오 기출문제 알고리즘 문제로 구성되어 있으며 해당 알고리즘 문제를 다양한 풀이로 풀어 설명을 하고 있어서 알고리즘 공부를 하는 데 있어서 많은 도움이 되었습니다. 파이썬과 선형 자료구조, 비선형 자료구조, 알고리즘에 대해 개념과 사례를 들어 비전공자도 이해하기 쉽게 설명하는 게 인상적이었습니다. 이 책의 주요 특징은 알고리즘 코딩 인터뷰 문제 풀이, 그림으로 쉽게 이해하는 알고리즘 원리, 파이썬 고급 활용, 취업, 이직, 채용 가이드로 나눠질 수 있으며 저자가 수학과 알고리즘을 공부하는 이유는 튼튼한 기본(수학)을 바탕으로 논리적 사고(수학적 사고)를 거쳐 문제 해결(프로그래밍)을 하기 위해서이다. 이 책은 파이썬을 잘 다루고 싶은 사람들, 알고리즘..
데이터 엔지니어 실무를 하면서 AWS EMR, S3, Athena, Glue, EC2 등등 자연스럽게 인프라와 클라우드 쪽에도 관심이 많이 생기고 업무를 하면서 생소한 용어가 많다 보니 AWS에 대해 공부를 하게 되었던 거 같습니다. 시험 준비를 하면서 시험 후기를 남기려고 합니다. 1. 시험종류 aws Cloud Practitioner는 클라우드 기초 자격증으로서 Solution Architect를 준비하기 전에 기초 개념을 공부하는데 많은 도움이 될 거 같아서 시험을 보았으며 시험을 합격하면 aws 시험 50% 할인쿠폰을 줘서 경제적으로 이로운 점이 있습니다. 2. 공부 방법 일단 aws 클라우드 실무경험은 5개월 정도 있는 거 같으며 통계학이 base다 보니 전공지식은 없었습니다. 시험 준비를 하는..
스파크에 대해 공부를 하던 중에 전체적인 구성에 대해 잘 정리된 위키북스가 있어서 서평을 쓰게 되었습니다. https://wikidocs.net/book/2350 빅데이터 - 스칼라(scala), 스파크(spark)로 시작하기 현재 빅데이터 분석기술 중에서 가장 주목 받는 기술은 아파치 스파크(spark)입니다. **스파크**는 인메모리(In-Memory) 기반의 처리로 하둡의 맵리듀스에 ... wikidocs.net 스파크를 이용하여 ELT 및 튜닝을 하면서 스파크에 대한 공부를 하기 위해서 책을 읽게 되었다. 이 책은 스칼라와 스파크에 대한 개념을 체계적으로 설명하고 있으며 코드를 활용한 예시를 통해서 경험할 수 있다는게 매력적이였다. 하둡 에코시스템 중 스칼라, 스파크에 대한 개념에 대해 정리가 필..