데이터 분석 플랫폼 구축과 활용 - 스즈키 켄타, 요시다 켄타로

책을 읽게 된 계기는 2가지가 있습니다. 이커머스에서 애플리케이션 서버를 운영할 때 로깅을 Fluentd를 사용하면서 Input, Parse, Filter, Buffer, Output을 설정하였고 Fluentd를 만든 treasure data사에 대해서 궁금한 부분이 몇 가지 있어서 읽게 되었습니다. treasure data사는 데이터 처리의 플랫폼으로 오픈 소스의 스트리밍 형 전송 도구인 Fluentd와 벌크 형 전송 도구인 Embulk를 개발한 곳입니다. 현재 treasure data 사의 CDP(Customer Data Platform)를 운영하면서 플랫폼에 대해서 공부를 하다가 이 책을 읽게 되었습니다.

- 책은 이론을 설명하면서 그림과 실습형 소스코드 위주로 이루어져 있는데 로그에 대해서 자세하게 다룰 수 있어서 좋았습니다. 이 책은 서버 엔지니어나 인프라엔지니어, 데이터 엔지니어를 대상으로 하고 있습니다.

- 이 책은 데이터를 수집하는 방법부터 보존, 데이터의 시각화를 대상으로 설명하고 있으며 그 외에 Emublk & Digdag에 대해서도 간략하게 소개하고 있습니다. 책을 읽으면서 Fluentd 뿐만 아니라 Elasticsearch와 Kibana에 대해서 자세하게 알게 되어서 좋았습니다.

- 책 초반에는 데이터 분석 기반을 만들 때 생각할 요소로 수집,변환,보존,분석,표시,운영에 대해 전반적으로 시작하면서 로그에 대해 범용성을 살펴볼 수 있었습니다. Fluentd 뿐만 아니라 다른 로그 수집 미들웨어에 대해서도 특징에 대해 알려주고 있어서 좋았습니다.