데이터 엔지니어링 줌 캠프 PJT를 진행하면서 관련된 내용을 정리하고자 합니다. 프로젝트의 코드는 github에서 확인할 수 있습니다. https://github.com/mjs1995/data-engineering-zoomcamp/tree/main/06_stream_processing GitHub - mjs1995/data-engineering-zoomcamp: PJT PJT. Contribute to mjs1995/data-engineering-zoomcamp development by creating an account on GitHub. github.com docker에서 Spark 및 Kafka 실행 아파치 카프카(Apache Kafka)는 분산 스트리밍 플랫폼이며 데이터 피드의 분산 스트리밍, ..
데이터 엔지니어링 줌 캠프 PJT를 진행하면서 관련된 내용을 정리하고자 합니다. 프로젝트의 코드는 github에서 확인할 수 있습니다. https://github.com/mjs1995/data-engineering-zoomcamp/tree/main/05_batch_processing GitHub - mjs1995/data-engineering-zoomcamp: PJT PJT. Contribute to mjs1995/data-engineering-zoomcamp development by creating an account on GitHub. github.com Dataproc Cloud Dataproc이란? 클라우드 네이트브 아파치 하둡 및 아파치 스파크 서비스 완전 관리형 클라우드 서비스이기에 더 간단..
데이터 엔지니어링 줌 캠프 PJT를 진행하면서 관련된 내용을 정리하고자 합니다. 프로젝트의 코드는 github에서 확인할 수 있습니다. https://github.com/mjs1995/data-engineering-zoomcamp/tree/main/04_analytics_engineering GitHub - mjs1995/data-engineering-zoomcamp: PJT PJT. Contribute to mjs1995/data-engineering-zoomcamp development by creating an account on GitHub. github.com Analytics Engineering이란? 분석 엔지니어의 요구 스택 데이터 스토리지 : 데이터 웨어하우징, Azure Blob Sto..
데이터 엔지니어링 줌 캠프 PJT를 진행하면서 관련된 내용을 정리하고자 합니다. 프로젝트의 코드는 github에서 확인할 수 있습니다. https://github.com/mjs1995/data-engineering-zoomcamp/tree/main/03_data_warehouse GitHub - mjs1995/data-engineering-zoomcamp: PJT PJT. Contribute to mjs1995/data-engineering-zoomcamp development by creating an account on GitHub. github.com Bigquery 빅쿼리란? 빅쿼리는 머신 러닝이 내장되어 있으며 확장성이 우수한 완전 관리형 데이터 웨어 하우스입니다. 확장성이 뛰어난 구글의 기업용..
데이터 엔지니어링 줌 캠프 PJT를 진행하면서 관련된 내용을 정리하고자 합니다. 프로젝트의 코드는 github에서 확인할 수 있습니다. https://github.com/mjs1995/data-engineering-zoomcamp/blob/main/02_workflow_orchestration/prefect_gcp.md GitHub - mjs1995/data-engineering-zoomcamp Contribute to mjs1995/data-engineering-zoomcamp development by creating an account on GitHub. github.com Prefect Cloud Storage 에서 BigQuery 데이터 베이스 로 Parquet 데이터를 수집하기 위해 Prefe..
데이터 엔지니어링 줌 캠프 PJT를 진행하면서 관련된 내용을 정리하고자 합니다. 프로젝트의 코드는 github에서 확인할 수 있습니다. https://github.com/mjs1995/data-engineering-zoomcamp/tree/main/01_basics_n_setup GitHub - mjs1995/data-engineering-zoomcampGitHub에서 계정을 생성하여 mjs1995/data-engineering-zoomcamp 개발에 기여하십시오. github.com GCP 환경 세팅 프로젝트 이름에 dtc-de를 입력하고 프로젝트를 생성해 줍니다. SSH 세대 ssh-keygen을 이용해서 키를 생성해줍니다. 참고 링크 : https://cloud.google.com/compute/d..
데이터 엔지니어링 줌 캠프 PJT를 진행하면서 관련된 내용을 정리하고자 합니다. 프로젝트의 코드는 github에서 확인할 수 있습니다. https://github.com/mjs1995/data-engineering-zoomcamp GitHub - mjs1995/data-engineering-zoomcamp Contribute to mjs1995/data-engineering-zoomcamp development by creating an account on GitHub. github.com 아키텍처 프로젝트에 관한 세세한 아키텍처는 다음과 같습니다. Technologies 사용하게 될 기술은 다음과 같습니다. Google Cloud Platform (GCP): 구글의 클라우드 기반 자동 확장 플랫폼 Go..