데이터 엔지니어링 줌 캠프 PJT를 진행하면서 관련된 내용을 정리하고자 합니다. 프로젝트의 코드는 github에서 확인할 수 있습니다. https://github.com/mjs1995/data-engineering-zoomcamp/tree/main/03_data_warehouse GitHub - mjs1995/data-engineering-zoomcamp: PJT PJT. Contribute to mjs1995/data-engineering-zoomcamp development by creating an account on GitHub. github.com Bigquery 빅쿼리란? 빅쿼리는 머신 러닝이 내장되어 있으며 확장성이 우수한 완전 관리형 데이터 웨어 하우스입니다. 확장성이 뛰어난 구글의 기업용..
Error gcp의 vm에 원격연결을 하려고 했는데 Permission denied (publickey) 에러가 발생하였습니다. 이 경우 메타데이터와 ssh 키의 정보 모두 일치하였으나 연동이 안되었으며 원인은 공간 부족으로 ssh 접근이 막힌 케이스입니다. 스케일 업 스토리지 디스크 관리에서 해당 디스크를 들어간 뒤에 수정을 눌러줍니다. 그 후 스케일 업 해줍니다. 새 인스턴스 생성 스케일업이 안되면 신규 인스턴스를 생성해 줍니다. 백업을 위해 스냅샷 페이지에 들어간 뒤에 스냅샷 만들기를 클릭해 줍니다. VM 인스턴스에서 인스턴스 만들기를 클릭해 줍니다. 부팅 디스크 변경을 클릭해 주고 만들어놓은 스냅샵과 연결해 준 뒤에 인스턴스를 실행해 줍니다. Reference https://stackoverflo..
데이터 엔지니어링 줌 캠프 PJT를 진행하면서 관련된 내용을 정리하고자 합니다. 프로젝트의 코드는 github에서 확인할 수 있습니다. https://github.com/mjs1995/data-engineering-zoomcamp/blob/main/02_workflow_orchestration/prefect_gcp.md GitHub - mjs1995/data-engineering-zoomcamp Contribute to mjs1995/data-engineering-zoomcamp development by creating an account on GitHub. github.com Prefect Cloud Storage 에서 BigQuery 데이터 베이스 로 Parquet 데이터를 수집하기 위해 Prefe..
데이터 엔지니어링 줌 캠프 PJT를 진행하면서 관련된 내용을 정리하고자 합니다. 프로젝트의 코드는 github에서 확인할 수 있습니다. https://github.com/mjs1995/data-engineering-zoomcamp/tree/main/01_basics_n_setup GitHub - mjs1995/data-engineering-zoomcampGitHub에서 계정을 생성하여 mjs1995/data-engineering-zoomcamp 개발에 기여하십시오. github.com GCP 환경 세팅 프로젝트 이름에 dtc-de를 입력하고 프로젝트를 생성해 줍니다. SSH 세대 ssh-keygen을 이용해서 키를 생성해줍니다. 참고 링크 : https://cloud.google.com/compute/d..
데이터 엔지니어링 줌 캠프 PJT를 진행하면서 관련된 내용을 정리하고자 합니다. 프로젝트의 코드는 github에서 확인할 수 있습니다. https://github.com/mjs1995/data-engineering-zoomcamp GitHub - mjs1995/data-engineering-zoomcamp Contribute to mjs1995/data-engineering-zoomcamp development by creating an account on GitHub. github.com 아키텍처 프로젝트에 관한 세세한 아키텍처는 다음과 같습니다. Technologies 사용하게 될 기술은 다음과 같습니다. Google Cloud Platform (GCP): 구글의 클라우드 기반 자동 확장 플랫폼 Go..
개인 공부를 위한 포스팅입니다. Prefect Prefect는 Python 기반 워크플로 관리 시스템입니다. Prefect를 사용하면 로깅, 재시도, 동적 매핑, 캐싱, 실패 알림 등을 데이터 파이프라인에 쉽게 추가할 수 있습니다 Prefect는 Dask 위에 구축되었으며 Dask를 사용하여 분산 환경에서 Prefect 워크플로의 실행을 예약하고 관리합니다. Prefect는 워크플로의 일정을 처리 하고 Dask는 각 워크플로 내 작업 의 일정 및 리소스 관리를 처리합니다. 작업 예약: Dask는 워크플로우 내에서 모든 작업 예약을 처리하므로 Prefect는 Dask가 밀리초 대기 시간으로 예약하는 더 작은 작업을 장려할 수 있습니다. Dataflow: Dask가 작업 간의 적절한 정보 직렬화 및 통신을 ..
개인 공부를 위한 포스팅입니다. dbt dbt(Data Build Tool)는 개발자가 BigQuery, Snowflake, Redshift 등과 같은 최신 데이터 웨어하우스에서 변환을 정의, 오케스트레이션 및 실행할 수 있도록 하여 데이터 모델 구축을 간소화하는 Python 오픈 소스 라이브러리입니다. ETL/ELT 프로세스의 T에 초점을 맞춘 거버넌스 도구라고 말할 수 있습니다. 이를 통해 SQL에서 모든 데이터 변환을 중앙 집중화하고 구축하여 재사용 가능한 모듈(모델)로 구성할 수 있습니다 dbt는 데이터 모델링을 SQL로 정의하고 관리하며, 모델이 실행될 때 데이터를 추출, 가공 및 저장할 수 있도록 도와줍니다. dbt는 Git 버전 관리 시스템을 사용하여 데이터 모델링 파일을 관리하며, 테스트,..
실무에 사용한 데이터 엔지니어링 스킬에 대한 정리내용입니다. 개인적인 기록을 위해 작성하였습니다. Embulk Embulk에 대한 자세한 내용은 링크를 참고해 주세요. https://mjs1995.tistory.com/242 embulk & digdag 실무에 사용한 데이터 엔지니어링 스킬에 대한 정리내용입니다. 개인적인 기록을 위해 작성하였습니다. https://github.com/mjs1995/muse-data-engineer/blob/main/doc/Data%20Ingestion/embulk.md GitHub - mjs1995/muse-data-eng mjs1995.tistory.com embulk를 설치합니다. # JRE 설치 sudo apt install default-jre # embulk ..